Dellows News

ABC株式会社、NVIDIA DGX Sparkを用いたLLMベンチマーク受託サービスを開始へ

愛知県名古屋市に本社を置くABC株式会社は、NVIDIA DGX Sparkを活用した大規模言語モデル(LLM)のベンチマークおよび動作検証を受託するサービスを開始します。顧客が指定した条件下で同社が検証を実施し、その結果を5営業日程度でレポートにまとめて提出する仕組みです。利用料金は1回20万円からとなっており、作業量に応じた個別見積もりが行われます。

機材購入前のモデル選定や台数検討を支援

LLMの導入にあたっては、候補となるモデルが想定条件で稼働するかどうかや、必要な応答速度を確保するために何台の機材が求められるかといった点を実機で確認したい需要があります。一方で、検証機の入手が困難であったり、性能を確認する前段階では購入予算を確保しづらかったりする課題が存在します。

今回のサービスでは、検証に必要なDGX Spark(もしくは同等のOEM機)をABC株式会社側が用意します。利用者は、想定する運用環境に近い条件で測定されたデータをもとに、採用するモデルや導入台数の検討を進めることができます。

候補モデルの比較や構成変更に応じた検証に対応

提供される検証内容には、主に以下の項目が含まれます。

  • 同一条件における候補モデルの比較

1回の手続きで最大2種類のLLMを検証可能です。同一の指示文を入力した際の応答開始時間や、1秒あたりに生成されるトークン数を測定し、モデルごとの応答速度を比較できます。

  • 機材の台数や接続方法を変更した検証

DGX Sparkは1台から最大8台までの構成に対応しています。単体での動作確認のほか、複数台をリング状に接続した構成や、200GbE対応スイッチ経由で接続した構成での検証も行えます。同一モデルを用い、台数や接続形態の違いによって処理時間がどのように変動するかを確認できます。

料金や納品に関する仕様は以下の通りです。

  • 料金:1回20万円から(検証項目や構成などの作業量に応じて個別に見積もり)
  • 対象:1回につきLLMを最大2種類まで
  • 納品物:検証に用いた機材構成、実施条件、結果をまとめたレポート(5営業日程度で提出)

相談や見積もりの依頼は、検証したいモデルや想定する使い方、実機で確認したい点をABC株式会社の「お問い合わせフォーム」から伝えることで受け付けています。

本記事はABC株式会社の発表をもとに作成されています。

アクセスランキング

今日

1週間