Dellows News

OrcaRouter、AIリクエストのトレースを監視ツールへ直接出力

FlashLabs株式会社は、AI推論ゲートウェイ「OrcaRouter」のログ機能「Trace Export」を強化した。AIリクエストの実行記録をGrafana、Datadog、Langfuse、LangSmithなどの監視ツールへリアルタイムで直接出力できる。SDKの導入やコードの変更は不要としている。

SDK不要でトレースを出力

Trace Exportは管理画面のログ機能「Logs」に含まれる。管理画面で送信先を選び、接続情報を入力すると利用できる。各リクエストの完了後にトレースを送信するため、応答速度に影響しないという。

モデル、プロバイダ、トークン数、コスト、レイテンシ、ステータス、APIキー名、ユーザーIDなどのリクエストメタデータは常時送信される。プロンプトと完了内容は、Data Cloakによる自動マスキング後に送信される。サンプルレートは1〜100%で設定でき、送信先のアクセストークンなどの接続情報は暗号化して保存する。テストトレースの送信も可能だ。

利用方法

管理画面の「Logs」を開いて「Trace export」を選択し、「Add a destination(送信先を追加)」から利用するツールを選ぶ。エンドポイントやアクセストークンなどの接続情報を入力して保存する。対応ツールは今後も拡充される予定で、仕様は変更される可能性がある。

開発の背景と今後

FlashLabs株式会社によると、AIエージェントや生成AIアプリケーションの本番運用では、モデルの応答状況を把握することが品質管理とコスト管理の両面で重要になっている。従来、外部の監視ツールへトレースを送るにはSDKの組み込みやコード変更が必要で、導入のハードルが高かったという。

FlashLabs株式会社は、OrcaRouterでモデル呼び出しの実行状況を可視化する運用機能の拡充にも取り組むとしている。Trace Exportにより、利用者はモデル選定、ルーティング、コスト管理の判断を使い慣れた監視ツール内で行えるようになるとしている。

OrcaRouterについて

OrcaRouterは、米国のAI研究機関Continuum AIが開発し、FlashLabs株式会社が日本市場向けに独占提供するAI推論ゲートウェイ。OpenAI互換のAPIを備え、Anthropic、OpenAI、Google Gemini、DeepSeek、Grok、Qwenなど200以上のLLM・生成AIモデルを単一のゲートウェイから利用できる。モデル一覧はOrcaRouterのAIモデル一覧で確認できる。

本記事はFlashLabs株式会社の発表をもとに作成。

アクセスランキング

今日

1週間