オブザーバビリティとセキュリティの統合プラットフォームを提供するDatadogは2024年6月26日、大規模言語モデル（LLM）アプリケーションを効率的に監視、改善、保護できる「LLM Observability」の一般提供を発表した。

LLM Observabilityは、企業が生成AIアプリケーションを本番環境へ自信を持って展開・拡張できるよう支援。LLMチェーンの各ステップを可視化し、エラーや予期せぬレスポンスの根本原因特定を容易にする。また、遅延やトークン使用量などの運用指標監視によりパフォーマンスとコストの最適化、AIアプリケーションの品質評価、セキュリティとプライバシーリスクの軽減に役立つ。

従来のツールやポイントソリューションとは異なり、本製品はプロンプトとレスポンスのクラスタリング、Datadogアプリケーションパフォーマンスモニタリング（APM）との統合、すぐに利用可能な評価と機密データのスキャン機能を提供。生成AIアプリケーションのパフォーマンス、精度、セキュリティ強化とデータのプライバシー・安全性維持の両立を図る。

Datadogの製品担当バイスプレジデントであるYrieix Garnierは、「LLMベースの新技術採用が急がれる一方、費用対効果が高く、エンドユーザーエクスペリエンスに悪影響を与えない方法での導入は難しいと企業は感じている。LLM Observabilityは、パフォーマンス管理やドリフト・バイアス検出のための可視化機能を提供し、ビジネスやエンドユーザーエクスペリエンスに重大な影響が出る前の問題解決を支援する」と述べている。

同製品はすでに一般提供が開始されており、不動産管理プラットフォームのAppFolioなどがLLM採用時の品質管理に活用している。

Datadogは、インフラからアプリケーション、ログ、ユーザー体験まで、テクノロジースタック全体にわたる統合オブザーバビリティとセキュリティをSaaSで提供。デジタルトランスフォーメーションとクラウド移行の促進、開発・運用・セキュリティ・ビジネスチーム間のコラボレーション改善、リリースサイクルの短縮、ユーザー行動の理解、ビジネス指標のトラッキングを可能にしている。