Dellows News

チェック・ポイント、AI指示改変するプロンプト型アドウェアHaiouを分析

チェック・ポイント・ソフトウェア・テクノロジーズの脅威インテリジェンス部門であるチェック・ポイント・リサーチ(CPR)は、OpenAI Codex向けのジェイルブレイクバンドル「Haiou」を発見し、新たなセキュリティリスクに関する分析結果を公開しました。HaiouはAIエージェントが信頼する指示を継続的に改変し、サードパーティー製AIゲートウェイの広告を挿入する挙動を示します。CPRはこの手法を「プロンプト型アドウェア(Prompt Adware)」と呼んでおり、従来の実行可能コードを使わずに自然言語のプロンプトや設定ファイルを通じて挙動に影響を与える点について注意を促しています。

自然言語で指示を書き換えるプロンプト型アドウェアの仕組み

プロンプト型アドウェアは、商業目的やAIエージェントの挙動を操作する目的で、グローバルプロンプトやスキル、設定ファイルといった自然言語の指示を継続的に改変する手法です。実行可能コードではなく動作を左右する指示そのものを変更するため、従来のソフトウェア動作の調査だけでは操作を把握できない可能性があります。

Haiouは複数のプロンプトインジェクション手法を用いてOpenAI Codexのジェイルブレイクを試みる一方、エージェントのグローバルな指示も改変します。これにより、ユーザーが一般的な挨拶を入力すると、特定のサードパーティー製AIゲートウェイを宣伝する広告が応答内に表示されます。表示される広告自体は比較的シンプルで、宣伝されるAIゲートウェイも悪意のあるものとは確認されていません。なお、CPRがHaiou開発者による試験的な使用の形跡を確認したClaude Codeでは、プロンプトインジェクションを検知して注入された指示を拒否したとしています。

機密情報流出など企業が直面する潜在的なリスク

CPRによると、Haiouによる企業情報の窃取は確認されていないものの、AIエージェントが独自開発のコードや組織の内部情報などの機密データを扱う場合、悪用によって外部流出につながるリスクが懸念されます。同様のメカニズムは、ユーザーに気づかれないままAIの推奨内容を誘導したり、特定サービスを宣伝したり、技術的なアドバイスに偏りを生じさせたりする目的にも悪用される可能性があります。

また、別の学術研究では他のLLMゲートウェイに関してユーザーデータの傍受やクラウドのアクセスキーの漏洩、ツール呼び出しの挿入が確認されている事例もあります。CPRはHaiouをAIサプライチェーン攻撃として分類していませんが、ユーザーの認識外で処理を実行するサードパーティー製のスキルや設定を信頼した場合、将来的にサプライチェーン攻撃へ悪用される可能性を指摘しています。

AI環境の可視化とガバナンスに向けた推奨対策

AIスキルや自然言語の指示がモデルに作用する環境では、従来のソフトウェアのように実行中コードへさかのぼって追跡することが容易ではありません。CPRは、企業がAI環境を評価する際にはモデル自体だけでなく、プロンプトやスキル、エージェントの設定についても考慮する必要があるとして、以下の対策を推奨しています。

  • AIの利用状況を可視化する:組織全体で使用されているAIエージェントやサードパーティー製コンポーネントを把握します。
  • AIエージェントを取り巻くコンポーネントを見直す:基盤となるAIモデルだけでなく、エージェントの動作に影響するプロンプト、スキル、設定についても確認します。
  • サードパーティー製AIツールのガバナンスを強化する:企業での利用を承認するAIツール、スキル、ゲートウェイ、その他の外部コンポーネントを明確にします。
  • AIエージェントが信頼する指示を監視する:エージェントの動作を規定する指示や設定が継続的に改変されていないかを監視します。
  • AIリスクと併せて、アクセス権限も検討する:AIエージェントがアクセスできる機密データ、コード、業務システムと、その動作に影響を与え得る要因の両方を評価します。

発表企業について

本調査を実施したCheck Point Researchは、チェック・ポイントの脅威インテリジェンスであるThreatCloud AIに保存されているデータを収集・分析し、脅威インテリジェンス情報を提供しています。

  • 会社名:チェック・ポイント・ソフトウェア・テクノロジーズ株式会社(Check Point Software Technologies Ltd.の全額出資日本法人)
  • 設立:1997年10月1日
  • 拠点:東京都港区
  • 公式サイト:https://www.checkpoint.com/jp/

本記事はチェック・ポイント・ソフトウェア・テクノロジーズの発表をもとに作成しています。

アクセスランキング

今日

1週間