東北大学言語AI研究センターと株式会社Acompanyは、AIエージェントの安全性・信頼性に関する共同研究を開始した。自律的に判断やタスクを遂行するAIエージェントに対する脅威の発生条件や影響を明らかにし、対策技術の確立を目指す。両者が持つ自然言語処理や機械学習、AIセキュリティ・プライバシーの知見を組み合わせて研究を進める。

研究の背景と課題

AIエージェントに多様なツールやシステムへのアクセス権限を与え、複雑なタスクを自動化する動きが広がっている。一方で、自律的に探索や判断を行うAIエージェントには、従来の機械学習や生成AIとは異なる新たな脅威が存在する。

具体的には、Webページや文書、メール、外部ツールなどに含まれる悪意のある指示にAIエージェントが接触することで、意図しない挙動へ誘導されたり、与えられた権限や想定された制約を逸脱したりするリスクが指摘されている。AIエージェントが置かれる環境や利用可能なツールは動的に変化するため、個別かつ静的な対策だけでは十分とは限らず、脅威を評価し変化に対応できる安全性・信頼性の確保が求められている。

共同研究の内容とアプローチ

本研究では、東北大学言語AI研究センターの自然言語処理および機械学習の知見と、株式会社Acompanyが蓄積してきたAIセキュリティ・プライバシーの知見を統合する。AIエージェントが探索や評価を繰り返す過程で生じる、悪意のあるアーティファクトによる誘導や、権限あるいはハーネス（AIエージェントが利用できるツール、権限、操作対象を制限する仕組み。動作ポリシーや指示などを含む）で定められた制約の逸脱といった脅威を対象とする。

研究ではこうした脅威の発生条件や影響を明らかにするとともに、安全性・信頼性を高めるためのモデルおよびハーネスの構成方法、脅威の検知技術、影響を抑制するための技術などを幅広く検討していく。

期待される成果と今後の展望

株式会社Acompanyが公開したホワイトペーパー「Confidential AI : Confidential Computing で実現する秘密を守れるAI」（https://www.acompany.tech/service/white-paper/confidential-ai/ ）では、「秘密を守れるAI」の実現要件の一つとして振る舞いの信頼性を挙げている。AIを安全な実行環境で動作させるだけでは、悪意ある情報による意図しない行動のリスクを防ぐことは難しいため、自律的に外部と関わるAIエージェントにおいて振る舞いの安全性確保は不可欠となる。本研究を通じて脅威や成立条件を明らかにし、対策技術の確立を目指すことで、社会実装への貢献を図る。

共同研究にあたり、東北大学言語AI研究センター センター長の鈴木 潤は、言語AIの構築や原理解明の知見とAcompanyのAIセキュリティ知見を持ち寄り、安全性・信頼性を高める技術の創出と実社会での活用を目指すと述べている。また、株式会社AcompanyのChief Scientist 兼 執行役員 VP of Research＆Developmentである髙橋 翼は、安全な実行環境の用意にとどまらず、振る舞いそのものをどう信頼できるものにするかが社会実装の本質的課題であるとし、技術と実務の両面から答えを出したいとしている。

株式会社Acompanyの概要

• 社名：株式会社Acompany
• 代表者：代表取締役CEO 高橋亮祐
• 所在地：愛知県名古屋市中区栄二丁目１番１号　日土地名古屋ビル7階
• 設立：2018年6月
• URL：https://www.acompany.tech/
• 事業内容：Confidential Computingに関連した製品・技術と、機密データ活用に関するコンサルティングサービスの提供

本件に関する問い合わせは、株式会社Acompanyの問い合わせフォーム（https://www.acompany.tech/contact ）または東北大学大学院情報科学研究科広報室（koho_is@grp.tohoku.ac.jp ）で受け付けている。

本記事は株式会社Acompanyおよび東北大学言語AI研究センターの発表をもとに作成。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。