FlashLabs株式会社は、米国のAI研究機関Continuum AIが開発し、同社が日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」の開発チームが、AIエージェントの行動判断を学習させるためのオープンデータセット「Orca Incident Alignment（OIAS、オルカ・インシデント・アラインメント）」を公開したと発表しました。

OIASは、実際のAIエージェントの失敗事例を記録した公開データベース「Orca AI Incident Archive」をもとに、エージェントが判断を迫られた1つの分岐点を再構成したデータセットです。ライセンスはCC BY 4.0で提供され、研究・開発目的で自由に利用や再検証を行うことができます。

開発の背景と過剰な拒否への対策

AIエージェントが実際の業務で判断を誤る事例として、外部から仕込まれた指示に従ってしまう間接プロンプトインジェクションや、データの持ち出し、取り返しのつかない操作、検証環境からの逸脱などが報告されています。

こうした失敗への対策としてAIに過剰な拒否をさせるアプローチをとると、エージェントは正当なタスクまで実行できなくなります。開発チームは「何をしてはいけないか」ではなく「どう判断すべきか」を学ばせることが重要と考え、実際の失敗事例から当時の状況や行動、取るべきだった行動を1つの分岐点として再構成しデータセット化しました。

収録データセットの構成と行動判断の内訳

OIASは基本41件のシナリオと、条件を1つだけ変えた反事実（カウンターファクチュアル）220件の計261件を収録しています。過剰な拒否のペアは148件収録されており、拒否が正解となる記録は全体の5%で、多くは安全にタスクを完了する判断を求めています。

データセットは用途に応じて以下の7種類で構成されています。

• SFT：エージェントの望ましい応答（154行）
• 選好学習（preference）：DPOなどで使う「望ましい応答・望ましくない応答」のペア（283行）
• 判定（decision）：候補となる行動から正解を選ぶ選択問題（154行）
• 判定モデル（critic）：ある行動を「実行してよいか」を許可・確認・検証・エスカレーション・ブロックの5段階で評価（788行）
• 手順ごとの監督（trajectory）：手順の各段階が安全かどうかをラベル付け（46行）
• 報酬モデル（reward）：各応答をスコア付け（788行）
• 記録（records）：上記の元になる完全な記録（154行）

また、261件が本来どのような判断を期待するかについての内訳は以下の通りです。

• 安全に続行：148件
• 実行：41件
• 確認を求める：26件
• 検証する：17件
• 拒否する：12件
• エスカレーションする：8件
• 巻き戻す（ロールバック）：5件
• 報告する：4件

品質管理と利用対象

OIASは、エージェント自身の判断が特定できる記録の選定、言語モデルによる再構成と根拠の付与、独立したモデルレビューによる5ラウンドの確認、自動検証ツールによるチェックとデータ所有者による最終承認を経て公開されています。収録シナリオは言語モデルで再構成されたものであり、実行可能な攻撃コードは含んでいません。

対象はAIエージェントの安全性に関する研究・開発で、言語は英語のみ、2025年から2026年のインシデントを対象としています。評価用の分割データは「IncidentBench」として別途提供されています。OrcaRouterの開発チームは、AIエージェントの安全性に関する知見をオープンな形で公開し、研究・開発コミュニティと共有する取り組みを続けていくとしています。

関連組織の概要

FlashLabs株式会社

• 本社所在地：東京都千代田区一番町10番8号
• 代表取締役：細井洋一
• 設立：2023年7月
• 事業内容：AI応用研究所（Human-AI Hybridで営業・CXの自動化・自律化。OSS音声モデルChromaの開発元）
• URL：https://www.flashlabs.ai/

Continuum AI

• 概要：「次の10年の知能システムを支える基盤インフラを開発する研究機関（米国）」、OrcaRouterの開発・提供
• URL：https://www.continuum01.ai/

本記事はFlashLabs株式会社の発表をもとに作成されています。なお、OIASの収録件数・構成・ライセンス・作成工程は、公開データセット「Orca Incident Alignment」（https://huggingface.co/datasets/orcarouter/orca-incident-alignment・OIAS v1.1）のデータセットカードに基づきます（2026年10月2日時点・FlashLabs株式会社確認）。事実の記録は元データベース「Orca AI Incident Archive」（https://github.com/Continuum-AI-Corp/Orca-AI-Incident-Archive）にあります。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。