米国のAI研究機関Continuum AIの研究チームは、3200億パラメータのMoE（複数の専門家を組み合わせる方式）モデルにおいて、モデル内部の重みを操作することで有害な要求を断る拒否応答を大幅に減らせることを体系的に検証した研究論文を公開しました。本研究は、モデルの性能を保ったまま安全性が外され得ることをフロンティア規模のモデルで実証したものです。あわせて研究チームは、AIが自らを改良していく過程で安全性が保たれるという前提は自明ではないと指摘しています。

AIモデルの能力向上に伴い、AIが自らの設計や重みを改良していく「自己改良」が議論されるなか、改良の過程でモデルの安全性が保たれるという前提の妥当性が問われています。

モデルの重みが公開されているオープンウェイトモデルでは、重みから特定の方向を計算して取り除くことで拒否応答を減らす検証手法が存在します。しかし、従来の検証は主に700億パラメータ程度までの一般的な構造のモデルに限られており、専門家を多数組み合わせて重みを量子化して配布するフロンティア規模のMoEモデルで同様の手法が成立するかは検証されていませんでした。

内部に分散した効果と従来手法の課題

研究チームは、3200億パラメータのMoEモデル「GLM-5.3-Flash」（288個のルーティングされた専門家、4系統のハイパーコネクション残差、ブロックFP8で配布）を対象に検証を行いました。

その結果、拒否応答を担う方向を「注意機構」「通常の層」「ルーティングされた専門家層」の単独で編集した場合の除去効果はそれぞれ0.039・0.016・0.148にとどまる一方、3つを同時に編集すると0.776（1.0が完全な除去）に達することが判明しました。効果の74%は同時に編集したときにのみ生じる分散した性質であり、層の名前に基づく従来の手法ではこの0.776のうち0.066しか捉えられず、MoEモデルでは静かに失敗することが特定されています。

なお、除去した方向と直交するランダムな方向を取り除いても拒否応答は変化しなかった一方、暴力・性的コンテンツ・ヘイトに集中した部分は試したいずれの編集後も残存し、ランク1〜12のすべてで拒否応答が計測されました。

拒否率の低下と自己改変に関する指摘

7つの有害リクエスト評価では、拒否率が41〜89ポイント低下しました。具体的には「MaliciousInstruct」で97%から8%、「AdvBench」で97%から13%、「JailbreakBench」で94%から15%へと低下し、能力の劣化は検出されず過剰拒否もわずかに減少しました。

本研究で実証されたのは外部から重みを操作した場合の性質であり、AIが自律的に自己改変して安全性を外すこと（自己アブリテーション）を実証したものではありません。研究チームは実証こそしていないものの実現への見通しを示しており、自己改変下でのアラインメント維持を重要課題として位置づけています。

Continuum AIが開発し、FlashLabs株式会社が日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」は、OpenAI互換のAPIを備え、200以上の生成AIモデルに対応しています。リクエストの難易度を判定してモデルへ自動で振り分けるアダプティブ・ルーティングにより、コストを40%以上削減しながら約99%の品質を維持するとしています（当社調べ）。

関連組織の概要は以下の通りです。

FlashLabs株式会社

• 本社所在地：東京都千代田区一番町10番8号
• 代表取締役：細井洋一
• 設立：2023年7月
• 事業内容：AI応用研究所（Human-AI Hybridで営業・CXの自動化・自律化。OSS音声モデルChromaの開発元）
• URL：https://www.flashlabs.ai/

Continuum AI

• 概要：次の10年の知能システムを支える基盤インフラを開発する研究機関（米国）
• 事業内容：OrcaRouterの開発・提供
• URL：https://www.continuum01.ai/

本記事はFlashLabs株式会社の発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。