Dellows News

OrcaRouterのモデルが第三者比較検証で総合1位を獲得

東京都千代田区に本社を置くFlashLabs株式会社は、米国のAI研究機関Continuum AIが開発し、日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」のセキュリティ研究向けモデル「Qwen3.8-27B-Uncensored」について発表しました。オープンソースコミュニティ「Abliterlitics」が2026年9月6日に公開した第三者比較検証において、同モデルが総合評価1位(The winner)を獲得したとしています。

4つの観点から約167時間の同一環境テストを実施

Abliterliticsは、モデル内部の構造を調べるフォレンジックツールをオープンソースで開発するコミュニティです。今回の検証では、Alibaba社の270億パラメータ規模の推論モデル「Qwen3.8-27B」をベースにしたフィルタ緩和モデル8種に、緩和前のベースモデルを加えた計9モデルを比較しました。

検証は同一の高性能PC(RTX 5090搭載・動的FP8形式)を用い、約167時間(11日間)をかけて行われました。評価は以下の4つの観点から実施されています。

  1. モデル内部の構造解析(どの層が編集されたかの特定など)
  2. 応答の統計的比較(ベースモデルとの出力の差異の測定)
  3. 13項目の性能テスト(推論・コーディング・数学などの能力測定)
  4. セキュリティ研究用の安全性検証(審査AIによる評価)

安全性検証で82.2%を記録し総合首位の評価

検証の結果、「orcarouter/Qwen3.8-27B-Uncensored」は、セキュリティ研究用の安全性検証ベンチマーク「HarmBench」を用いた審査AIによる評価で、8モデル中首位となる82.2%(2位は78.7%)を記録しました。数値が高いほどフィルタ緩和の効果が高いことを示しています。

また、画像認識(Vision)は333項目すべてがベースモデルと完全に一致し、高速化モジュール(MTP)も維持されていることが確認されました。13項目の性能テストでもベースモデルとの差は誤差範囲内にとどまり、性能低下がほとんどないことが示されています。公開情報であるモデルカードの記載内容が検証した全項目で実測値と一致したことから、Abliterliticsは「これまでの比較検証で最も信頼できるモデルカードの一つ」と評し、総合評価で「The winner」と結論づけています。

研究用途への限定提供と今後の展開

「Qwen3.8-27B-Uncensored」は、テキストと画像のマルチモーダル入力や最大262,144トークン(約26万トークン)のコンテキスト対応などの特徴を持ちます。

本モデルは悪用防止のため利用申請制(アクセスリクエスト制)がとられており、Hugging Face(orcarouter/Qwen3.8-27B-Uncensored)においてApache-2.0ライセンスのもと、セキュリティ研究や検証を目的とした用途に限定して提供されています。OrcaRouterでは、セキュリティ研究コミュニティへの貢献と安全な利用環境の整備を両立させ、モデルカードの正確性と品質維持に取り組む方針です。

会社概要

FlashLabs株式会社

  • 本社所在地:東京都千代田区一番町10番8号
  • 代表取締役:細井洋一
  • 設立:2023年7月
  • 事業内容:AI応用研究所(Human-AI Hybridで営業・CXの自動化・自律化。OSS音声モデルChromaの開発元)
  • URL:https://www.flashlabs.ai/

Continuum AI

  • 概要:米国の研究機関、OrcaRouterの開発・提供
  • URL:https://www.continuum01.ai/

本件に関する問い合わせは、FlashLabs株式会社マーケティング部の小林光喜(koki.kobayashi@myflashcloud.com)で受け付けています。

本記事はFlashLabs株式会社の発表をもとに作成されています。

アクセスランキング

今日

1週間