FlashLabs株式会社は、日本市場向けに独占提供するAI推論ゲートウェイ「OrcaRouter」において、Z.ai社のオープンウェイトLLM「GLM-5.3」をApple Silicon向けに最適化したMLX量子化版「GLM-5.3-MLX」を公開しました。本モデルはHugging Face上で提供されています。

独自手法による量子化によってモデルサイズを大幅に削減し、大容量メモリを搭載したMac上でのローカル実行などを可能にしています。

独自量子化手法OrcaSAQにより最大約79%の小型化を実現

GLM-5.3は、総パラメータ約743B、アクティブ40BのMoE構成を持ち、1Mトークンのコンテキストに対応するZ.ai社のオープンウェイトLLMです。今回公開されたGLM-5.3-MLXは、蒸留版などではないフルモデルをApple Silicon向けに最適化したネイティブMLX版となります。

開発元である米Continuum AIの独自量子化手法「OrcaSAQ」が採用されており、キャリブレーション用データを用いずにモデル構造に応じて重要なテンソルを高精度に保つ混合精度量子化が行われています。最も圧縮率の高い2-bit版では、FP8時点の約1.51TBから約322GBへと約79%小型化され、開発元の検証において約80.2%の精度を維持しているとしています。

4種類のバリアントと実行環境

提供されるバリアントは2-bit、3-bit、4-bit、6-bitの4種類です。実行環境として、512GBメモリを搭載するMac（M3 Ultra）では、2-bitおよび3-bitは快適に、4-bitはフィットする構成でローカル実行が可能です。

最上位の6-bit版はFP8に対しコサイン類似度0.9997以上を達成しており、2台の512GB Macを接続する分散実行（mlx.distributed）や、8基のNVIDIA H200での実行が想定されています。なお、8-bit化するとエキスパートウェイトがFP8のソースウェイトを上回るため、8-bit版は提供されていません。

提供形態と利用方法

本モデルはHugging Faceのリポジトリ（orcarouter/GLM-5.3-MLX）で公開されており、用途や環境に応じた量子化強度を選択できます。また、UnslothによるGGUF版も提供されており、llama.cppなどの対応環境でも利用可能です。ローカル実行が難しい環境向けには、OrcaRouterのAPI経由でフル精度のまま利用できる環境も用意されています。

OrcaRouterは今後も、大規模モデルを身近なデバイスで活用可能にする量子化技術の研究開発やモデルカタログの拡充を進める方針です。

関連組織の概要

FlashLabs株式会社

• 所在地：東京都千代田区一番町10番8号
• 代表者：代表取締役 細井洋一
• 設立：2023年7月
• 事業内容：AI応用研究所
• URL：https://www.flashlabs.ai/

Continuum AI

• 概要：知能システムを支える基盤インフラを開発する米国の研究機関、OrcaRouterの開発・提供元
• URL：https://www.continuum01.ai/

本記事はFlashLabs株式会社の発表をもとに作成されています。

Dellows News編集部

ビジネスパーソンの課題解決と納得感にこだわるDellows News編集部。キャリア論からAI、健康法まで幅広い分野に対応し、複雑なテーマでも平易な言葉で丁寧に解説。読者が「明日から使える」知識やヒントを得られるよう、具体的な事例・データ・専門家の見解を交えて執筆。情報を整理し、納得感ある記事づくりを心がけています。