필사 모드: これらのモデルはどう作られたのか — 2026年オープンウェイトパイプライン解剖

はじめに — カードはアーキテクチャを段落で書き、データは一行で済ませる

2026年夏に公開されたオープンウェイトモデルのカードを何枚も並べて読むと、ひとつの規則が見えてきます。アーキテクチャは表で、段落で、図で説明されます。レイヤー数、専門家数、アテンションの種類、活性化関数まで書かれています。ところが学習データについてはたいてい一段落、時にはたった一文で終わります。

これはミスではなく構造的な選択です。アーキテクチャはどのみちconfig.jsonにそのまま入っていて隠せません。一方でデータ構成は唯一隠せるものであり、競争優位と法的リスクが同時に懸かっている部分です。だからモデルの制作パイプラインを読むときは、どの段階が検証可能で、どの段階が信頼の問題なのかを分けて見る必要があります。

この記事は前回整理したトレンディングモデルを例に、データ収集から量子化デプロイまでを順に追います。規則はひとつです。カードや論文に書かれている内容には出典を付け、作り手だけが主張する効果には自己主張であると表示します。確認できなかったものは確認できなかったと書きます。すべての引用は2026年8月2日に原文で直接確認しました。

データ — 実際に公開しているところはほとんどありません

まず事実関係を整理します。この記事を書くにあたり、トレンディング上位のモデルカード約40枚をダウンロードし、フロントマターのdatasets項目をすべて確認しました。学習データセットを明示していたのは二箇所でした。

A.X K2が明示したのはnvidia/Nemotron-CC-v2.1、nvidia/Nemotron-Pretraining-Code-v2、HuggingFaceFW/fineweb-2です。これも全体の混合比率まで明かしたわけではなく、出典を指し示す水準です。それでも他よりはるかに多くを語っています。tmax-9b側は規模の小さい研究モデルだからこそ可能だった水準の公開です。Ai2は学習中に生成されたロールアウトとログ確率をまるごと上げており、再現研究の観点ではこちらのほうがはるかに有用です。

残りはどう書かれているでしょうか。Inklingのカードの学習項目が代表例です。要旨は、テキスト、画像、音声、動画を含む幅広い資料を使い、出典は公開資料と第三者から取得した資料、そして合成または拡張された資料だというものです。整形過程には重複除去と低品質除去フィルタが入ると書かれています。間違ったことは何ひとつ書かれていませんが、この段落からはどのデータが何パーセント入っているのかまったく分かりません。ほとんどのフロンティア級リリースがこの水準です。

トークン予算はまだ数字で出てくるほうです。確認できたものだけ挙げるとこうなります。

合成データの比重が大きくなっている状況証拠は、データセットのトレンディング側のほうがはるかに鮮明に見えます。同じ日のトレンディングデータセット上位20個を見ると、フロンティアモデルの出力軌跡を集めたものがいくつもあります。Glint-Research/Fable-5-traces、Crownelius/Complete-FABLE.5-traces-2M、greghavens/kimi-k3-coding-and-debugging-traces、ianncity/GLM-5.2-Conversationといった名前がそうです。アカウント名は個人か小規模な研究組織で、データセット名自体がどのモデルの出力かを明かしています。

ここで二つを区別する必要があります。ひとつはこうした軌跡データで学習することが技術的に有効かどうかで、もうひとつはそれが元モデル提供者の利用規約で許可されているかどうかです。前者の問いについては、複数のモデルが実際にこの方式で作られているという状況証拠が明確です。後者の問いについては、各提供者の規約を確認していないため判断は控えます。社内でこの種のデータセットを使う計画があるなら、その確認は別途必要です。

一方で事前学習用の公開コーパスも依然として居場所を保っています。HuggingFaceFW/finewebは2024年4月公開ですがまだトレンディングデータセットの上位にあり、HuggingFaceCode/stack-v3-trainは2026年7月に上がったコードコーパスです。データを公開する流れが消えたわけではなく、フロンティア級モデルを作る側がその流れから抜けているのです。

アーキテクチャ — スパース性が20倍を超えました

MoEはもはや選択ではなく既定値に近い状態です。興味深いのは採用の有無ではなくスパース性の大きさです。全パラメータをトークンあたりの活性パラメータで割った値を見るとこうなります。

縦に読むと、規模が大きいほどスパース性も高くなる傾向が見えます。これがなぜそうなるのかをカードが直接説明しているわけではありませんが、構造的には自然です。スパース性を上げると同じ推論FLOPsでより多くのパラメータを詰め込めますが、代わりに全パラメータをすべてメモリに載せておく必要があるため、重みのメモリはそのまま増えます。つまりスパース性は計算コストとメモリコストを切り離すつまみです。メモリが十分な大規模サービング環境ではこのつまみを目一杯回すのが有利で、単一カードの環境では何の意味もありません。

共有専門家を置く構成はもはやほぼ普遍的です。上の表で専門家構成を明かした六つのモデルすべてが、ルーティングされる専門家とは別に常に活性化する共有専門家を一つか二つ持っています。

Kimi K3だけが少し違う話をしています。カードはStable LatentMoEというフレームワークでスパース性を引き上げ、Kimi K2比で全体のスケーリング効率が約2.5倍改善したと書いています。この数値は作り手側の自己測定であり、スケーリング効率の定義がカードに明示されていないため外部で検証する方法がありません。アーキテクチャ表の数字(93レイヤー中密1個、アテンション隠れ次元7168、語彙16万、コンテキスト1,048,576)はconfig.jsonで確認できる類であり、スケーリング効率はそうではない類です。

アテンションとコンテキスト — グローバルアテンションを減らす四つの道

1Mコンテキストがカードの最初の行に書かれ始めたことで、アテンション設計はすべてひとつの問題に向かうようになりました。すべてのレイヤーで全シーケンスにソフトマックスアテンションを掛けると、KVキャッシュと計算量が手に負えなくなります。今使われているアプローチは大きく四つです。

第一に、線形アテンションとソフトマックスアテンションを混ぜます。 Solar Open 2は48レイヤーをソフトマックス1に線形3の比率で配置しました。カードが明かした効果は二つで、48個中12レイヤーだけがKVキャッシュを保持するため同形の全ソフトマックスモデル比で長文メモリが約4分の1であること、そして線形アテンションレイヤーが循環状態の中に順序を内在させているため位置エンコーディングを完全に除去(NoPE)しRoPEの外挿限界をなくしたことです。後者の主張は作り手側の説明であり、外部での再現結果は確認していません。Qwen3.6系列も同系統の選択をしており、Qwen3.6-27Bのカードのレイヤー配置はGated DeltaNet三つにGated Attention一つを16回繰り返す構造です。

第二に、スライディングウィンドウとグローバルアテンションを混ぜます。 Laguna S 2.1は48レイヤーのうち12個だけがグローバルで、36個はウィンドウ512のスライディングウィンドウです。リランカーでも同じパターンが見られ、jina-reranker-v3.5は28レイヤーをスライディングウィンドウ3にグローバル2の比率で置き、ウィンドウを1024に設定しています。このモデルはリスト全体を一度の順伝播でランク付けする構造のため、最後のレイヤーをグローバルに固定する必要があるとカードが明かしています。

第三に、疎なインデクサを置きます。 全キーのうち上位いくつかだけを選んでアテンションを計算する方式です。GLM-5.2はIndexShareという技法で四つの疎アテンションレイヤーごとに同じインデクサを再利用し、1MコンテキストでトークンあたりのFLOPsを2.9倍削減したと明かしています。A.X K2はMLAの上に上位いくつかのトークンを選ぶ軽量インデクサとヘッドごとのゲートを載せたSGA構造を使います。どちらの数値も各研究所の自己報告です。

第四に、アテンション自体を圧縮します。 DeepSeek-V4のカードは圧縮疎アテンションと高圧縮アテンションを組み合わせ、1Mコンテキスト設定でV3.2比でトークンあたりの推論FLOPsが27パーセント、KVキャッシュが10パーセントになったと書いています。これも自己測定です。Kimi K3はKDAとGated MLAを69対24で混ぜ、AttnResという残差構造も併用すると明かしています。

アテンション変種自体の原理はGQA、MQA、FlashAttentionのまとめで扱ったので、ここでは繰り返しません。

コンテキスト長については実務的な罠をひとつ指摘しておく必要があります。カードに書かれた最大長はたいてい二段階に分かれています。Qwen3.6-27Bは262,144がネイティブで1,010,000まで拡張可能と書いています。A.X K2は128KまでネイティブでYaRNスケーリングにより256Kまで伸ばしたと明かしています。つまり同じ「26万トークン」でも、学習で確保したものと推論時点で伸ばしたものが混ざっています。

そしてDeepSeek-V4のカードには、最大思考モードを使うにはコンテキストウィンドウを最低384Kに設定するようにという推奨があります。このモデルの1Mコンテキストのかなりの部分は、ユーザー入力ではなくモデル自身の思考トークンが使うという意味です。コンテキスト予算を組むときにこの部分を見落とすと計算が大きくずれます。拡張方式ごとの違いはコンテキストウィンドウ拡張ガイドに整理されています。

事前学習 — 最初から学習しない方向に傾いています

フロンティア級モデルを白紙から学習するコストが大きくなるにつれ、前世代のモデルを初期値とする方式が目に見えて増えました。確認できた事例は二つあります。

Solar Open 2は102BのSolar Open 1から選択的な重み移行で初期化しました。カードが明かしたところによると、アーキテクチャ変更を乗り越えて生き残った重みは全体のわずか2.3パーセントで、残りは無作為初期化ですが、その2.3パーセントが250B規模の初期収束を早めると説明しています。2.3パーセントという数字を明かしたこと自体がむしろ信頼を与えます。大部分の重みを新たに学習したという意味だからです。

K-EXAONE 2.0はカードで、前世代を深さと幅の両方向に拡張するアップサイクリングで3倍以上に大きくした後、継続事前学習と難易度中心の中間学習、事後学習をつなげたと明かしています。そしてこの過程で見つけた安定化技法をひとつ公開しており、二つのSwiGLU分岐の後にクランピングを入れると深いレイヤーで活性化が暴走する現象が緩和されるというものです。

学習の安定性は意外にもカードでよく言及される話題です。三つのアプローチが目を引きます。

A.X K2のカードは外れ値抑制の目的をもうひとつ付け加えています。活性化分布の外れ値を抑えておくとFP8やNVFP4のような低精度サービングに有利だということです。つまり学習安定化技法が配備精度の選択と直接つながっています。これは数年前なら別々のテーマとして扱われていた二つのことです。

精度の話が出たついでに事前学習の精度も整理するとこうなります。A.X K2は順伝播と逆伝播の両方をMXFP8 E4M3でネイティブFP8学習し、マスター重みと勾配だけをFP32で維持したと明かしています。Kimi K3は重みMXFP4、活性化MXFP8を量子化認識学習で確保したとアーキテクチャ表に書いています。スケーリング則とトークン予算の判断についての一般論は事前学習スケーリング則のまとめに別途あります。

事後学習 — SFTの次の段階の名前が変わりました

数年前ならこの節のタイトルは「SFTの次はRLHF」だったはずです。今カードに実際に書かれている名前はもう少し枝分かれしています。

DeepSeek-V4の事後学習は構造的にもっとも特異です。カードが明かした順序は二段階です。まずドメインごとの専門モデルをそれぞれ独立に育てます。このときSFTとGRPOベースの強化学習を使います。次にオンポリシー蒸留でその能力をひとつのモデルに統合します。つまり専門家を複数作っておいて、再びひとつの体に合わせるという方式です。アーキテクチャのMoEとは異なる階層の話なので混同しやすいですが、ここでいう専門家はルーティングされるFFNではなく、別々に学習されたチェックポイントです。

強化学習が実際に何を直したのかを数字で明かした事例もあります。KAT-Coder-V2.5-Devのカードは、強化学習によって異常なツールラベルの発生率が9.34パーセントから0.28パーセントに、単一ターン内の連続反復が0.34パーセントから0パーセントに減ったと書いています。ベンチマークスコアではなく失敗モードの発生率を書いたカードは珍しいです。エージェントとして使うモデルを選ぶときは、こうした数字のほうが平均点よりはるかに有用です。

Nanbeige4.2-3Bのカードは小型モデルの事後学習を比較的詳しく書いています。SFT段階では実環境連携と大規模環境合成で学習環境の多様性を増やし、軌跡レベルとターンレベルの両方でフィルタリングしつつ、テストケースに基づく検証とルーブリックに基づく評価を併用します。強化学習段階では結果報酬と過程報酬を組み合わせて小型モデルの学習安定性を高めたと明かしています。

強化学習の手順をまるごと公開したところもあります。Ai2のtmax系列はQwen3.5-9Bの上でDPPOを200ステップ回し、Terminal Bench 2.0で約27パーセントを記録し基盤モデル比で約6点上がったと明かしており、学習中のロールアウトとログ確率をリポジトリに一緒に上げています。これはこの記事で扱うモデルの中で唯一、外部から検証可能な事後学習の事例です。

事後学習が生み出すユーザー向け機能も整理しておく必要があります。

Kimi K3の注意点は実際によく引っかかる罠です。マルチターンやツール呼び出しでアシスタントメッセージの本文だけを送り返し推論内容を抜くと、モデルは自分が直前に何を考えていたか分からない状態になります。API応答をまるごと入れ直すようにとカードが明示しています。

蒸留と小型化 — 名前は同じでも方式が違います

蒸留という単語が、今カードでは少なくとも三つの違うものを指しています。

第一に、教師モデルの出力分布で生徒を学習させる古典的な意味です。Microsoftのharrier-oss-v1系列がこの方式を明示的に書いています。270Mと0.6Bの変種は対照学習に加えて、より大きな埋め込みモデルからの知識蒸留を追加で受けたと明かしています。27B変種にはその言及がありません。

第二に、拡散モデルのサンプリング段階の短縮です。Z-Image-TurboはZ-Imageの蒸留版で、関数評価8回で結果を出すとカードが明かしています。ここで蒸留されているのは知識ではなくサンプリング軌跡です。同じ単語を使っていますが、言語モデルの蒸留とは異なる技法です。

第三に、他のモデルの出力をSFTデータとして使うことです。先ほどデータの節で見た軌跡データセットがこれに該当し、コミュニティでもっとも一般的な形です。厳密には蒸留ではなく出力の模倣ですが、データセット名にdistillationが付くことが多いです。ロジットレベルの信号がないため、教師の不確実性情報は伝わりません。

能力移転のもうひとつの形として、パイプライン蒸留と呼べるものもあります。Fara1.5-27BはQwen3.5-27Bを教師あり微調整したモデルですが、学習データを作ったのはFaraGen1.5というマルチエージェントパイプラインです。カードに書かれた順序は、ウェブ作業を合成し、それを解くための軌跡を実行し、結果を検証してから学習に入れる、というものです。教師モデルひとつではなく、検証ループの付いたシステムが教師の役割を果たします。

蒸留技法自体の比較は知識蒸留とモデル圧縮で扱いました。ここで強調したいことはひとつです。カードに蒸留と書かれていたら、まずどの種類かを確認する必要があります。三つのうちどれかによって、再現可能性もライセンスリスクも期待できる品質もすべて違います。

量子化デプロイ — 今は作り手側が直接出します

パイプラインの最終段階でもっとも大きく変わった部分です。数年前まで、低ビットのチェックポイントはコミュニティが事後的に作っていました。今は元の作り手が一緒に出します。

この変化の意味は小さくありません。第一に、「元のBF16が基準で量子化は損失」という前提が揺らぎます。Kimi K3とA.X K2では、低精度は事後的な損失ではなく学習の副産物です。参照となるべき高精度の原本がそもそも存在しません。

第二に、DeepSeek-V4のようにパラメータの種類ごとに精度を変える構成が増えています。カードが明かしたとおり、MoE専門家だけがFP4で残りはFP8です。事後量子化ツールがこの構成をそのまま再現するのは難しいです。

第三に、それでもコミュニティ変換版には依然として存在理由があります。作り手が出すのはデータセンターGPUを狙ったFP8とNVFP4で、ノートパソコンで動かすGGUFやApple Silicon用のMLXは依然としてコミュニティの仕事です。前回の記事で見たBonsai-27Bの重みあたり1.125ビットのような極端な圧縮は、作り手側からは出てきません。

精度の選択が実際の性能にどう反映されるかは、量子化形式の比較と推論VRAM計算法で扱いました。

おわりに — 検証できる部分と信じるしかない部分

このパイプラインを一度見渡すと、境界線がはっきりしてきます。config.jsonに入るものはすべて検証可能です。レイヤー数、専門家数、KVヘッド数、語彙サイズ、最大位置埋め込み。ファイル一覧とライセンス原文もそうです。一方で学習データ構成、トークン予算、スケーリング効率の改善、ベンチマークスコアはすべて作り手側の陳述です。

だから実務でできることは二つです。検証可能なものは自分で確認し、陳述であるものは陳述として扱って自分の作業で再現することです。パラメータ数の代わりにsafetensorsのヘッダを見て、コンテキスト長の代わりに実際の長い入力での品質を測り直し、カードのベンチマーク表の代わりに自分の評価セットを回すことです。

次の記事では、その確認作業を5分で終える手順を整理します。モデルカードをどこから読み、何を飛ばし、どこで静かに壊れるのかについての話です。