Skip to content
Published on

学習レシピ — 事前学習から後学習まで、レポートは何を書くか

🇰🇷KO🇺🇸EN🇯🇵JA🇨🇳ZH
Split View필사 모드
シェア
Authors

はじめに

ここまでは構造を扱ってきました。ところが同じ構造でも、どう学習したかによって結果は大きく変わります。技術レポートで最も長く、最も再現しにくく、それゆえ最も興味深い部分が学習レシピです。

この記事では四つのモデルのレポートが学習過程をどう記述しているかを比較します。目標は特定のレシピを勧めることではなく、この節を読む方法を身につけることです。

数値は 2026-08-12 に論文・公式レポート・config.json で直接確認しました。モデルは更新されるため、原典を再度確認してください。

トークン予算

まず規模です。レポートが明示している事前学習トークン数は次のとおりです。

モデル            事前学習トークン    出典
Llama 3 405B         15.6 兆         arXiv:2407.21783
Qwen3                  36 兆         arXiv:2505.09388
DeepSeek-V3          14.8 兆         arXiv:2412.19437
Kimi K2              15.5 兆         arXiv:2507.20534

Qwen3 レポートは、このデータが 119 の言語と方言を含み、Qwen2.5 に比べて事前学習トークンを二倍に増やし言語を三倍に広げたと記しています。

段階に分ける理由

四つのレポートはいずれも事前学習を単一の過程ではなく複数の段階として記述します。理由はコストです。長文脈の学習は短文脈の学習よりはるかに高価なので、大半を短く学習して最後にだけ伸ばすほうが合理的です。

Qwen3 の三段階はこうです。第一段階はシーケンス長 4,096 で 30 兆トークン以上を学習し、一般知識を築きます。第二段階は STEM やコーディングのような知識集約データで推論能力を強化します。第三段階は長文脈データで文脈長を 4,096 から 32,768 へ伸ばします。

Llama 3 も、405B モデルの事前学習が初期事前学習、長文脈事前学習、アニーリングの三段階からなると記しています。初期段階はバッチ 400 万トークン、シーケンス 4,096 で始まり、2 億 5200 万トークンの学習後にバッチ 800 万、シーケンス 8,192 へと倍増させます。

文脈拡張をどう書くか

同じ目標を二つのレポートが違うやり方で処理しています。

Llama 3 は学習で伸ばしました。レポートは、文脈長を六段階にわたってもとの 8K から最終的な 128K まで段階的に伸ばし、この長文脈事前学習段階に約 8000 億トークンを使ったと記しています。各段階でモデルが伸びた長さに適応するまで学習を続けたという記述もあります。

DeepSeek-V3 は拡張手法で伸ばしました。レポートは事前学習のシーケンス長を 4K とし、事前学習の後に YaRN を適用して、それぞれ 1000 ステップの二段階で 4K から 32K へ、さらに 128K へ拡張したと記しています。

二つの方式の差はそのままコストの差です。8000 億トークンと 2000 ステップでは規模がまったく違います。レポートで拡張方式を確認すれば、その文脈長がどれほど深く検証されたものかを見積もれます。

アニーリングと仕上げ

学習の最終区間の扱いも、各レポートで明示的です。

Llama 3 は、最後の 4000 万トークンのあいだ学習率を 0 まで線形に下げつつ文脈長 128K を維持し、このアニーリング区間で非常に高品質なデータ出典を上位抽出するようデータ混合を調整したと記しています。同じレポートは、データセットの価値を測る方法として、半分ほど学習した 8B モデルの学習率を 400 億トークンにわたり 0 へアニーリングする方式を用いたとも述べています。

DeepSeek-V3 は学習率スケジュールをトークン単位で記します。最初の 2000 ステップで 0 から 2.2e-4 まで線形に上げ、10 兆トークンまで維持し、続いて 4.3 兆トークンにわたりコサイン曲線で 2.2e-5 まで下げます。最後の 5000 億トークンでは、前半の 3330 億トークンを 2.2e-5 で、残る 1670 億トークンを 7.3e-6 で処理します。

こうした記述は単なる記録ではありません。どの時点で何が変わったかが書かれていてこそ、結果を解釈できます。

学習の途中で変わるハイパーパラメータ

DeepSeek-V3 レポートには学習の途中で値が変わる項目がいくつもあります。ロードバランシングのバイアス更新速度は最初の 14.3 兆トークンで 0.001、残る 5000 億トークンでは 0.0 に切り替わります。多トークン予測の損失重みは最初の 10 兆トークンで 0.3、残る 4.8 兆トークンでは 0.1 に下がります。バッチサイズは最初の 4690 億トークンで 3072 から 15360 へ増え、その後は維持されます。

パターンが見えます。学習の序盤では均衡と補助目標を強くかけておき、後半になるにつれてその圧力を緩めて本来の目的関数に集中させます。こうしたスケジュールは config.json には残りません。レポートを読んで初めて分かる情報です。

データを増やす代わりに書き直す

Kimi K2 レポートは、高品質な人間のデータが次第に不足するなかでトークン効率が重要な係数として浮上しているという前提から出発し、データ再記述の方式を提示します。

レポートは三つの学習戦略を比較した実験を載せています。元データを 10 エポック繰り返した場合、一度書き直して 10 エポック繰り返した場合、十回書き直して 1 エポックだけ学習した場合です。SimpleQA の正確度はそれぞれ 23.76、27.39、28.94 と報告されています。

これらの数値は著者らが自ら行った実験の結果であり、独立した評価ではありません。ただし実験設計が明示されているため、何を比較したのかは明確です。レポートを読むときはこの区別が重要です。

後学習がなぜ短く書かれるのか

事前学習に比べて後学習の記述はおおむね簡潔です。Llama 3 レポートは、長文脈の後学習で直面した具体的な問題を明かしています。短い文脈のデータだけで既存の教師ありファインチューニングのレシピをそのまま適用したところ、事前学習で得た長文脈能力が大きく退化したというものです。

解決策も書かれています。人が長い文脈を読んで注釈を付ける作業は現実的に難しいため主に合成データに依存し、合成した長文脈データを元の短文脈データに 0.1 パーセント混ぜたとき、短文脈と長文脈の両方で性能が最適化されたと報告しています。

0.1 パーセントという数字が興味深いところです。データ混合の比率がどれほど繊細かを示す事例です。

レポートで確認すること

学習レシピの節を読むときは、次を確認するとよいでしょう。

第一に、事前学習トークン数とそのときのシーケンス長です。両方が書かれていて初めて実際の学習規模が分かります。

第二に、文脈拡張が学習によるものか拡張手法によるものかです。ここで宣伝された文脈長の実体が分かれます。

第三に、学習の途中で変わったハイパーパラメータです。これが書かれていれば再現性の高いレポートです。

第四に、データ混合です。ほとんどのレポートは正確な比率を明かしません。これが現在の公開レポートにおける最大の空白です。

おわりに

学習レシピは構造より再現しにくく、それゆえレポートごとに公開の水準が異なります。トークン数と段階構成、学習率スケジュール、文脈拡張の方式まで書くレポートもあれば、結果だけを載せるレポートもあります。何が書かれているかと同じくらい、何が抜けているかを見ることが重要です。次の記事でその読み方を整理します。

参考資料

試してみる

シリーズ

Discuss on Twitter • View on GitHub