필사 모드: テキストLLMの技術レポート、何を読むか — 順位ではなく設計判断を読む

• はじめに
• 本記事がモデルの順位をつけない理由
• テキストLLMの技術レポートが実際に争っている軸
• 読む価値のある技術レポート9本
  • DeepSeek-V3 Technical Report
  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  • Qwen3 Technical Report
  • Gemma 3 Technical Report
  • Olmo 3
  • Kimi K2: Open Agentic Intelligence
  • MiniMax-01: Scaling Foundation Models with Lightning Attention
  • Mellum2 Technical Report
  • s1: Simple test-time scaling
• 著者が自ら述べている限界
• 実務者は何から読むべきか
• 確認の方法と時点
• 自分で試す
• 参考資料

はじめに

このシリーズは領域ごとに「いま何を読むべきか」を整理します。第1回はテキストLLMです。

技術レポートを読む目的は二つに分かれます。一つはどのモデルを使うか選ぶこと、もう一つはこの分野がどんな設計判断をめぐって争っているかを把握することです。前者にはレポートは思ったより役立たず、後者には代わりがありません。本記事は後者のための案内です。

論文情報は2026-08-12に原文で直接確認しました。この分野は速く変わるため、最新の状態はご自身で確認してください。

本記事がモデルの順位をつけない理由

技術レポートのベンチマーク表は、ほとんどが著者による自社モデルの自己測定です。独立評価ではありません。同じモデルでも評価ハーネス、プロンプト形式、少数ショットの例数、答えを抜き出す正規表現が変われば数値は変わります。レポートAの82点とレポートBの80点を並べて順位をつける行為は、おおむね意味を持ちません。

そこでこのシリーズはスコア表の代わりに三つを見ます。著者が解こうとした問題、その問題を解くために手放したもの、そして著者がアブストラクトで自ら認めた適用範囲の制限です。

テキストLLMの技術レポートが実際に争っている軸

[レポートが実際に争う四つの軸]
 規模       : 総パラメータ数 vs トークンあたり活性パラメータ数
 推論       : どれだけ長く考え、いつ止めるか
 コンテキスト : 学習長と推論時に要求される長さの差
 開放性     : 重みだけか、データとチェックポイントまでか

この四つは互いに絡んでいます。活性パラメータを減らせばサービング費用は下がりますが、ルーティングの不安定さと負荷の偏りが生じます。長く考えれば検証可能な課題での正確さは上がりますが、遅延とトークン費用も一緒に上がります。レポートを読むときは、著者がどの軸を握りどの軸を手放したかを最初に探すのが近道です。

読む価値のある技術レポート9本

DeepSeek-V3 Technical Report

arxiv.org/abs/2412.19437 — DeepSeek-AI、2024-12-27登録、v2は2025-02-18。

総671Bパラメータのうちトークンあたり37Bだけを活性化するMoEです。アブストラクトが前面に出すのはMulti-head Latent AttentionとDeepSeekMoE構造、補助損失なしで負荷を分散する戦略、そしてマルチトークン予測の目的関数です。14.8兆トークンの事前学習にH800 GPU時間278.8万を使い、全過程で復旧不能な損失スパイクもロールバックも起きなかったと述べています。大規模学習を実際に回した経験がある人には、この最後の一文がスコア表より価値があります。

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

arxiv.org/abs/2501.12948 — DeepSeek-AI、2025-01-22登録、v2は2026-01-04。ページにはNature 645巻633–638ページ掲載と表示されます。

人手で付けた推論過程のラベルなしに、純粋な強化学習だけで推論能力を引き出せるという主張です。自己内省や検証、戦略切り替えといったパターンが学習中に自然に現れ、それが小さなモデルへ転移すると報告しています。ただしアブストラクトは成果の範囲を明示します。数学、コーディング競技、STEMのように 機械的に正解を検証できる課題 に限られます。

Qwen3 Technical Report

arxiv.org/abs/2505.09388 — Qwenチーム、2025-05-14登録。

0.6Bから235Bまで、密モデルとMoEを併せて出したシリーズです。設計上おもしろいのは、考えるモードと考えないモードを一つの枠に収め、推論時の計算量を調整する思考予算の仕組みを置いた点です。対応言語は29から119に増えたと述べ、Apache 2.0で公開しています。

Gemma 3 Technical Report

arxiv.org/abs/2503.19786 — Gemmaチーム、2025-03-25登録。

1Bから27Bまでの軽量オープンモデルに視覚理解を加え、最低128Kのコンテキストに対応します。実務で最も効くのは、局所アテンションの比率を上げてKVキャッシュのメモリ負荷を下げたという部分です。長いコンテキストで費用を決めるのは、しばしばパラメータ数ではなくキャッシュです。

Olmo 3

arxiv.org/abs/2512.13961 — Team Olmo、2025-12-15登録、v2は2026-04-14。

7Bと32Bを完全公開していますが、ここでの「完全」の意味が違います。重みだけでなく、モデルを作った全ライフサイクル、つまりすべての段階とチェックポイントとデータポイントと依存関係まで公開すると述べています。再現が必要な研究者には、この判断ひとつが他のどのスコアより重要です。先行レポートの2 OLMo 2 Furious(arxiv.org/abs/2501.00656)も同じ方向です。

Kimi K2: Open Agentic Intelligence

arxiv.org/abs/2507.20534 — Kimi Team、2025-07-28登録、v2は2026-02-03。

総1兆パラメータのうちトークンあたり32Bを活性化するMoEで、MuonClipというオプティマイザにより15.5兆トークンを学習不安定なしに通したと報告します。アブストラクトの数値はTau2-Bench 66.1とSWE-Bench Verified 65.8ですが、著者自身がこの比較の範囲を考えないモデル群に限定しています。この限定を一緒に運ばずに数値だけ引用すれば、それは引用ではなく歪曲です。

MiniMax-01: Scaling Foundation Models with Lightning Attention

arxiv.org/abs/2501.08313 — MiniMax、2025-01-14登録。

ライトニングアテンションとMoEを組み合わせ、総456Bのうち45.9Bを活性化します。焦点はコンテキスト長です。学習で100万トークンを扱い、推論では400万トークンまで外挿すると述べています。長いコンテキストをアテンション近似で押し切る方法がどこまで届くかを見るには、良い標本です。

Mellum2 Technical Report

arxiv.org/abs/2605.31268 — 2026-05-29登録。

ソフトウェア工学に特化した12B MoEで、トークンあたり活性パラメータは2.5Bです。約10.6兆トークンを3段階のカリキュラムで学習し、GQAとスライディングウィンドウアテンション、マルチトークン予測を併用します。著者の表現は4Bから14Bの範囲のオープン重みベースラインと競争できるというもので、それを2.5B密モデル相当のトークンあたり計算量で達成する点に力点があります。

s1: Simple test-time scaling

arxiv.org/abs/2501.19393 — 2025-01-31登録、v3は2025-03-01。

難易度と多様性、品質の基準で選んだ1,000問だけでファインチューニングし、思考を強制的に打ち切るか延ばす予算強制の手法を使います。著者らはMATHやAIME24といった競技数学で、この手法により最大27%の改善を得たと自己報告しています。データ規模ではなく推論時の計算配分がてこになりうる事例として読むほうが良いでしょう。

著者が自ら述べている限界

• DeepSeek-R1の成果範囲は、アブストラクトで検証可能な課題に限定されています。自由記述や好みの判断が絡む課題へそのまま持ち込む読み方は誤りです。
• Kimi K2のベンチマーク数値は、考えないモデル群の中での比較だと明示されています。
• s1の結果は競技数学が中心で、アブストラクトは広い一般化までは主張していません。
• Mellum2とQwen3、Gemma 3の性能記述はすべて著者の自己測定です。どのアブストラクトにも第三者評価という記述はありません。
• Olmo 3のアブストラクトには、自系列で最も強い完全公開の思考モデルという表現がありますが、これは著者の主張であり独立検証の結果ではありません。

実務者は何から読むべきか

サービング費用を下げるのが目的なら、DeepSeek-V3とMellum2から読んでください。総パラメータと活性パラメータを分けて考える習慣が身につきます。

推論品質を上げるのが目的なら、DeepSeek-R1とs1を並べて読んでください。前者は学習で、後者は推論時の予算で同じ目標に近づきます。二つの費用構造はまったく異なります。

再現と監査が必要な組織なら、Olmo 3から読んでください。データの系譜を公開したモデルとそうでないモデルは、規制対応の場面では別物です。

長いコンテキストがボトルネックなら、Gemma 3のキャッシュ削減とMiniMax-01の外挿を併せて見てください。同じ問題に対する二つの異なる答えです。

確認の方法と時点

ここに挙げた9本はすべて、2026-08-12にarXivのアブストラクトページを直接開き、タイトル、識別子、登録日、バージョン、主張内容を確認しました。開けなかった候補は引用していません。引用した数値はすべて著者報告であり、私が再現した値ではありません。

自分で試す

• AIベンチマーク集 — リーダーボードのサイトをカテゴリ別にまとめています。レポートの自己申告値と公開リーダーボードを並べて見てください。
• ニューラルネットワーク構造エクスプローラー — MoEの話が抽象的に感じるなら、まずトランスフォーマー構造を手で辿るほうが近道です。

シリーズの次回: OCR・文書理解の技術レポート、何を読むか

参考資料

• DeepSeek-V3 Technical Report (arXiv 2412.19437): arxiv.org/abs/2412.19437
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (arXiv 2501.12948): arxiv.org/abs/2501.12948
• Qwen3 Technical Report (arXiv 2505.09388): arxiv.org/abs/2505.09388
• Gemma 3 Technical Report (arXiv 2503.19786): arxiv.org/abs/2503.19786
• Olmo 3 (arXiv 2512.13961): arxiv.org/abs/2512.13961
• 2 OLMo 2 Furious (arXiv 2501.00656): arxiv.org/abs/2501.00656
• Kimi K2: Open Agentic Intelligence (arXiv 2507.20534): arxiv.org/abs/2507.20534
• MiniMax-01: Scaling Foundation Models with Lightning Attention (arXiv 2501.08313): arxiv.org/abs/2501.08313
• Mellum2 Technical Report (arXiv 2605.31268): arxiv.org/abs/2605.31268
• s1: Simple test-time scaling (arXiv 2501.19393): arxiv.org/abs/2501.19393