Skip to content
←

✍️ 필사 모드: LLM ランドマーク論文ガイド — Attention から GPT・LLaMA・DeepSeek・o1・Claude まで (参考文献付き、2026)

日本語
0%
정확도 0%
💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

プロローグ — 論文を読まなくても、地図は必要だ

LLM 分野は論文が多すぎる。毎週 arXiv に数百本が投稿され、Twitter・ブログ・ニュースレターが「この論文がゲームチェンジャー」と叫ぶ。すべて読むこともできないし、すべて重要なわけでもない。

しかし「ランドマーク」は存在する。その後のすべての流れを変えた論文たちだ。これを知っていれば、新しい論文が出たときに「これは何の後続なのか」が見える。知らなければ毎回ゼロから読むことになる。

この記事では LLM のランドマーク論文 20 編余りを、時期・テーマ別に整理する。各論文は次の三点で示す。

  • なぜ重要か — 何が初めてだったのか、何を可能にしたのか
  • 一言要約 — 中核となるアイデア
  • 後続の影響 — どのような流れにつながったか

目的は「すべて読みましょう」ではなく地図である。どの論文がどこに位置するかを知っていれば、必要なときに正確に辿り着ける。末尾にはすべての arXiv リンクをまとめてある。

この記事はモデル自体 (GPT-4・Claude・Gemini などの製品) のカタログではなく、論文 (アイデアと手法) の地図である。製品は 6 ヶ月で変わるが、アイデアは長く生きる。

1 章 · 基盤 — Transformer 以前と始まり

Attention is All You Need (Vaswani et al., 2017)

  • なぜ重要か — すべての現代 LLM の出発点。RNN・LSTM を廃止し、Self-Attention ベースの Transformer を提示。並列化可能で、長いシーケンスに強い。
  • 一言要約 — 「Attention だけでシーケンスモデリングが可能であり、しかもより良くできる。」
  • 後続の影響 — GPT・BERT・T5・LLaMA・Claude — すべてこのアーキテクチャの後裔である。2024 年以降の Mamba・RWKV のような非 Transformer の試みも、結局のところ Transformer を基準点として定義される。

BERT (Devlin et al., 2018)

  • なぜ重要か — 双方向エンコーダ + masked LM 事前学習というパラダイムを提示。NLP において「事前学習 + ファインチューニング」という模範的なワークフローを大衆化した。
  • 一言要約 — 「文の両側の文脈を同時に見る Transformer エンコーダ。」
  • 後続の影響 — 分類・検索・埋め込みモデルの標準。埋め込みモデル (text-embedding-3、BGE、Voyage など) の祖先。

2 章 · スケーリングと GPT 系譜

GPT-2 (Radford et al., 2019)

  • なぜ重要か — 「言語モデルは教師なしマルチタスク学習者である」という発見。サイズとデータを増やせば、別途のファインチューニングなしでも zero/few-shot で多様なタスクをこなすという証拠。
  • 一言要約 — 「大きく作れば、教えていないこともできる。」
  • 後続の影響 — 「スケーリング」パラダイムの出発点。GPT-3・4・5 への道。

GPT-3 (Brown et al., 2020) — 「Language Models are Few-Shot Learners」

  • なぜ重要か — In-context learning が初めて強力に機能することを示した。モデルに数例だけ与えれば、学習なしで新しいタスクをこなせる。175B パラメータ。
  • 一言要約 — 「プロンプトに例を入れれば、モデルは新しいタスクをこなす。」
  • 後続の影響 — 「プロンプトエンジニアリング」という分野そのものがここから始まった。ChatGPT の直接の祖先。

Scaling Laws (Kaplan et al., 2020 → Chinchilla, Hoffmann et al., 2022)

  • なぜ重要か — モデル性能がパラメータ数・データ・計算量とどのように関係するかを定量化。Chinchilla は GPT-3 が実はデータ不足であったことを示し、最適なモデル/データ比率を提示した。
  • 一言要約 — 「モデルを大きくする分だけ、データも一緒に大きくしなければならない。」
  • 後続の影響 — LLaMA・Mistral など「小さいがデータをよく食べた」効率モデル時代を開く。

3 章 · 人の選好で整列する — RLHF とその後

InstructGPT / RLHF (Ouyang et al., 2022)

  • なぜ重要か — 事前学習済み LLM を人の選好でファインチューニングして「役に立ち、無害な」アシスタントを作るレシピ。ChatGPT の技術的基盤。
  • 一言要約 — 「SFT → 報酬モデル学習 → PPO による方策最適化。」
  • 後続の影響 — すべての対話型 LLM の標準的な学習手順。「アライメント (alignment)」という分野の実用的な出発点。

Constitutional AI (Bai et al., 2022) — Anthropic

  • なぜ重要か — 人のラベル付けの代わりに、AI 自身が原則 (憲法) に従って自分の出力を批判・修正する。人手ラベルのコストを下げ、より一貫した安全性を追求。
  • 一言要約 — 「RLHF における H (人間) の相当部分を AI で置き換える。」
  • 後続の影響 — Claude の中核となる学習手法。RLAIF (AI フィードバック) という流れの出発点。

DPO (Rafailov et al., 2023) — Direct Preference Optimization

  • なぜ重要か — RLHF において PPO・報酬モデルを経由せず、選好ペアデータで方策を直接最適化する。はるかに簡潔で安定。
  • 一言要約 — 「報酬モデルなしで、選好データだけで整列する。」
  • 後続の影響 — オープンソースのファインチューニングの事実上の標準。後続として ORPO・KTO などの変種が次々と現れる。

4 章 · 推論を引き出す — Chain-of-Thought から o1 まで

Chain-of-Thought Prompting (Wei et al., 2022)

  • なぜ重要か — 単純な一文でモデルの推論能力が劇的に向上することを示した — 「Let's think step by step.」単純なプロンプト技法が新しい能力を呼び起こすという、最初の強力な証拠。
  • 一言要約 — 「推論を段階的に書かせれば、より良く解ける。」
  • 後続の影響 — Tree-of-Thoughts、Self-Consistency、Reflexion など「推論引き出し」技法の爆発。最終的に推論モデル (o1) へとつながる。

Self-Consistency (Wang et al., 2022)

  • なぜ重要か — 複数の推論経路をサンプリングし、多数決で答えを決める。CoT の自然な拡張。
  • 一言要約 — 「何度も解かせて、最も多く出た答えを採用する。」
  • 後続の影響 — 推論時に計算をより多く使って精度を上げる (test-time compute) 流れの初期事例。

ReAct (Yao et al., 2022)

  • なぜ重要か — 推論 (Reasoning) と行動 (Action) をインターリーブするエージェントパターン。モデルが「思考 → ツール呼び出し → 観察 → 再び思考」を繰り返す。
  • 一言要約 — 「推論とツール使用を一つのループの中で。」
  • 後続の影響 — ほぼすべての AI エージェントハーネスの基本パターン。

OpenAI o1 / o3 システムカード (2024–2025)

  • なぜ重要か — 推論時 (test-time compute) を増やし、強化学習で作った推論モデル。短い答えの代わりに長い思考連鎖を生成し、自己検証・修正する。
  • 一言要約 — 「より長く考えさせれば、より難しい問題を解く。」
  • 後続の影響 — DeepSeek-R1、Claude の thinking モード、Gemini の Deep Think など、推論モデル競争の始まり。

DeepSeek-R1 (DeepSeek-AI, 2025)

  • なぜ重要か — 純粋な強化学習 (RLVR — 検証可能な報酬) で推論能力を引き出せることを公的に実証。オープンウェイトで公開され、推論モデル研究を加速。
  • 一言要約 — 「人のラベルなしで、検証可能な報酬だけで推論を学習する。」
  • 後続の影響 — オープンソース推論モデル・再現研究の爆発。「RL は高価だ」という通念を覆した。

5 章 · 効率とオープンモデル — LLaMA の時代

LLaMA / LLaMA 2 / LLaMA 3 (Touvron et al., 2023–2024) — Meta

  • なぜ重要か — 高品質なオープンウェイトモデルの決定的な登場。Chinchilla の教訓を実践し (小さいがデータが十分)、小さなモデルでも強力な性能を示した。
  • 一言要約 — 「オープンウェイト + データをよく食べた小さなモデル。」
  • 後続の影響 — Mistral、Qwen、Gemma、DeepSeek、Yi などオープンウェイトモデルエコシステム全体の土台。ファインチューニング産業の出発点。

Mixtral 8x7B (Jiang et al., 2024) — Mixture-of-Experts

  • なぜ重要か — 疎な MoE (Sparse MoE) がオープンウェイトで実用的に動作することを実証。推論時に一部のエキスパートだけを活性化してコストを削減。
  • 一言要約 — 「総パラメータは大きく、活性パラメータは小さいモデル。」
  • 後続の影響 — DeepSeek-V3、Qwen3-MoE、GPT-4 (噂では MoE) など、ほぼすべての最先端モデルが MoE 方向へ。

FlashAttention (Dao et al., 2022) → FlashAttention-2/3

  • なぜ重要か — Attention 計算を GPU のメモリ階層に合わせて IO-aware に書き直した。学習・推論を同時に高速かつメモリ効率的にする。
  • 一言要約 — 「Attention を書き直して、同じ結果をより安く。」
  • 後続の影響 — 事実上すべての LLM 学習/推論スタックの基本。PagedAttention (vLLM)・xFormers などの足場。

6 章 · コンテキスト長・検索・外部ツール

RAG (Lewis et al., 2020) — Retrieval-Augmented Generation

  • なぜ重要か — LLM に外部知識を検索して挿入することで幻覚を減らし、最新性を付与。検索 + 生成というパラダイムの命名。
  • 一言要約 — 「答える前に検索して、その文脈で答えよ。」
  • 後続の影響 — 事実上すべてのエンタープライズ LLM アプリの土台。RAG それ自体が一つの産業。

Toolformer (Schick et al., 2023) → Tool/Function Calling

  • なぜ重要か — LLM が外部ツール (API・電卓・検索) を呼び出す方法を自己学習する。その後、OpenAI の function calling、Anthropic の tool use がこの流れを製品化した。
  • 一言要約 — 「モデルが自ら『API を使うか?』を判断する。」
  • 後続の影響 — すべての AI エージェントのツール使用パラダイム。MCP (Model Context Protocol) にまでつながる。

Lost in the Middle (Liu et al., 2023)

  • なぜ重要か — 長いコンテキストにおいて、モデルが先頭・末尾だけをよく使い、中間を流すという実証。「長いコンテキスト = 良いコンテキスト」という幻想を打ち砕いた。
  • 一言要約 — 「コンテキストウィンドウの真ん中はほとんど見ない。」
  • 後続の影響 — コンテキストエンジニアリング分野の中核的な引用。検索・リランキング・コンテキスト圧縮研究の動機。

7 章 · マルチモーダル

CLIP (Radford et al., 2021)

  • なぜ重要か — 画像とテキストを同じ埋め込み空間に置く対照学習。ゼロショット画像分類、テキスト → 画像 (Stable Diffusion など) の基盤。
  • 一言要約 — 「画像とキャプションを同じベクトル空間に整列する。」
  • 後続の影響 — DALL·E、Stable Diffusion、CLIP ベースの検索、ほぼすべての VLM のエンコーダ。

ViT (Dosovitskiy et al., 2020) — Vision Transformer

  • なぜ重要か — 画像をパッチのシーケンスとして扱い、Transformer が vision でも通用することを実証。CNN 独占を揺さぶった最初の出来事。
  • 一言要約 — 「画像を単語のように分割して Transformer に入れる。」
  • 後続の影響 — DETR、Swin、SAM、LLaVA など vision・VLM 全体。

LLaVA / GPT-4V — Vision-Language Models

  • なぜ重要か — LLM に vision encoder + projection を付けて、マルチモーダル LLM の実用的なレシピを確立。
  • 一言要約 — 「画像エンコーダの出力を LLM のトークン空間に射影する。」
  • 後続の影響 — Claude 3+ Vision、Gemini、Qwen-VL などマルチモーダルアシスタントの標準構造。

8 章 · エージェントと評価

Reflexion (Shinn et al., 2023)

  • なぜ重要か — エージェントが自分の出力を自己批判し、次の試行で反映する。コーディング・推論で明確な改善。
  • 一言要約 — 「失敗 → 反省 → 再試行。」
  • 後続の影響 — 自己修正ループを持つほぼすべてのエージェントハーネス。

SWE-bench (Jimenez et al., 2023)

  • なぜ重要か — LLM の実際の GitHub Issue 解決能力を測るベンチマーク。トイではなく本物のコードでの評価。
  • 一言要約 — 「ベンチマークを GitHub Issue にする。」
  • 後続の影響 — SWE-bench Verified が事実上、コーディングエージェントの標準指標。Devin・Cursor・Claude Code などの比較基準。

ARC-AGI / ARC-AGI-2 (Chollet, 2019 / 2025)

  • なぜ重要か — データで解けない抽象推論ベンチマーク。LLM が単純なパターンマッチングではなく一般化を行うかを試す。
  • 一言要約 — 「抽象推論・一般化のリトマス試験紙。」
  • 後続の影響 — 推論モデルの時代に再び浮上。ARC-AGI-2 はさらに難しくなった。

9 章 · 安全性・解釈可能性・アライメント

Sleeper Agents (Hubinger et al., 2024) — Anthropic

  • なぜ重要か — 隠されたバックドアを持つモデルを、安全性学習で除去できるか? 結果として、一部のバックドアは学習では除去できない。
  • 一言要約 — 「アライメント学習はバックドアを完全には消せない。」
  • 後続の影響 — AI 安全性研究への警鐘。事前学習データ検証・解釈可能性の重要性を浮き彫りにした。

Mechanistic Interpretability — Toy Models of Superposition (Elhage et al., 2022) ほか

  • なぜ重要か — モデル内部の回路を回路 (circuit) 単位で理解しようとする試み。Anthropic・OpenAI などの解釈可能性研究の流れ。
  • 一言要約 — 「ニューラルネットワークの中でどんな計算が起こっているかを回路として見る。」
  • 後続の影響 — 安全性・デバッグ・アライメントの土台として徐々に認められる。2025 年以降、dictionary learning・SAE が注目を集めている。

10 章 · どうやって追いつくか — 実用ガイド

20 編をすべて読めなくてもよい。次の戦略を勧める。

優先順位

  1. 必ず読むべきもの: Attention is All You Need、GPT-3、InstructGPT、RAG、ReAct。
  2. 概念だけ知っておけばよいもの: その他 — 上記の要約で十分。
  3. 自分の分野は深く読む: コーディングエージェントなら SWE-bench・Reflexion、vision なら ViT・CLIP・LLaVA、推論なら o1・DeepSeek-R1。

追いつくワークフロー

  • arXiv 日次ダイジェスト購読 (cs.CL / cs.AI)。見出しだけ見て、週に 1 編を深く読む。
  • ブログ・ニュースレター: Anthropic Research、OpenAI Blog、DeepMind Blog、Jay Alammar (可視化)、Lilian Weng's Log、Sebastian Raschka、Simon Willison、Latent Space。
  • 再現研究: 人気の論文は通常、HuggingFace blog・Eugene Yan・Simon Willison が解説 + コードを上げる。原論文 + 解説を一緒に見るのが最も効率的。
  • LLM に尋ねる: 論文 PDF をモデルに入れて「この論文の中核的な貢献 3 つ」から始める。ただし幻覚に注意 — 引用は必ず原文で確認すること。

エピローグ — 地図があれば、道に迷わない

LLM 分野は速い。だからこそ地図に価値がある。新しい論文が出たときに「これは Chain-of-Thought の後続だな」「これは MoE の変種だな」「DPO 系統だな」と位置を把握できれば、半分は理解したも同然である。

この 20 編がその座標系だ。すべてを深く読まなくてもよい。どこにあるかさえ分かればよい。

5 項目チェックリスト

  1. Attention is All You Need を一度でも直接読んだか?
  2. RLHF・DPO の違いを一文で説明できるか?
  3. CoT・Self-Consistency・o1 の関係が頭の中にあるか?
  4. 自分の分野のランドマーク 3 編を挙げられるか?
  5. 日次ダイジェストやキュレーションを一つでも購読しているか?

参考文献 (References)

中核的な論文・ブログ・ページ — arXiv のリンクは abstract ページに繋がります。

基盤アーキテクチャ

スケーリング・GPT

アライメント (Alignment)

推論 (Reasoning)

オープンモデル・効率

検索・ツール・コンテキスト

マルチモーダル

エージェント・評価

安全性・解釈可能性

キュレーション・解説 (定期購読推奨)

「最新の論文よりも重要なのは、その論文がどの座標に位置するかを知ることである。」

— LLM ランドマーク論文ガイド、終わり。

현재 단락 (1/144)

LLM 分野は論文が多すぎる。毎週 arXiv に数百本が投稿され、Twitter・ブログ・ニュースレターが「この論文がゲームチェンジャー」と叫ぶ。すべて読むこともできないし、すべて重要なわけでもない...

작성 글자: 0자원문 글자: 11,152자작성 단락: 0/144