Skip to content
←

Split View: 학습 레시피 — 사전학습에서 후학습까지, 리포트는 무엇을 적는가

✨ Learn with Quiz
|

학습 레시피 — 사전학습에서 후학습까지, 리포트는 무엇을 적는가

들어가며

여기까지는 구조를 다뤘습니다. 그런데 같은 구조라도 어떻게 학습했느냐에 따라 결과가 크게 달라집니다. 기술 리포트에서 가장 길고, 가장 재현하기 어렵고, 그래서 가장 흥미로운 부분이 학습 레시피입니다.

이 글은 네 모델의 리포트가 학습 과정을 어떻게 서술하는지 비교합니다. 목표는 특정 레시피를 권하는 것이 아니라, 리포트의 이 절을 읽는 방법을 익히는 것입니다.

수치는 2026-08-12에 논문·공식 리포트·config.json에서 직접 확인했습니다. 모델은 갱신되므로 원본을 다시 확인하세요.

토큰 예산

먼저 규모입니다. 리포트가 명시한 사전학습 토큰 수는 다음과 같습니다.

모델            사전학습 토큰      출처
Llama 3 405B      15.6조          arXiv:2407.21783
Qwen3               36조          arXiv:2505.09388
DeepSeek-V3       14.8조          arXiv:2412.19437
Kimi K2           15.5조          arXiv:2507.20534

Qwen3 리포트는 이 데이터가 119개 언어와 방언을 포함하며, Qwen2.5 대비 사전학습 토큰을 두 배로 늘리고 언어는 세 배로 넓혔다고 적습니다.

단계로 나누는 이유

네 리포트 모두 사전학습을 단일 과정이 아니라 여러 단계로 서술합니다. 이유는 비용입니다. 긴 문맥 학습은 짧은 문맥 학습보다 훨씬 비싸므로, 대부분을 짧게 학습하고 마지막에만 늘리는 편이 합리적입니다.

Qwen3의 세 단계는 이렇습니다. 첫 단계는 시퀀스 길이 4,096으로 30조 토큰 이상을 학습해 일반 지식을 쌓습니다. 둘째 단계는 STEM과 코딩 같은 지식 집약 데이터로 추론 능력을 강화합니다. 셋째 단계는 장문맥 데이터로 문맥 길이를 4,096에서 32,768로 늘립니다.

Llama 3도 405B 모델의 사전학습이 초기 사전학습, 장문맥 사전학습, 어닐링의 세 단계로 이루어진다고 적습니다. 초기 단계는 배치 400만 토큰에 시퀀스 4,096으로 시작해 2억 5200만 토큰 학습 후 배치 800만에 시퀀스 8,192로 두 배씩 늘립니다.

컨텍스트 확장을 어떻게 적는가

같은 목표를 두 리포트가 다르게 처리합니다.

Llama 3는 학습으로 늘렸습니다. 리포트는 문맥 길이를 여섯 단계에 걸쳐 원래의 8K에서 최종 128K까지 점진적으로 늘렸고, 이 장문맥 사전학습 단계에 약 8000억 토큰을 썼다고 적습니다. 각 단계에서 모델이 늘어난 길이에 적응할 때까지 학습을 이어 갔다는 서술도 있습니다.

DeepSeek-V3는 확장 기법으로 늘렸습니다. 리포트는 사전학습 시퀀스 길이를 4K로 두고, 사전학습 후 YaRN을 적용해 각각 1000 스텝의 두 단계로 4K에서 32K, 다시 128K로 확장했다고 적습니다.

두 방식의 차이가 곧 비용의 차이입니다. 8000억 토큰과 2000 스텝은 규모가 완전히 다릅니다. 리포트에서 확장 방식을 확인하면 그 문맥 길이가 얼마나 깊이 검증된 것인지 가늠할 수 있습니다.

어닐링과 마무리

학습 마지막 구간의 처리도 리포트마다 명시적입니다.

Llama 3는 마지막 4000만 토큰 동안 학습률을 0까지 선형으로 낮추면서 문맥 길이 128K를 유지했고, 이 어닐링 구간에서 아주 높은 품질의 데이터 출처를 상향 표집하도록 데이터 혼합을 조정했다고 적습니다. 같은 리포트는 데이터셋의 가치를 측정하는 방법으로, 절반쯤 학습된 8B 모델의 학습률을 400억 토큰에 걸쳐 0으로 어닐링하는 방식을 사용했다고도 밝힙니다.

DeepSeek-V3는 학습률 스케줄을 토큰 단위로 적습니다. 처음 2000 스텝에서 0부터 2.2e-4까지 선형으로 올리고, 10조 토큰까지 유지한 뒤, 4.3조 토큰에 걸쳐 코사인 곡선으로 2.2e-5까지 낮춥니다. 마지막 5000억 토큰에서는 앞의 3330억 토큰을 2.2e-5로, 남은 1670억 토큰을 7.3e-6으로 처리합니다.

이런 서술은 단순한 기록이 아닙니다. 어느 시점에 무엇이 바뀌었는지가 적혀 있어야 결과를 해석할 수 있습니다.

학습 중에 바뀌는 하이퍼파라미터

DeepSeek-V3 리포트에는 학습 도중 값이 바뀌는 항목이 여럿 있습니다. 로드 밸런싱 편향 갱신 속도는 처음 14.3조 토큰 동안 0.001이었다가 남은 5000억 토큰에서 0으로 바뀝니다. 다중 토큰 예측 손실 가중치는 처음 10조 토큰 동안 0.3이었다가 남은 4.8조 토큰에서 0.1로 낮아집니다. 배치 크기는 처음 4690억 토큰에 걸쳐 3072에서 15360으로 늘어난 뒤 유지됩니다.

패턴이 보입니다. 학습 초반에는 균형과 보조 목표를 강하게 걸어 두고, 후반으로 갈수록 그 압력을 풀어 본래 목적함수에 집중시킵니다. 이런 스케줄은 config.json에는 남지 않습니다. 리포트를 읽어야만 알 수 있는 정보입니다.

데이터를 늘리는 대신 다시 쓰기

Kimi K2 리포트는 고품질 데이터가 점점 부족해지는 상황에서 토큰 효율이 중요한 계수로 떠오르고 있다고 전제하고, 데이터 재작성 방식을 제시합니다.

리포트는 세 가지 학습 전략을 비교한 실험을 싣습니다. 원본 데이터를 10에폭 반복한 경우, 한 번 재작성해 10에폭 반복한 경우, 열 번 재작성해 1에폭만 학습한 경우입니다. SimpleQA 정확도는 각각 23.76, 27.39, 28.94로 보고되었습니다.

이 수치는 저자들이 자체적으로 수행한 실험 결과이며 독립적인 평가가 아닙니다. 다만 실험 설계가 명시되어 있어 무엇을 비교한 것인지는 분명합니다. 리포트를 읽을 때 이 구분이 중요합니다.

후학습은 왜 짧게 적히는가

사전학습에 비해 후학습 서술은 대체로 간략합니다. Llama 3 리포트는 장문맥 후학습에서 겪은 구체적 문제를 밝힙니다. 짧은 문맥 데이터만으로 기존 지도 미세조정 레시피를 그대로 적용했더니 사전학습에서 얻은 장문맥 능력이 크게 퇴화했다는 것입니다.

해결책도 적혀 있습니다. 사람이 긴 문맥을 읽고 주석을 다는 일은 현실적으로 어렵기 때문에 주로 합성 데이터에 의존했고, 합성 장문맥 데이터를 원래의 짧은 문맥 데이터에 0.1퍼센트 섞었을 때 짧은 문맥과 긴 문맥 양쪽에서 성능이 최적화되었다고 보고합니다.

0.1퍼센트라는 숫자가 흥미롭습니다. 데이터 혼합 비율이 얼마나 민감한지를 보여 주는 사례입니다.

리포트에서 확인할 것

학습 레시피 절을 읽을 때 다음을 확인하면 좋습니다.

첫째, 사전학습 토큰 수와 그때의 시퀀스 길이입니다. 둘 다 적혀 있어야 실제 학습 규모를 알 수 있습니다.

둘째, 문맥 확장이 학습인지 확장 기법인지입니다. 여기서 광고된 문맥 길이의 실체가 갈립니다.

셋째, 학습 도중 바뀐 하이퍼파라미터입니다. 이것이 적혀 있으면 재현 가능성이 높은 리포트입니다.

넷째, 데이터 혼합입니다. 대부분의 리포트는 정확한 비율을 밝히지 않습니다. 이것이 현재 공개 리포트의 가장 큰 공백입니다.

마치며

학습 레시피는 구조보다 재현하기 어렵고, 그래서 리포트마다 공개 수준이 다릅니다. 토큰 수와 단계 구성, 학습률 스케줄, 문맥 확장 방식까지 적는 리포트가 있는가 하면 결과만 싣는 리포트도 있습니다. 무엇이 적혀 있는지만큼 무엇이 빠져 있는지를 보는 것이 중요합니다. 다음 글에서 그 읽는 법을 정리합니다.

참고 자료

직접 해보기

시리즈

The Training Recipe — From Pre-training to Post-training, and What Reports Write Down

Introduction

So far we have dealt with structure. But the same structure produces very different results depending on how it was trained. The training recipe is the longest section of a technical report, the hardest to reproduce, and for that reason the most interesting.

This post compares how the reports of four models describe their training process. The goal is not to recommend a particular recipe but to build the skill of reading this section.

All figures were verified directly against papers, official reports, and config.json files on 2026-08-12. Models get updated, so check the originals again.

Token Budgets

Scale first. Here are the pre-training token counts the reports state.

model             pre-training tokens    source
Llama 3 405B            15.6T            arXiv:2407.21783
Qwen3                     36T            arXiv:2505.09388
DeepSeek-V3             14.8T            arXiv:2412.19437
Kimi K2                 15.5T            arXiv:2507.20534

The Qwen3 report states that this data covers 119 languages and dialects, and that it collected twice as many pre-training tokens as Qwen2.5 covering three times more languages.

Why Split Into Stages

All four reports describe pre-training not as a single process but as several stages. The reason is cost. Long-context training is far more expensive than short-context training, so training mostly short and extending only at the end is the sensible arrangement.

The three Qwen3 stages run as follows. The first trains on over 30 trillion tokens at a sequence length of 4,096 to build general knowledge. The second strengthens reasoning with knowledge-intensive data in areas such as STEM and coding. The third uses long-context data to raise context length from 4,096 to 32,768.

Llama 3 likewise states that pre-training of the 405B model consists of initial pre-training, long-context pre-training, and annealing. The initial stage starts with a batch of 4M tokens at sequence length 4,096, then doubles to a batch of 8M at sequence length 8,192 after 252M tokens of training.

How Context Extension Gets Written Down

Two reports handle the same goal differently.

Llama 3 grew it by training. The report states that context length was increased gradually in six stages from the original 8K to a final 128K, and that this long-context pre-training stage used approximately 800B training tokens. It also describes continuing to train at each step until the model had successfully adapted to the increased length.

DeepSeek-V3 grew it with an extension technique. The report sets the pre-training sequence length at 4K and states that after pre-training, YaRN was applied through two phases of 1000 steps each, expanding from 4K to 32K and then to 128K.

The difference between the two approaches is a difference in cost. 800B tokens and 2000 steps are entirely different scales. Checking the extension method in a report lets you gauge how deeply that context length was actually validated.

Annealing and the Finish

The handling of the final stretch of training is explicit in these reports too.

Llama 3 states that during pre-training on the final 40M tokens the learning rate was linearly annealed to 0 while maintaining a context length of 128K, and that during this annealing phase the data mix was adjusted to upsample data sources of very high quality. The same report also describes measuring the value of a dataset by annealing the learning rate of a half-trained 8B model linearly to 0 on 40B tokens.

DeepSeek-V3 writes its learning-rate schedule in units of tokens. It rises linearly from 0 to 2.2e-4 over the first 2K steps, holds until 10T tokens, then decays to 2.2e-5 over 4.3T tokens on a cosine curve. Over the final 500B tokens, the first 333B run at 2.2e-5 and the remaining 167B at 7.3e-6.

Descriptions like these are not mere record-keeping. Knowing what changed at which point is what makes results interpretable.

Hyperparameters That Change During Training

The DeepSeek-V3 report contains several values that shift mid-training. The load-balancing bias update speed is 0.001 for the first 14.3T tokens and switches to 0.0 for the remaining 500B. The multi-token prediction loss weight is 0.3 for the first 10T tokens and drops to 0.1 for the remaining 4.8T. Batch size grows from 3072 to 15360 over the first 469B tokens and then holds.

A pattern emerges. Early in training, balance and auxiliary objectives are applied firmly, and toward the end that pressure is released so the model concentrates on the real objective. Schedules like these never appear in config.json. They are information you can only get by reading the report.

Rewriting Data Instead of Adding More

The Kimi K2 report starts from the premise that as high-quality human data grows scarce, token efficiency is emerging as a critical coefficient, and it presents a data-rephrasing approach.

The report includes an experiment comparing three training strategies: repeating the original dataset for 10 epochs, rephrasing the data once and repeating for 10 epochs, and rephrasing the data 10 times with a single training pass. SimpleQA accuracy is reported as 23.76, 27.39, and 28.94 respectively.

These figures are results the authors produced themselves and are not an independent evaluation. That said, the experimental design is stated, so what is being compared is clear. This distinction matters when reading reports.

Why Post-training Gets Written Up Briefly

Compared with pre-training, post-training descriptions are generally brief. The Llama 3 report does state a concrete problem it hit in long-context post-training: applying the existing supervised fine-tuning recipe with only short-context data resulted in significant regressions in the long-context capability gained during pre-training.

The remedy is stated as well. Because getting humans to annotate lengthy contexts is largely impractical, the team relied predominantly on synthetic data, and reports that mixing 0.1 percent of synthetically generated long-context data with the original short-context data optimized performance across both short-context and long-context benchmarks.

That 0.1 percent figure is striking. It illustrates how sensitive data mixture ratios can be.

What to Check in a Report

When reading a training recipe section, these are worth confirming.

First, the pre-training token count together with the sequence length used. You need both to know the real scale of training.

Second, whether context extension came from training or from an extension technique. This is where the substance behind an advertised context length is decided.

Third, hyperparameters that changed during training. A report that writes these down is one with higher reproducibility.

Fourth, the data mixture. Most reports do not disclose exact proportions. This is the largest gap in currently published reports.

Closing

Training recipes are harder to reproduce than architecture, so the level of disclosure varies from report to report. Some write down token counts, stage composition, learning-rate schedules, and extension methods, while others present only results. What is missing matters as much as what is present. The next post sets out how to read for that.

References

Try It Yourself

Series