Skip to content
Published on

학습 레시피 — 사전학습에서 후학습까지, 리포트는 무엇을 적는가

🇰🇷KO🇺🇸EN🇯🇵JA🇨🇳ZH
Split View필사 모드✨Start Quiz
공유하기
Authors

들어가며

여기까지는 구조를 다뤘습니다. 그런데 같은 구조라도 어떻게 학습했느냐에 따라 결과가 크게 달라집니다. 기술 리포트에서 가장 길고, 가장 재현하기 어렵고, 그래서 가장 흥미로운 부분이 학습 레시피입니다.

이 글은 네 모델의 리포트가 학습 과정을 어떻게 서술하는지 비교합니다. 목표는 특정 레시피를 권하는 것이 아니라, 리포트의 이 절을 읽는 방법을 익히는 것입니다.

수치는 2026-08-12에 논문·공식 리포트·config.json에서 직접 확인했습니다. 모델은 갱신되므로 원본을 다시 확인하세요.

토큰 예산

먼저 규모입니다. 리포트가 명시한 사전학습 토큰 수는 다음과 같습니다.

모델            사전학습 토큰      출처
Llama 3 405B      15.6조          arXiv:2407.21783
Qwen3               36조          arXiv:2505.09388
DeepSeek-V3       14.8조          arXiv:2412.19437
Kimi K2           15.5조          arXiv:2507.20534

Qwen3 리포트는 이 데이터가 119개 언어와 방언을 포함하며, Qwen2.5 대비 사전학습 토큰을 두 배로 늘리고 언어는 세 배로 넓혔다고 적습니다.

단계로 나누는 이유

네 리포트 모두 사전학습을 단일 과정이 아니라 여러 단계로 서술합니다. 이유는 비용입니다. 긴 문맥 학습은 짧은 문맥 학습보다 훨씬 비싸므로, 대부분을 짧게 학습하고 마지막에만 늘리는 편이 합리적입니다.

Qwen3의 세 단계는 이렇습니다. 첫 단계는 시퀀스 길이 4,096으로 30조 토큰 이상을 학습해 일반 지식을 쌓습니다. 둘째 단계는 STEM과 코딩 같은 지식 집약 데이터로 추론 능력을 강화합니다. 셋째 단계는 장문맥 데이터로 문맥 길이를 4,096에서 32,768로 늘립니다.

Llama 3도 405B 모델의 사전학습이 초기 사전학습, 장문맥 사전학습, 어닐링의 세 단계로 이루어진다고 적습니다. 초기 단계는 배치 400만 토큰에 시퀀스 4,096으로 시작해 2억 5200만 토큰 학습 후 배치 800만에 시퀀스 8,192로 두 배씩 늘립니다.

컨텍스트 확장을 어떻게 적는가

같은 목표를 두 리포트가 다르게 처리합니다.

Llama 3는 학습으로 늘렸습니다. 리포트는 문맥 길이를 여섯 단계에 걸쳐 원래의 8K에서 최종 128K까지 점진적으로 늘렸고, 이 장문맥 사전학습 단계에 약 8000억 토큰을 썼다고 적습니다. 각 단계에서 모델이 늘어난 길이에 적응할 때까지 학습을 이어 갔다는 서술도 있습니다.

DeepSeek-V3는 확장 기법으로 늘렸습니다. 리포트는 사전학습 시퀀스 길이를 4K로 두고, 사전학습 후 YaRN을 적용해 각각 1000 스텝의 두 단계로 4K에서 32K, 다시 128K로 확장했다고 적습니다.

두 방식의 차이가 곧 비용의 차이입니다. 8000억 토큰과 2000 스텝은 규모가 완전히 다릅니다. 리포트에서 확장 방식을 확인하면 그 문맥 길이가 얼마나 깊이 검증된 것인지 가늠할 수 있습니다.

어닐링과 마무리

학습 마지막 구간의 처리도 리포트마다 명시적입니다.

Llama 3는 마지막 4000만 토큰 동안 학습률을 0까지 선형으로 낮추면서 문맥 길이 128K를 유지했고, 이 어닐링 구간에서 아주 높은 품질의 데이터 출처를 상향 표집하도록 데이터 혼합을 조정했다고 적습니다. 같은 리포트는 데이터셋의 가치를 측정하는 방법으로, 절반쯤 학습된 8B 모델의 학습률을 400억 토큰에 걸쳐 0으로 어닐링하는 방식을 사용했다고도 밝힙니다.

DeepSeek-V3는 학습률 스케줄을 토큰 단위로 적습니다. 처음 2000 스텝에서 0부터 2.2e-4까지 선형으로 올리고, 10조 토큰까지 유지한 뒤, 4.3조 토큰에 걸쳐 코사인 곡선으로 2.2e-5까지 낮춥니다. 마지막 5000억 토큰에서는 앞의 3330억 토큰을 2.2e-5로, 남은 1670억 토큰을 7.3e-6으로 처리합니다.

이런 서술은 단순한 기록이 아닙니다. 어느 시점에 무엇이 바뀌었는지가 적혀 있어야 결과를 해석할 수 있습니다.

학습 중에 바뀌는 하이퍼파라미터

DeepSeek-V3 리포트에는 학습 도중 값이 바뀌는 항목이 여럿 있습니다. 로드 밸런싱 편향 갱신 속도는 처음 14.3조 토큰 동안 0.001이었다가 남은 5000억 토큰에서 0으로 바뀝니다. 다중 토큰 예측 손실 가중치는 처음 10조 토큰 동안 0.3이었다가 남은 4.8조 토큰에서 0.1로 낮아집니다. 배치 크기는 처음 4690억 토큰에 걸쳐 3072에서 15360으로 늘어난 뒤 유지됩니다.

패턴이 보입니다. 학습 초반에는 균형과 보조 목표를 강하게 걸어 두고, 후반으로 갈수록 그 압력을 풀어 본래 목적함수에 집중시킵니다. 이런 스케줄은 config.json에는 남지 않습니다. 리포트를 읽어야만 알 수 있는 정보입니다.

데이터를 늘리는 대신 다시 쓰기

Kimi K2 리포트는 고품질 데이터가 점점 부족해지는 상황에서 토큰 효율이 중요한 계수로 떠오르고 있다고 전제하고, 데이터 재작성 방식을 제시합니다.

리포트는 세 가지 학습 전략을 비교한 실험을 싣습니다. 원본 데이터를 10에폭 반복한 경우, 한 번 재작성해 10에폭 반복한 경우, 열 번 재작성해 1에폭만 학습한 경우입니다. SimpleQA 정확도는 각각 23.76, 27.39, 28.94로 보고되었습니다.

이 수치는 저자들이 자체적으로 수행한 실험 결과이며 독립적인 평가가 아닙니다. 다만 실험 설계가 명시되어 있어 무엇을 비교한 것인지는 분명합니다. 리포트를 읽을 때 이 구분이 중요합니다.

후학습은 왜 짧게 적히는가

사전학습에 비해 후학습 서술은 대체로 간략합니다. Llama 3 리포트는 장문맥 후학습에서 겪은 구체적 문제를 밝힙니다. 짧은 문맥 데이터만으로 기존 지도 미세조정 레시피를 그대로 적용했더니 사전학습에서 얻은 장문맥 능력이 크게 퇴화했다는 것입니다.

해결책도 적혀 있습니다. 사람이 긴 문맥을 읽고 주석을 다는 일은 현실적으로 어렵기 때문에 주로 합성 데이터에 의존했고, 합성 장문맥 데이터를 원래의 짧은 문맥 데이터에 0.1퍼센트 섞었을 때 짧은 문맥과 긴 문맥 양쪽에서 성능이 최적화되었다고 보고합니다.

0.1퍼센트라는 숫자가 흥미롭습니다. 데이터 혼합 비율이 얼마나 민감한지를 보여 주는 사례입니다.

리포트에서 확인할 것

학습 레시피 절을 읽을 때 다음을 확인하면 좋습니다.

첫째, 사전학습 토큰 수와 그때의 시퀀스 길이입니다. 둘 다 적혀 있어야 실제 학습 규모를 알 수 있습니다.

둘째, 문맥 확장이 학습인지 확장 기법인지입니다. 여기서 광고된 문맥 길이의 실체가 갈립니다.

셋째, 학습 도중 바뀐 하이퍼파라미터입니다. 이것이 적혀 있으면 재현 가능성이 높은 리포트입니다.

넷째, 데이터 혼합입니다. 대부분의 리포트는 정확한 비율을 밝히지 않습니다. 이것이 현재 공개 리포트의 가장 큰 공백입니다.

마치며

학습 레시피는 구조보다 재현하기 어렵고, 그래서 리포트마다 공개 수준이 다릅니다. 토큰 수와 단계 구성, 학습률 스케줄, 문맥 확장 방식까지 적는 리포트가 있는가 하면 결과만 싣는 리포트도 있습니다. 무엇이 적혀 있는지만큼 무엇이 빠져 있는지를 보는 것이 중요합니다. 다음 글에서 그 읽는 법을 정리합니다.

참고 자료

직접 해보기

시리즈

Discuss on Twitter • View on GitHub