필사 모드: 이 모델들은 어떻게 만들어졌나 — 2026년 오픈 웨이트 파이프라인 해부

들어가며 — 카드는 아키텍처를 문단으로 쓰고 데이터는 한 줄로 씁니다

2026년 여름에 공개된 오픈 웨이트 모델 카드를 여러 장 나란히 놓고 읽으면 한 가지 규칙이 보입니다. 아키텍처는 표로, 문단으로, 그림으로 설명합니다. 레이어 수, 전문가 수, 어텐션 종류, 활성화 함수까지 적습니다. 그런데 학습 데이터에 대해서는 대개 한 문단, 때로는 한 문장으로 끝납니다.

이건 실수가 아니라 구조적인 선택입니다. 아키텍처는 어차피 config.json에 그대로 들어 있어 감출 수 없습니다. 반면 데이터 구성은 유일하게 감출 수 있고, 경쟁 우위와 법적 노출이 동시에 걸려 있는 부분입니다. 그래서 모델 제작 파이프라인을 읽을 때는 어느 단계가 검증 가능하고 어느 단계가 신뢰 문제인지를 나눠서 봐야 합니다.

이 글은 앞 글에서 정리한 트렌딩 모델들을 예시로 삼아, 데이터 수집부터 양자화 배포까지 순서대로 짚습니다. 규칙은 하나입니다. 카드나 논문에 적힌 내용은 출처를 달고, 만든 쪽만 주장하는 효과는 자체 주장이라고 표시합니다. 확인하지 못한 것은 확인하지 못했다고 씁니다. 모든 인용은 2026년 8월 2일에 원문에서 직접 확인했습니다.

데이터 — 실제로 공개한 곳은 거의 없습니다

먼저 사실 관계부터 정리하겠습니다. 이 글을 쓰면서 트렌딩 상위권 모델 카드 약 40장을 내려받아 프론트매터의 datasets 항목을 전부 확인했습니다. 학습 데이터셋을 명시한 곳은 두 곳이었습니다.

A.X K2가 명시한 것은 nvidia/Nemotron-CC-v2.1, nvidia/Nemotron-Pretraining-Code-v2, HuggingFaceFW/fineweb-2입니다. 이것도 전체 혼합 비율까지 밝힌 건 아니고 출처를 지목한 수준입니다. 그래도 나머지보다는 훨씬 많이 말한 것입니다. tmax-9b 쪽은 규모가 작은 연구 모델이라 가능했던 수준의 공개입니다. Ai2는 학습 중 생성된 롤아웃과 로그확률을 통째로 올려 두었는데, 재현 연구 관점에서는 이쪽이 훨씬 유용합니다.

나머지는 어떻게 쓰여 있을까요. Inkling 카드의 학습 항목이 대표적입니다. 요지는 텍스트, 이미지, 오디오, 비디오를 포함한 폭넓은 자료를 썼고, 출처는 공개된 자료와 제3자로부터 취득한 자료와 합성 또는 증강된 자료라는 것입니다. 정제 과정에는 중복 제거와 저품질 제거 필터가 들어간다고 적혀 있습니다. 틀린 말은 하나도 없지만, 이 문단으로는 어떤 데이터가 몇 퍼센트 들어갔는지 아무것도 알 수 없습니다. 대부분의 프런티어급 릴리스가 이 수준입니다.

토큰 예산은 그나마 숫자로 나오는 편입니다. 확인된 것만 적으면 이렇습니다.

합성 데이터의 비중이 커진 정황은 데이터셋 트렌딩 쪽에서 훨씬 선명하게 보입니다. 같은 날 트렌딩 데이터셋 상위 스무 개를 보면 프런티어 모델의 출력 궤적을 모아 놓은 것이 여럿입니다. Glint-Research/Fable-5-traces, Crownelius/Complete-FABLE.5-traces-2M, greghavens/kimi-k3-coding-and-debugging-traces, ianncity/GLM-5.2-Conversation 같은 이름들이 그렇습니다. 계정 이름이 개인이거나 소규모 연구 조직이고, 데이터셋 이름 자체가 어느 모델의 출력인지 밝히고 있습니다.

여기서 두 가지를 구분해야 합니다. 하나는 이런 궤적 데이터로 학습하는 것이 기술적으로 유효한가이고, 다른 하나는 그것이 원 모델 제공자의 이용약관에 허용되는가입니다. 앞의 질문에 대해서는 여러 모델이 실제로 이 방식으로 만들어지고 있다는 정황이 명확합니다. 뒤의 질문에 대해서는 제가 각 제공자의 약관을 확인하지 않았으므로 판단하지 않겠습니다. 사내에서 이런 데이터셋을 쓸 계획이라면 그 확인은 별도로 필요합니다.

한편 사전학습용 공개 코퍼스도 여전히 자리를 지키고 있습니다. HuggingFaceFW/fineweb은 2024년 4월 공개인데 아직 트렌딩 데이터셋 상위에 있고, HuggingFaceCode/stack-v3-train은 2026년 7월에 올라온 코드 코퍼스입니다. 데이터를 공개하는 흐름이 사라진 건 아니고, 프런티어급 모델을 만드는 쪽이 그 흐름에서 빠져 있는 것입니다.

아키텍처 — 희소성이 20배를 넘어섰습니다

MoE는 이제 선택이 아니라 기본값에 가깝습니다. 흥미로운 건 채택 여부가 아니라 희소성의 크기입니다. 전체 파라미터를 토큰당 활성 파라미터로 나눈 값을 보면 이렇습니다.

세로로 읽으면 규모가 클수록 희소성도 높아지는 경향이 보입니다. 이게 왜 이렇게 되는지에 대해 카드들이 직접 설명하지는 않지만, 구조적으로는 자연스럽습니다. 희소성을 올리면 같은 추론 FLOPs로 더 많은 파라미터를 담을 수 있고, 대신 전체 파라미터를 전부 메모리에 올려 둬야 하므로 가중치 메모리는 그대로 늘어납니다. 즉 희소성은 계산 비용과 메모리 비용을 분리하는 손잡이입니다. 메모리가 충분한 대형 서빙 환경에서는 이 손잡이를 끝까지 돌리는 게 유리하고, 단일 카드 환경에서는 아무 의미가 없습니다.

공유 전문가를 두는 구성은 이제 거의 보편적입니다. 위 표에서 전문가 구성을 밝힌 여섯 모델 전부가 라우팅 전문가와 별도로 항상 활성화되는 공유 전문가를 한두 개 두고 있습니다.

Kimi K3만 조금 다른 이야기를 합니다. 카드는 Stable LatentMoE라는 프레임워크로 희소성을 끌어올렸고, Kimi K2 대비 전체 스케일링 효율이 약 2.5배 개선됐다고 적었습니다. 이 수치는 모델을 만든 쪽의 자체 측정이고, 스케일링 효율의 정의가 카드에 명시돼 있지 않아 외부에서 검증할 방법이 없습니다. 아키텍처 표의 숫자들(93개 레이어 중 밀집 1개, 어텐션 은닉 차원 7168, 어휘 16만, 컨텍스트 1,048,576)은 config.json으로 확인 가능한 부류이고, 스케일링 효율은 그렇지 않은 부류입니다.

어텐션과 컨텍스트 — 전역 어텐션을 줄이는 네 가지 길

1M 컨텍스트가 카드 첫 줄에 적히기 시작하면서, 어텐션 설계는 전부 하나의 문제를 향하게 됐습니다. 모든 레이어에서 전체 시퀀스에 소프트맥스 어텐션을 걸면 KV 캐시와 계산량이 감당이 안 됩니다. 지금 쓰이는 접근은 크게 네 가지입니다.

첫째, 선형 어텐션과 소프트맥스 어텐션을 섞습니다. Solar Open 2는 48개 레이어를 소프트맥스 하나에 선형 셋 비율로 배치했습니다. 카드가 밝힌 효과는 두 가지인데, 48개 중 12개 레이어만 KV 캐시를 유지하므로 같은 형태의 전부 소프트맥스 모델 대비 장문 메모리가 약 4분의 1이라는 것, 그리고 선형 어텐션 레이어가 순환 상태 안에 순서를 내재하므로 위치 인코딩을 완전히 제거(NoPE)해 RoPE 외삽 한계를 없앴다는 것입니다. 뒤쪽 주장은 만든 쪽 설명이고 외부 재현 결과는 확인하지 못했습니다. Qwen3.6 계열도 같은 계열의 선택을 했는데, Qwen3.6-27B 카드의 레이어 배치는 Gated DeltaNet 세 개에 Gated Attention 하나를 16번 반복하는 구조입니다.

둘째, 슬라이딩 윈도와 전역 어텐션을 섞습니다. Laguna S 2.1은 48개 레이어 중 12개만 전역이고 36개는 윈도 512짜리 슬라이딩 윈도입니다. 리랭커에서도 같은 패턴이 보이는데, jina-reranker-v3.5는 28개 레이어를 슬라이딩 윈도 셋에 전역 둘 비율로 두고 윈도를 1024로 잡았습니다. 이 모델은 리스트 전체를 한 번의 순전파로 순위 매기는 구조라 마지막 레이어를 전역으로 고정해야 한다고 카드가 밝히고 있습니다.

셋째, 희소 인덱서를 둡니다. 전체 키 중 상위 몇 개만 골라 어텐션을 계산하는 방식입니다. GLM-5.2는 IndexShare라는 기법으로 네 개의 희소 어텐션 레이어마다 같은 인덱서를 재사용하고, 1M 컨텍스트에서 토큰당 FLOPs를 2.9배 줄였다고 밝혔습니다. A.X K2는 MLA 위에 상위 몇 개 토큰을 고르는 경량 인덱서와 헤드별 게이트를 얹은 SGA 구조를 씁니다. 두 수치 모두 각 연구소의 자체 보고입니다.

넷째, 어텐션 자체를 압축합니다. DeepSeek-V4 카드는 압축 희소 어텐션과 고압축 어텐션을 결합했고, 1M 컨텍스트 설정에서 V3.2 대비 토큰당 추론 FLOPs가 27퍼센트, KV 캐시가 10퍼센트라고 적었습니다. 이 역시 자체 측정입니다. Kimi K3는 KDA와 Gated MLA를 69 대 24로 섞고 AttnRes라는 잔차 구조를 함께 쓴다고 밝혔습니다.

어텐션 변형 자체의 원리는 GQA, MQA, FlashAttention 정리에서 다뤘으니 여기서 반복하지 않겠습니다.

컨텍스트 길이에 대해서는 한 가지 실무적인 함정을 짚고 넘어가야 합니다. 카드에 적힌 최대 길이는 대개 두 단계로 나뉩니다. Qwen3.6-27B는 262,144가 네이티브이고 1,010,000까지 확장 가능이라고 적었습니다. A.X K2는 128K까지 네이티브로 학습한 뒤 YaRN 스케일링으로 256K까지 늘렸다고 밝혔습니다. 즉 같은 "26만 토큰"이라도 학습으로 확보한 것과 추론 시점에 늘린 것이 섞여 있습니다.

그리고 DeepSeek-V4 카드에는 최대 사고 모드를 쓰려면 컨텍스트 윈도를 최소 384K로 설정하라는 권고가 있습니다. 이 모델의 1M 컨텍스트 중 상당 부분은 사용자 입력이 아니라 모델 자신의 사고 토큰이 쓴다는 뜻입니다. 컨텍스트 예산을 짤 때 이 부분을 빼먹으면 계산이 크게 어긋납니다. 확장 방식별 차이는 컨텍스트 윈도 확장 가이드에 정리돼 있습니다.

사전학습 — 처음부터 학습하지 않는 쪽으로 기울고 있습니다

프런티어급 모델을 백지에서 학습하는 비용이 커지면서, 앞 세대 모델을 초기값으로 삼는 방식이 눈에 띄게 늘었습니다. 확인된 사례가 둘 있습니다.

Solar Open 2는 102B짜리 Solar Open 1에서 선택적 가중치 이전으로 초기화했습니다. 카드가 밝힌 바로는 아키텍처 변경을 견디고 살아남은 가중치가 전체의 2.3퍼센트뿐이고 나머지는 무작위 초기화인데, 그 2.3퍼센트가 250B 규모의 초기 수렴을 앞당긴다고 설명합니다. 2.3퍼센트라는 숫자를 밝혔다는 점이 오히려 신뢰를 줍니다. 대부분의 가중치를 새로 학습했다는 뜻이니까요.

K-EXAONE 2.0은 카드에서 앞 세대를 깊이와 너비 양쪽으로 확장하는 업사이클링으로 3배 이상 키운 뒤, 계속 사전학습과 난이도 중심 중간학습, 사후학습을 이어 붙였다고 밝혔습니다. 그리고 이 과정에서 발견한 안정화 기법을 하나 공개했는데, 두 개의 SwiGLU 분기 뒤에 클램핑을 넣으면 깊은 레이어에서 활성화가 폭주하는 현상이 완화된다는 것입니다.

학습 안정성은 카드에서 의외로 자주 언급되는 주제입니다. 세 가지 접근이 눈에 띕니다.

A.X K2 카드는 이상치 억제의 목적을 하나 더 붙입니다. 활성화 분포에서 이상치를 눌러 두면 FP8이나 NVFP4 같은 저정밀도 서빙에 유리하다는 것입니다. 즉 학습 안정화 기법이 배포 정밀도 선택과 직접 연결됩니다. 이건 몇 년 전이면 별개 주제로 다뤘을 두 가지입니다.

정밀도 얘기가 나온 김에 사전학습 정밀도도 정리하면 이렇습니다. A.X K2는 순전파와 역전파 모두 MXFP8 E4M3로 네이티브 FP8 학습을 했고 마스터 가중치와 그래디언트만 FP32로 유지했다고 밝혔습니다. Kimi K3는 가중치 MXFP4, 활성화 MXFP8을 양자화 인지 학습으로 확보했다고 아키텍처 표에 적었습니다. 스케일링 법칙과 토큰 예산 판단에 대한 일반론은 사전학습 스케일링 법칙 정리에 따로 있습니다.

사후학습 — SFT 다음 단계의 이름이 바뀌었습니다

몇 년 전이면 이 절의 제목은 "SFT 다음 RLHF"였을 겁니다. 지금 카드에 실제로 적혀 있는 이름들은 좀 더 갈라져 있습니다.

DeepSeek-V4의 사후학습이 구조적으로 가장 특이합니다. 카드가 밝힌 순서는 두 단계입니다. 먼저 도메인별 전문 모델을 각각 독립적으로 키웁니다. 이때 SFT와 GRPO 기반 강화학습을 씁니다. 그다음 온폴리시 증류로 그 능력들을 하나의 모델로 통합합니다. 즉 전문가를 여럿 만들어 놓고 다시 한 몸으로 합치는 방식입니다. 아키텍처의 MoE와는 다른 층위의 이야기라 헷갈리기 쉬운데, 여기서 말하는 전문가는 라우팅되는 FFN이 아니라 별도로 학습된 체크포인트입니다.

강화학습이 실제로 무엇을 고쳤는지 숫자로 밝힌 사례도 있습니다. KAT-Coder-V2.5-Dev 카드는 강화학습으로 이상 도구 라벨 발생률이 9.34퍼센트에서 0.28퍼센트로, 단일 턴 내 연속 반복이 0.34퍼센트에서 0퍼센트로 줄었다고 적었습니다. 벤치마크 점수가 아니라 실패 모드의 발생률을 적은 카드는 드뭅니다. 에이전트로 쓸 모델을 고를 때는 이런 숫자가 평균 점수보다 훨씬 유용합니다.

Nanbeige4.2-3B의 카드는 소형 모델의 사후학습을 비교적 상세히 적었습니다. SFT 단계에서 실제 환경 연동과 대규모 환경 합성으로 학습 환경의 다양성을 늘리고, 궤적 수준과 턴 수준 양쪽에서 필터링하되 테스트 케이스 기반 검증과 루브릭 기반 평가를 함께 씁니다. 강화학습 단계에서는 결과 보상과 과정 보상을 결합해 소형 모델의 학습 안정성을 높였다고 밝혔습니다.

강화학습 절차를 통째로 공개한 쪽도 있습니다. Ai2의 tmax 계열은 Qwen3.5-9B 위에 DPPO로 200스텝을 돌려 Terminal Bench 2.0에서 약 27퍼센트를 기록했고 기반 모델 대비 약 6점 올랐다고 밝혔으며, 학습 중 롤아웃과 로그확률을 저장소에 함께 올렸습니다. 이건 이 글에서 다루는 모델 중 유일하게 외부에서 검증 가능한 사후학습 사례입니다.

사후학습이 만들어 내는 사용자 노출 기능도 정리해 둘 필요가 있습니다.

Kimi K3의 주의점은 실제로 자주 걸리는 함정입니다. 멀티턴이나 도구 호출에서 어시스턴트 메시지의 본문만 되돌려 보내고 추론 내용을 빼면, 모델은 자기가 직전에 뭘 생각했는지 모르는 상태가 됩니다. API 응답을 통째로 다시 넣으라고 카드가 명시하고 있습니다.

증류와 소형화 — 이름은 같지만 방식이 다릅니다

증류라는 단어가 지금 카드에서 최소 세 가지 다른 것을 가리킵니다.

첫째, 교사 모델의 출력 분포로 학생을 학습시키는 고전적 의미입니다. Microsoft의 harrier-oss-v1 계열이 명시적으로 이 방식을 적었습니다. 270M과 0.6B 변형은 대조 학습에 더해 더 큰 임베딩 모델로부터의 지식 증류를 추가로 받았다고 밝히고 있습니다. 27B 변형에는 그 언급이 없습니다.

둘째, 디퓨전 모델의 샘플링 단계 축약입니다. Z-Image-Turbo는 Z-Image의 증류판이고, 함수 평가 8회로 결과를 낸다고 카드가 밝혔습니다. 여기서 증류되는 건 지식이 아니라 샘플링 궤적입니다. 같은 단어를 쓰지만 언어 모델의 증류와는 다른 기법입니다.

셋째, 다른 모델의 출력을 SFT 데이터로 쓰는 것입니다. 앞서 데이터 절에서 본 궤적 데이터셋들이 여기 해당하고, 커뮤니티에서 가장 흔한 형태입니다. 엄밀히는 증류가 아니라 출력 모방인데, 데이터셋 이름에 distillation이 붙는 경우가 많습니다. 로짓 수준의 신호가 없으므로 교사의 불확실성 정보는 전달되지 않습니다.

능력 이전의 또 다른 형태로 파이프라인 증류라 부를 만한 것도 있습니다. Fara1.5-27B는 Qwen3.5-27B를 지도학습 미세조정한 모델인데, 학습 데이터를 만든 것이 FaraGen1.5라는 멀티에이전트 파이프라인입니다. 카드에 적힌 순서는 웹 작업을 합성하고, 그것을 풀기 위한 궤적을 실행하고, 결과를 검증한 뒤 학습에 넣는 것입니다. 교사 모델 하나가 아니라 검증 루프가 달린 시스템이 교사 역할을 합니다.

증류 기법 자체의 비교는 지식 증류와 모델 압축에서 다뤘습니다. 여기서 강조할 것은 하나입니다. 카드에 증류라고 적혀 있으면 어떤 종류인지 먼저 확인해야 합니다. 셋 중 어느 것이냐에 따라 재현 가능성도, 라이선스 위험도, 기대할 수 있는 품질도 전부 다릅니다.

양자화 배포 — 이제 만든 쪽이 직접 냅니다

파이프라인의 마지막 단계에서 가장 크게 바뀐 부분입니다. 몇 년 전만 해도 저비트 체크포인트는 커뮤니티가 사후에 만들었습니다. 지금은 원 제작자가 함께 냅니다.

이 변화의 의미가 작지 않습니다. 첫째, "원본 BF16이 기준이고 양자화는 손실"이라는 전제가 흔들립니다. Kimi K3와 A.X K2는 저정밀도가 사후 손실이 아니라 학습의 결과물입니다. 참조가 될 고정밀도 원본이 애초에 존재하지 않습니다.

둘째, DeepSeek-V4처럼 파라미터 종류별로 정밀도를 다르게 가져가는 구성이 늘고 있습니다. 카드가 밝힌 대로 MoE 전문가만 FP4이고 나머지는 FP8입니다. 사후 양자화 도구가 이런 구성을 그대로 재현하기는 어렵습니다.

셋째, 그럼에도 커뮤니티 변환본은 여전히 존재 이유가 있습니다. 제작자가 내는 것은 데이터센터 GPU를 겨냥한 FP8과 NVFP4이고, 노트북에서 돌릴 GGUF나 애플 실리콘용 MLX는 여전히 커뮤니티 몫입니다. 앞 글에서 본 Bonsai-27B의 가중치당 1.125비트 같은 극단적 압축은 제작자 쪽에서는 나오지 않습니다.

정밀도 선택이 실제 성능에 어떻게 반영되는지는 양자화 형식 비교와 추론 VRAM 계산법에서 다뤘습니다.

마치며 — 검증 가능한 부분과 믿어야 하는 부분

이 파이프라인을 한 번 훑고 나면 경계선이 선명해집니다. config.json에 들어가는 것은 전부 검증 가능합니다. 레이어 수, 전문가 수, KV 헤드 수, 어휘 크기, 최대 위치 임베딩. 파일 목록과 라이선스 원문도 그렇습니다. 반면 학습 데이터 구성, 토큰 예산, 스케일링 효율 개선, 벤치마크 점수는 전부 만든 쪽의 진술입니다.

그래서 실무에서 할 수 있는 일은 두 가지입니다. 검증 가능한 것은 직접 확인하고, 진술인 것은 진술로 취급해 본인 작업에서 재현하는 것입니다. 파라미터 수 대신 안전텐서 헤더를 보고, 컨텍스트 길이 대신 실제 긴 입력에서의 품질을 재고, 카드의 벤치마크 표 대신 본인 평가셋을 돌리는 것입니다.

다음 글에서는 그 확인 작업을 5분 안에 끝내는 순서를 정리합니다. 모델 카드를 어디부터 읽고, 무엇을 건너뛰고, 어디에서 조용히 망가지는지에 대한 이야기입니다.