Skip to content
←

필사 모드: 텍스트 LLM 기술 리포트, 무엇을 읽을 것인가 — 순위 대신 설계 결정 읽기

한국어
0%
정확도 0%
💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

들어가며

이 시리즈는 영역마다 "지금 무엇을 읽어야 하는가"를 정리합니다. 첫 편은 텍스트 LLM입니다.

기술 리포트를 읽는 목적은 두 가지로 갈립니다. 하나는 어떤 모델을 쓸지 고르는 것이고, 다른 하나는 이 분야가 어떤 설계 결정을 놓고 다투는지 파악하는 것입니다. 앞의 목적에는 리포트가 생각보다 쓸모없고, 뒤의 목적에는 대체재가 없습니다. 이 글은 뒤쪽을 위한 안내서입니다.

논문 정보는 2026-08-12에 원문에서 직접 확인했습니다. 이 분야는 빠르게 바뀌므로 최신 상태는 직접 확인하세요.

이 글이 모델 순위를 매기지 않는 이유

기술 리포트에 실린 벤치마크 표는 대부분 저자가 자기 모델을 직접 측정한 결과입니다. 독립 평가가 아닙니다. 같은 모델이라도 평가 하네스, 프롬프트 형식, 소수샷 예시 개수, 답 추출 정규식이 달라지면 숫자가 달라집니다. 그래서 리포트 A의 82점과 리포트 B의 80점을 나란히 놓고 순위를 매기는 건 대체로 의미가 없습니다.

이 시리즈는 그래서 점수표 대신 세 가지를 봅니다. 저자가 풀려고 한 문제, 그 문제를 풀기 위해 포기한 것, 그리고 저자가 초록에서 직접 인정한 범위 제한입니다.

지금 텍스트 LLM에서 실제로 다투는 축

[기술 리포트가 실제로 다투는 네 가지 축]
 규모     : 총 파라미터 vs 토큰당 활성 파라미터
 추론     : 얼마나 오래 생각하고, 언제 멈출 것인가
 컨텍스트 : 학습 길이와 추론 시 요구 길이의 간극
 개방성   : 가중치만 여는가, 데이터와 체크포인트까지 여는가

이 네 축은 서로 맞물려 있습니다. 활성 파라미터를 줄이면 서빙 비용이 내려가지만 라우팅 불안정과 부하 불균형이 생깁니다. 생각을 길게 하면 검증 가능한 과제에서 정확도가 오르지만 지연과 토큰 비용이 같이 오릅니다. 리포트를 읽을 때는 저자가 어느 축을 붙잡고 어느 축을 놓았는지를 먼저 찾는 게 빠릅니다.

읽을 만한 기술 리포트 아홉 편

DeepSeek-V3 Technical Report

arxiv.org/abs/2412.19437 — DeepSeek-AI, 2024-12-27 등록, v2는 2025-02-18.

총 671B 파라미터 중 토큰당 37B만 활성화하는 MoE입니다. 초록이 내세우는 것은 Multi-head Latent Attention과 DeepSeekMoE 구조, 보조 손실 없이 부하를 분산하는 전략, 그리고 다중 토큰 예측 목적함수입니다. 14.8조 토큰 사전학습에 H800 GPU 시간 278.8만을 썼고, 전 과정에서 복구 불가능한 손실 급증이나 롤백이 없었다고 밝힙니다. 대규모 학습을 실제로 굴려본 사람에게는 이 마지막 문장이 성능 표보다 값집니다.

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

arxiv.org/abs/2501.12948 — DeepSeek-AI, 2025-01-22 등록, v2는 2026-01-04. Nature 645권 633–638쪽에 게재된 것으로 표시됩니다.

사람이 붙인 추론 과정 라벨 없이 순수 강화학습만으로 추론 능력을 끌어낼 수 있다는 주장입니다. 자기 검토와 검증, 전략 전환 같은 패턴이 학습 중에 저절로 나타났고 그 패턴이 작은 모델로 전이된다고 보고합니다. 다만 초록이 성과를 한정하는 범위가 분명합니다. 수학, 코딩 대회, STEM처럼 정답을 기계적으로 검증할 수 있는 과제입니다.

Qwen3 Technical Report

arxiv.org/abs/2505.09388 — Qwen 팀, 2025-05-14 등록.

0.6B부터 235B까지 밀집 모델과 MoE를 함께 낸 시리즈입니다. 설계상 흥미로운 지점은 생각하는 모드와 생각하지 않는 모드를 한 프레임에 넣고, 추론 시 계산량을 조절하는 생각 예산 장치를 둔 것입니다. 지원 언어는 29개에서 119개로 늘었다고 밝히며 Apache 2.0으로 공개했습니다.

Gemma 3 Technical Report

arxiv.org/abs/2503.19786 — Gemma 팀, 2025-03-25 등록.

1B에서 27B 사이의 경량 개방 모델에 비전 이해를 붙이고 최소 128K 컨텍스트를 지원합니다. 실무에서 바로 와닿는 대목은 지역 어텐션 비중을 높여 KV 캐시 메모리 부담을 줄였다는 부분입니다. 긴 컨텍스트에서 비용을 결정하는 것은 종종 파라미터 수가 아니라 캐시입니다.

Olmo 3

arxiv.org/abs/2512.13961 — Team Olmo, 2025-12-15 등록, v2는 2026-04-14.

7B와 32B를 완전 공개했는데, 여기서 "완전"의 뜻이 다릅니다. 가중치만이 아니라 모델을 만든 전 생애주기 전체, 즉 모든 단계와 체크포인트와 데이터 포인트와 의존성을 함께 공개한다고 밝힙니다. 재현이 필요한 연구자에게는 이 결정 하나가 다른 어떤 점수보다 중요합니다. 선행 리포트인 2 OLMo 2 Furious(arxiv.org/abs/2501.00656)도 같은 방향입니다.

Kimi K2: Open Agentic Intelligence

arxiv.org/abs/2507.20534 — Kimi Team, 2025-07-28 등록, v2는 2026-02-03.

총 1조 파라미터 중 토큰당 32B를 활성화하는 MoE이며, MuonClip이라는 옵티마이저로 15.5조 토큰을 학습 불안정 없이 통과했다고 보고합니다. 초록에 나오는 수치는 Tau2-Bench 66.1과 SWE-Bench Verified 65.8인데, 저자 스스로 이 비교의 범위를 생각하지 않는 모델군으로 한정합니다. 벤치마크 숫자를 인용할 때 이 한정을 같이 옮기지 않으면 인용이 아니라 왜곡입니다.

MiniMax-01: Scaling Foundation Models with Lightning Attention

arxiv.org/abs/2501.08313 — MiniMax, 2025-01-14 등록.

라이트닝 어텐션과 MoE를 결합해 총 456B 중 45.9B를 활성화합니다. 초점은 컨텍스트 길이입니다. 학습에서 100만 토큰을 다루고 추론에서 400만 토큰까지 외삽한다고 밝힙니다. 긴 컨텍스트를 어텐션 근사로 밀어붙이는 접근이 어디까지 가는지 보려면 이 리포트가 좋은 표본입니다.

Mellum2 Technical Report

arxiv.org/abs/2605.31268 — 2026-05-29 등록.

소프트웨어 엔지니어링에 특화한 12B MoE로 토큰당 활성 파라미터는 2.5B입니다. 약 10.6조 토큰을 3단계 커리큘럼으로 학습했고 GQA와 슬라이딩 윈도 어텐션, 다중 토큰 예측을 함께 씁니다. 저자 표현은 4B에서 14B 사이 개방 가중치 기준선과 경쟁할 만하다는 것이며, 그 성능을 2.5B 밀집 모델 수준의 토큰당 연산으로 낸다는 데 방점이 있습니다.

s1: Simple test-time scaling

arxiv.org/abs/2501.19393 — 2025-01-31 등록, v3는 2025-03-01.

난이도와 다양성, 품질 기준으로 고른 1,000문항만으로 파인튜닝하고, 생각을 강제로 끊거나 늘리는 예산 강제 기법을 씁니다. 저자들은 MATH와 AIME24 같은 경쟁 수학 문제에서 이 기법으로 최대 27%까지 개선을 얻었다고 자체 보고합니다. 데이터 규모가 아니라 추론 시 계산 배분이 지렛대가 될 수 있다는 사례로 읽는 편이 낫습니다.

저자들이 스스로 밝힌 한계

  • DeepSeek-R1의 성과 범위는 초록에서 검증 가능한 과제로 한정됩니다. 자유 서술이나 취향 판단이 걸린 과제로 그대로 옮겨 읽으면 안 됩니다.
  • Kimi K2의 벤치마크 수치는 생각하지 않는 모델군 안에서의 비교로 명시됩니다.
  • s1의 결과는 경쟁 수학 문제 중심이며, 초록이 일반화까지 주장하지는 않습니다.
  • Mellum2와 Qwen3, Gemma 3의 성능 서술은 모두 저자 자체 측정입니다. 초록 어디에도 제3자 평가라는 말은 없습니다.
  • Olmo 3 초록에는 자기 계열 중 가장 강한 완전 공개 사고 모델이라는 표현이 있는데, 이건 저자의 주장이지 독립 검증 결과가 아닙니다.

실무자는 무엇부터 읽어야 하나

서빙 비용을 줄이는 게 목표라면 DeepSeek-V3와 Mellum2를 먼저 읽으세요. 총 파라미터와 활성 파라미터를 분리해 사고하는 습관이 생깁니다.

추론 품질을 올리는 게 목표라면 DeepSeek-R1과 s1을 붙여 읽으세요. 전자는 학습으로, 후자는 추론 시 예산으로 같은 목표에 접근합니다. 두 방향의 비용 구조가 완전히 다릅니다.

재현과 감사가 필요한 조직이라면 Olmo 3부터 읽으세요. 데이터 계보를 공개한 모델과 그렇지 않은 모델은 규제 대응에서 다른 물건입니다.

긴 컨텍스트가 병목이라면 Gemma 3의 캐시 절감과 MiniMax-01의 외삽을 함께 보세요. 같은 문제에 대한 두 개의 다른 답입니다.

확인 방법과 시점

이 글에 실린 아홉 편은 모두 2026-08-12에 arXiv 초록 페이지를 직접 열어 제목, 식별자, 등록일, 버전, 초록 주장 내용을 확인했습니다. 열지 못한 후보는 인용하지 않았습니다. 인용한 수치는 전부 저자 보고이며 제가 재현한 값이 아닙니다.

직접 해보기

  • AI 벤치마크 모음 — 리더보드 사이트를 카테고리별로 모아뒀습니다. 리포트의 자체 보고 수치와 공개 리더보드를 나란히 놓고 보세요.
  • 신경망 구조 탐색기 — MoE 이야기가 어렵게 느껴진다면 트랜스포머 구조를 먼저 손으로 훑어보는 편이 빠릅니다.

시리즈 다음 편: OCR과 문서 이해 기술 리포트, 무엇을 읽을 것인가

참고 자료

현재 단락 (1/52)

이 시리즈는 영역마다 "지금 무엇을 읽어야 하는가"를 정리합니다. 첫 편은 텍스트 LLM입니다.

작성 글자: 0자원문 글자: 5,272자작성 단락: 0/52