Chaos and Order

💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

들어가며 — 체크포인트를 버리지 않고 고쳐 쓴다
왜 하이브리드인가 — 긴 컨텍스트의 두 가지 부담
HyLo가 하는 일 — 재활용 레시피
숫자들 — 전부 저자 보고 기준
마치며 — 흥미로운 점과 미심쩍은 점
참고 자료

들어가며 — 체크포인트를 버리지 않고 고쳐 쓴다

긴 컨텍스트는 지금 LLM의 최전선이고, 그 최전선에서 진짜 적은 연산이 아니라 메모리입니다. 어텐션의 KV 캐시는 시퀀스가 길어질수록 선형으로 불어나, 어느 순간 가중치보다 커집니다 — 앞선 양자화 정리 가 "다음 병목은 KV 캐시"라고 끝맺은 바로 그 지점입니다. 이 메모리 청구서를 깎는 길은 크게 둘입니다. 하나는 숫자 하나하나를 더 적은 비트로 — 양자화. 다른 하나는 캐시가 애초에 덜 불어나도록 구조를 바꾸는 것 — 하이브리드 아키텍처. 이 글은 두 번째 축을 다룹니다.

2026년 4월 프리프린트 HyLo ("Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling", Ashrafi Fashi 외) 는 여기에 한 가지 반전을 더합니다. 하이브리드를 처음부터 새로 학습하지 않고, 이미 있는 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링(upcycling)" 한다는 것입니다. 먼저 밝혀둘 것: 이건 동료 심사를 거치지 않은 프리프린트이고, 아래의 모든 비교 수치는 저자들이 보고한 값입니다.

왜 하이브리드인가 — 긴 컨텍스트의 두 가지 부담

표준 자기어텐션에는 두 가지 부담이 있습니다. 첫째, 연산이 시퀀스 길이의 제곱(O(n²)) 으로 늘어납니다. 둘째, 추론 때는 이미 본 토큰의 키·값을 캐시(KV 캐시)에 쌓아 두는데, 이 캐시가 길이에 선형으로 커집니다. 짧은 프롬프트에서는 둘 다 사소하지만, 수십만 토큰에서는 둘 다 벽이 됩니다.

선형 어텐션·SSM 블록 (Mamba2, Gated DeltaNet 같은) 은 이 부담을 다르게 풉니다. 과거 전체를 캐시하는 대신 고정 크기의 순환 상태(recurrent state) 하나에 요약해 들고 갑니다 — 상태 크기가 길이에 무관하니 메모리가 불어나지 않고, 연산도 선형에 가깝습니다. 대가는 있습니다. 고정 상태에 과거를 욱여넣는 만큼, 멀리 떨어진 특정 토큰을 정확히 되짚는(exact recall) 능력은 풀 어텐션보다 약한 경향이 있습니다.

그래서 하이브리드입니다. 정확한 회상이 필요한 소수의 층은 어텐션으로 남기고, 나머지 대부분을 선형·SSM 블록으로 채우면 — 품질은 붙잡으면서 길이에 대한 확장성은 선형 쪽으로 당겨집니다. HyLo는 여기에 남은 어텐션마저 MLA(Multi-Head Latent Attention) — K/V를 저차원 잠재 벡터로 압축하는 어텐션 — 로 두어 캐시를 한 번 더 줄입니다. 요약하면 하이브리드는 "어텐션의 정확함 + 선형의 값쌈"을 한 모델에 섞는 일입니다.

HyLo가 하는 일 — 재활용 레시피

여기까지는 "하이브리드가 좋다"는 일반론입니다. HyLo의 기여는 그걸 어떻게 싸게 얻느냐입니다. 지금까지 하이브리드의 걸림돌은, 대개 처음부터 새로 사전학습해야 했다는 점입니다 — 수천억 토큰과 그만한 비용. 잘 학습된 Transformer 체크포인트가 산더미인데, 이 용도로는 못 쓰고 놀리는 셈이었죠.

HyLo의 레시피는 초록 기준으로 세 가지를 엮습니다.

구조 이식(architectural adaptation): 기존 Transformer 블록의 일부를 효율적인 블록 — MLA와 선형 블록(Mamba2 또는 Gated DeltaNet) — 으로 갈아 끼웁니다.
단계적 긴 컨텍스트 학습(staged long-context training): 컨텍스트 길이를 한 번에 늘리지 않고 단계적으로 확장합니다.
교사 유도 증류(teacher-guided distillation): 원본 Transformer를 교사로 삼아, 새 하이브리드 학생이 그 행동을 따라가도록 맞춥니다.

세 조각의 목적은 하나입니다 — 원본이 이미 아는 것을 최대한 지키면서, 값싼 후처리 학습만으로 긴 컨텍스트에 맞는 효율적 구조로 갈아입히기. 저자들은 이 과정을 "업사이클링" 이라 부르는데, 버리는 대신 고쳐 쓴다는 뉘앙스가 정확합니다(밀도 모델을 MoE로 바꾸는 기존 업사이클링의 사촌 격입니다).

숫자들 — 전부 저자 보고 기준

초록이 내세우는 수치를 정리하면 이렇습니다. 다시 강조하지만 전부 저자 보고 기준입니다.

컨텍스트 확장     최대 32배 (값싼 후처리 학습으로)
KV 캐시 메모리    90% 넘게 절감
최대 컨텍스트     vLLM 스택에서 최대 200만(2M) 토큰 prefill·decode
베이스라인 대비   "비슷한 Llama 베이스라인은 64K 컨텍스트를 넘기면 메모리 부족(OOM)"
규모             1B·3B급 (Llama·Qwen 기반 변형)

가장 눈에 띄는 한 줄은 토큰 효율입니다. 저자들은 HyLo-Qwen-1.7B를 단 100억(10B) 토큰으로 후처리 학습해, 4000억(400B) 토큰으로 학습된 JetNemotron 베이스라인을 GSM8K에서 앞섰다고 보고합니다. 학습 토큰이 40배 적은데 특정 과제에서 이겼다는 주장이니, 사실이라면 "업사이클링이 처음부터 학습보다 훨씬 싸다"는 이 논문의 핵심 명제를 그대로 보여주는 숫자입니다. 긴 컨텍스트 평가인 RULER (초록은 RULER-64K를 언급) 에서도 최신 업사이클 하이브리드 베이스라인들을 앞섰다고 하며, 그러면서 짧은 컨텍스트 품질도 유지한다는 것 — "길게 늘리려다 짧은 걸 잃는" 흔한 함정을 피했다는 주장입니다.

마치며 — 흥미로운 점과 미심쩍은 점

흥미로운 점. 첫째, 문제를 경제학으로 다시 짠 것. "하이브리드가 좋다"는 이미 알려졌지만, 그걸 수천억 토큰이 아니라 100억 토큰급으로 얻을 수 있다면 이야기가 달라집니다 — 쌓여 있는 기존 체크포인트가 전부 재료가 되니까요. 둘째, 이 접근은 양자화 와 다른 축이라는 점이 중요합니다. 양자화는 캐시에 담긴 숫자 하나하나를 더 적은 비트로 줄이고, 하이브리드는 캐시가 애초에 덜 생기도록 구조를 바꿉니다. 같은 메모리 청구서를 서로 다른 방향에서 깎으니 원리상 둘은 겹쳐 쓸 수 있습니다 — KV 캐시를 4비트로 줄이는 시도 와 나란히 두면 그림이 또렷합니다.

미심쩍은 점. 위 수치는 전부 동료 심사 전 프리프린트의 저자 보고 값이고, 검증은 아직입니다. 실험 규모도 1B·3B로 작아, 프런티어 크기로 갈수록 하이브리드 품질이 그대로 버틸지는 이 초록만으로 알 수 없습니다. "최대 32배", "90% 넘게" 같은 표현은 대개 최선의 경우를 가리키고, GSM8K 우위도 한 과제의 결과일 뿐 정확한 격차는 초록에 없습니다. 그래도 방향은 분명합니다. 긴 컨텍스트의 진짜 싸움은 메모리이고, 양자화가 비트를 깎는 동안 하이브리드 업사이클링은 캐시 자체를 구조적으로 줄이려 합니다 — 게다가 처음부터 학습하는 대신 이미 있는 모델을 고쳐 쓰는 값싼 길로. 코드와 재현이 공개되면 그때 다시 볼 값어치가 있는 방향입니다.

들어가며 — 체크포인트를 버리지 않고 고쳐 쓴다

왜 하이브리드인가 — 긴 컨텍스트의 두 가지 부담

HyLo가 하는 일 — 재활용 레시피

숫자들 — 전부 저자 보고 기준

마치며 — 흥미로운 점과 미심쩍은 점

참고 자료