- Published on
하이브리드 시퀀스 모델(어텐션 + 선형·SSM 블록)은 긴 컨텍스트에 유리하지만, 지금까지는 대부분 처음부터 새로 사전학습해야 했습니다. 2026년 4월 프리프린트 HyLo는 이미 학습된 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링"하는 레시피를 제안합니다 — MLA(잠재 어텐션)와 Mamba2·Gated DeltaNet 같은 선형 블록을 섞고, 단계적 긴 컨텍스트 학습과 교사 증류를 얹습니다. 저자들은 컨텍스트를 최대 32배까지 늘리면서 KV 캐시 메모리를 90% 넘게 줄이고 짧은 컨텍스트 품질도 유지한다고 보고합니다. HyLo-Qwen-1.7B가 100억 토큰만으로 4000억 토큰짜리 베이스라인을 GSM8K에서 앞섰다는 수치도 있지만, 아직 동료 심사 전 프리프린트라 모든 비교 수치는 저자 보고 기준으로 읽어야 합니다.