Skip to content

Efficiency

  • Published on
    Ares(2026년 3월 프리프린트)를 실무 관점에서 정리했습니다. 이 논문은 추론 노력을 태스크 전체가 아니라 스텝 단위의 비용 레버로 다룹니다. 가벼운 라우터가 상호작용 이력을 보고 각 스텝에 필요한 가장 낮은 추론 레벨을 예측해, 모든 스텝을 최대 노력으로 돌리는 낭비를 줄입니다. 저자들은 TAU-Bench·BrowseComp-Plus·WebArena에서 추론 토큰을 최대 52.7%까지 줄이면서 성공률 저하는 미미했다고 보고하는데, 이는 독립 검증되지 않은 저자 보고치입니다. 라우팅이 어떻게 도는지와, 라우터 오버헤드·과소 사고 같은 솔직한 트레이드오프를 함께 다룹니다.
  • Published on
    하이브리드 시퀀스 모델(어텐션 + 선형·SSM 블록)은 긴 컨텍스트에 유리하지만, 지금까지는 대부분 처음부터 새로 사전학습해야 했습니다. 2026년 4월 프리프린트 HyLo는 이미 학습된 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링"하는 레시피를 제안합니다 — MLA(잠재 어텐션)와 Mamba2·Gated DeltaNet 같은 선형 블록을 섞고, 단계적 긴 컨텍스트 학습과 교사 증류를 얹습니다. 저자들은 컨텍스트를 최대 32배까지 늘리면서 KV 캐시 메모리를 90% 넘게 줄이고 짧은 컨텍스트 품질도 유지한다고 보고합니다. HyLo-Qwen-1.7B가 100억 토큰만으로 4000억 토큰짜리 베이스라인을 GSM8K에서 앞섰다는 수치도 있지만, 아직 동료 심사 전 프리프린트라 모든 비교 수치는 저자 보고 기준으로 읽어야 합니다.