- Published on
LLM 아키텍처에서 가장 많이 나오는 질문이지만, 대부분의 답은 출처 없는 의사결정 트리입니다. 이 글은 측정된 것만 가지고 답합니다. 파인튜닝은 새 지식을 넣는 데 실패한다는 것이 여러 논문에서 반복 측정됐고(Ovadia 등, Gekhman 등), 정반대로 보이는 농업 사례 연구는 사실 다른 개입(비지도 계속사전학습 vs 지도 Q&A 튜닝)을 잰 것이라 충돌이 아닙니다. 롱컨텍스트는 위치·길이·어휘라는 세 축에서 각각 무너지고(lost-in-the-middle, Databricks의 20개 모델 측정, NoLiMa), Self-Route는 RAG가 토큰의 38~61%만 쓰고도 비슷한 성능을 낸다고 보고합니다. 그런데 이 숫자들이 올라탄 벤치마크 자체가 오염돼 있습니다 — Natural Questions 질문의 약 3분의 2는 컨텍스트 없이도 GPT-4o가 맞힙니다. 결론은 하나의 측정 가능한 속성으로 수렴합니다: 당신 코퍼스의 recall@k 곡선이 어디서 포화하는가. 세 방식을 하나의 공통 벤치마크에서 비교한 연구는 아직 없다는 점도 함께 적습니다.