Long-context

All Posts

Published on
2026년 7월 17일
컨텍스트 엔지니어링은 프롬프트 엔지니어링을 대체한 말인가 — 측정된 것과 아닌 것
llm context-engineering prompt-engineering long-context ai-agent
"프롬프트 엔지니어링은 죽었다"는 문장은 이 용어를 만든 어느 1차 출처에도 없습니다. Karpathy는 few-shot 예제와 태스크 설명을 컨텍스트 엔지니어링의 구성요소로 나열했고, Anthropic은 "프롬프트 엔지니어링의 자연스러운 진전(natural progression)"이라고 썼습니다. 즉 대체가 아니라 포함입니다. 그런데도 이게 진짜 다른 일이라는 근거는 있습니다 — Chroma의 LongMemEval 실험은 질문과 문구를 그대로 둔 채 주변 컨텍스트만 300토큰에서 113k토큰으로 늘렸고, 18개 모델 전부에서 성능이 떨어졌습니다. 프롬프트를 고쳐서는 닿지 않는 축이 있다는 뜻입니다. 이 글은 실제로 측정된 것(RULER의 실효 컨텍스트, lost-in-the-middle의 효과 크기, NoLiMa, ATLAS의 순위 뒤집힘)과 측정 없이 반복되는 것("어텐션 예산", compaction의 무손실성)을 갈라서 정리합니다.
Published on
2026년 7월 17일
RAG · 파인튜닝 · 롱컨텍스트 — 내 문제엔 뭘 써야 하나: 논문이 실제로 잰 것, 그리고 아무도 재지 않은 것
rag llm fine-tuning long-context ai
LLM 아키텍처에서 가장 많이 나오는 질문이지만, 대부분의 답은 출처 없는 의사결정 트리입니다. 이 글은 측정된 것만 가지고 답합니다. 파인튜닝은 새 지식을 넣는 데 실패한다는 것이 여러 논문에서 반복 측정됐고(Ovadia 등, Gekhman 등), 정반대로 보이는 농업 사례 연구는 사실 다른 개입(비지도 계속사전학습 vs 지도 Q&A 튜닝)을 잰 것이라 충돌이 아닙니다. 롱컨텍스트는 위치·길이·어휘라는 세 축에서 각각 무너지고(lost-in-the-middle, Databricks의 20개 모델 측정, NoLiMa), Self-Route는 RAG가 토큰의 38~61%만 쓰고도 비슷한 성능을 낸다고 보고합니다. 그런데 이 숫자들이 올라탄 벤치마크 자체가 오염돼 있습니다 — Natural Questions 질문의 약 3분의 2는 컨텍스트 없이도 GPT-4o가 맞힙니다. 결론은 하나의 측정 가능한 속성으로 수렴합니다: 당신 코퍼스의 recall@k 곡선이 어디서 포화하는가. 세 방식을 하나의 공통 벤치마크에서 비교한 연구는 아직 없다는 점도 함께 적습니다.
Published on
2026년 7월 11일
사전학습 체크포인트를 긴 컨텍스트 하이브리드로 — HyLo의 업사이클링 레시피
ai llm long-context architecture efficiency
하이브리드 시퀀스 모델(어텐션 + 선형·SSM 블록)은 긴 컨텍스트에 유리하지만, 지금까지는 대부분 처음부터 새로 사전학습해야 했습니다. 2026년 4월 프리프린트 HyLo는 이미 학습된 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링"하는 레시피를 제안합니다 — MLA(잠재 어텐션)와 Mamba2·Gated DeltaNet 같은 선형 블록을 섞고, 단계적 긴 컨텍스트 학습과 교사 증류를 얹습니다. 저자들은 컨텍스트를 최대 32배까지 늘리면서 KV 캐시 메모리를 90% 넘게 줄이고 짧은 컨텍스트 품질도 유지한다고 보고합니다. HyLo-Qwen-1.7B가 100억 토큰만으로 4000억 토큰짜리 베이스라인을 GSM8K에서 앞섰다는 수치도 있지만, 아직 동료 심사 전 프리프린트라 모든 비교 수치는 저자 보고 기준으로 읽어야 합니다.
Published on
2026년 6월 26일
어텐션의 진화 — MQA, GQA, FlashAttention, 그리고 긴 컨텍스트
llm attention flashattention gqa mqa kv-cache long-context
표준 어텐션의 메모리와 연산 비용을 분석하고, MQA와 GQA가 KV cache를 어떻게 줄이는지, FlashAttention이 IO를 어떻게 최적화하는지 설명합니다. 슬라이딩 윈도우와 롱컨텍스트 기법, 그리고 이 모든 선택이 서빙 메모리에 미치는 영향까지 비교합니다.
Published on
2026년 6월 26일
위치 인코딩 완전 이해 — 사인파에서 RoPE까지
llm positional-encoding rope alibi long-context transformer
왜 Transformer에 위치 정보가 필요한지부터 시작해 sinusoidal, learned, 상대 위치 인코딩, 그리고 RoPE와 ALiBi를 단계적으로 설명합니다. 길이 외삽과 컨텍스트 확장(NTK, YaRN), 멀티모달의 M-RoPE까지 연결하고 흔한 함정을 정리합니다.
Published on
2026년 4월 12일
Gemini 2.5 개발자 실전 가이드: Pro, Flash, Flash-Lite를 어떻게 고를까
google gemini gemini-2-5 coding agentic-coding reasoning long-context multimodal google-ai-studio vertex-ai 2026-04
2025년 3월 25일 공개된 Gemini 2.5를 기준으로, Pro, Flash, Flash-Lite 중 무엇을 선택해야 하는지, reasoning 모델이 워크플로를 어떻게 바꾸는지, 그리고 팀이 실제로 무엇을 배포해야 하는지를 실무 관점에서 정리합니다.
Published on
2026년 3월 18일
Context Window 100만 토큰 시대: RAG는 사라지는가?
context-window rag llm long-context ai-development 비용최적화 검색
Gemini 1.5 Pro의 100만 토큰, Claude의 20만 토큰 컨텍스트 윈도우가 등장하면서 "RAG가 필요 없어지는 것 아니냐"는 질문이 많아졌습니다. 실제 비용, 속도, 품질을 비교해서 솔직하게 답합니다.
Published on
2026년 3월 15일
1M 컨텍스트 윈도우 시대의 LLM 활용 전략: 대규모 문맥 처리의 실전 가이드
ai-platform llm context-window long-context claude 2026-03
2026년 3월 Anthropic이 Claude Opus 4.6/Sonnet 4.6의 1M 토큰 컨텍스트 윈도우를 GA로 발표했다. 기존 128K~200K 제한에서 1M으로의 확장이 가져오는 활용 패러다임의 전환, 실전 활용 패턴 5가지, RAG 대비 트레이드오프, 비용 최적화 전략까지 종합 가이드를 제공한다.
Published on
2026년 3월 8일
Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
ai-papers ring-attention distributed-training long-context transformer sequence-parallelism 2026-03
Ring Attention 논문을 분석하고 분산 환경에서 컨텍스트 길이 제한을 극복하는 방법을 탐구합니다. Blockwise Parallel Transformer와의 연결, 구현 세부사항, 성능 벤치마크, 그리고 프로덕션 적용 시 고려사항까지 다룹니다.
Published on
2026년 3월 7일
LLM 롱 컨텍스트 성능과 KV Cache 최적화 완전 가이드: MQA에서 Ring Attention까지
llm kv-cache long-context multi-query-attention grouped-query-attention paged-attention ring-attention transformer 2026-03
LLM의 롱 컨텍스트 처리를 가능하게 하는 KV Cache의 원리부터 메모리 소비 분석, MQA·GQA·PagedAttention·슬라이딩 윈도우·Ring Attention 등 최적화 기법, 모델별 컨텍스트 윈도우 비교, Needle-in-a-Haystack 벤치마크까지 실무 관점에서 포괄적으로 다룹니다.

Long-context

long-context (10)