Llm

All Posts

Published on
2026년 8월 19일
모두를 위한 AI 1편 — 16M 파라미터 언어모델을 15분에 처음부터 학습시키기
ai llm transformer pytorch hands-on tiny-models
GPU 한 장으로 언어모델을 처음부터 학습시켜 봅니다. TinyStories 데이터셋과 1,600만 파라미터짜리 디코더 전용 트랜스포머로 15분 만에 읽히는 영어 동화를 생성했습니다. 어텐션 마스크가 왜 필요한지, 가중치 묶기가 무엇을 절약하는지, perplexity 20이 실제로 어떤 문장을 뜻하는지를 실제 학습 로그와 생성 결과로 확인합니다. RTX 3090 실측 기준.
Published on
2026년 8월 16일
AI 엔지니어 회의 영어: 모른다고 말하면서 신뢰를 잃지 않는 법
english business-english meeting ai llm evaluation 2026-08
AI 팀 회의에서 가장 자주 필요한 영어는 확신을 표현하는 말이 아니라 불확실성을 신뢰감 있게 표현하는 말입니다. 평가 결과와 그 한계를 함께 말하기, 원인이 아직 불명확한 회귀 보고, 지표는 올랐는데 품질은 아닐 때, 라벨링 이견, 비용과 지연 시간 트레이드오프, 연구 일정과 제품 일정의 충돌, 비기술 이해관계자에게 불확실성 설명하기, 남의 실험에 이견 제기하기, 재현이 안 될 때까지 상황별 표현을 정리했습니다. 헤지 표현의 세기 눈금과 미국식과 영국식 차이도 함께 다룹니다.
Published on
2026년 8월 14일
Cerebras Ultrafast와 에이전트 루프의 병목 — 초당 750토큰이 줄이지 못하는 시간
llm inference hardware latency performance hacker-news
Cerebras와 OpenAI가 초당 최대 750토큰을 내는 추론 티어를 공개했습니다. 발표문이 밝히는 원리는 연산량이 아니라 데이터 이동이고, 가중치를 웨이퍼 위 SRAM에 올려 두는 방식입니다. 왜 배치 1의 디코딩이 메모리 대역폭에 묶이는지, 발표된 배속 수치가 무엇을 재고 무엇을 재지 않는지, 그리고 토큰 생성이 빨라져도 줄지 않는 시간이 여러분의 에이전트 루프에서 몇 퍼센트인지 계산하는 방법을 정리합니다.
Published on
2026년 8월 14일
Gemini 3.7 Flash의 도입가와 3주 주기 — 모델 원가를 계약이 아니라 확률로 잡아야 하는 이유
llm cost-optimization benchmark api-design capacity-planning hacker-news
Gemini 3.7 Flash 발표에서 실무자가 봐야 할 것은 벤치마크 상승폭이 아니라 두 가지입니다. 하나는 특정 날짜에 단가가 두 배로 오르는 도입가 구조이고, 다른 하나는 직전 모델이 3주 전에 나왔다는 사실입니다. 이 둘이 겹치면 모델 원가는 고정비가 아니라 만료일이 붙은 조건부 값이 됩니다. 공개된 벤치마크가 무엇을 비교하고 무엇을 비교하지 않는지, 그리고 발표에서 끝내 공개되지 않은 두 숫자가 왜 하필 아키텍처를 결정하는 숫자인지 정리합니다.
Published on
2026년 8월 14일
분류하지 말고 지어내라는 기법과 그 검증 — 가짜 레이블이 원본 질의보다 나은 이유
llm embedding classification search retrieval hacker-news
수백 개짜리 분류 체계를 프롬프트에 넣는 대신, 작은 모델에게 그럴듯한 가짜 분류를 지어내게 하고 그것을 임베딩으로 실제 분류에 붙이는 기법이 논의됐습니다. 왜 이것이 동작할 수 있는지는 임베딩 공간의 비대칭성으로 설명됩니다. 다만 원문에는 측정 결과가 없고, 댓글에는 이 기법이 정말 원본 질의를 직접 임베딩하는 것보다 나은지 묻는 정확한 반론과 더 싼 대안이 함께 나왔습니다. 무엇을 어떻게 재야 하는지까지 정리합니다.
Published on
2026년 8월 14일
Qwen3.8-27B의 하이브리드 어텐션 — 64개 층 중 16개만 KV 캐시를 쌓는 구조
llm inference quantization local-llm attention hacker-news
27B 모델이 26만 토큰 컨텍스트를 노트북에서 감당하는 이유는 파라미터 수가 아니라 층 구성에 있습니다. Qwen3.8-27B는 64개 층 중 48개를 선형 어텐션(Gated DeltaNet)으로, 16개만 일반 어텐션으로 배치해 KV 캐시가 자라는 층 자체를 4분의 1로 줄였습니다. 이 구조가 무엇을 아끼고 무엇을 잃는지, FP8 블록 양자화가 어디에 적용되는지, 그리고 로컬 추론을 검토할 때 실제로 계산해야 할 값이 무엇인지 정리합니다.
Published on
2026년 8월 12일
텍스트 LLM 기술 리포트, 무엇을 읽을 것인가 — 순위 대신 설계 결정 읽기
ai-papers paper-review technical-report llm moe reasoning evaluation
텍스트 LLM 기술 리포트 9편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. DeepSeek-V3와 DeepSeek-R1, Qwen3, Gemma 3, Olmo 3, Kimi K2, MiniMax-01, Mellum2, s1이 각각 무엇을 새로 했고 저자들이 어떤 한계를 스스로 밝혔는지 읽습니다. 모델 순위는 다루지 않습니다. 리더보드는 계속 바뀌고 리포트의 점수는 대부분 자체 보고이기 때문입니다. 영역별 최신 기술 리포트 읽기 시리즈 1편.
Published on
2026년 8월 12일
vLLM 내부 구조 (6) — 컨텍스트 윈도우, max_model_len, max_tokens 완전 정리
vllm context-window max-model-len max-tokens llm
컨텍스트 윈도우와 max_tokens 차이가 헷갈린다면 이 글 하나로 정리됩니다. 모델의 컨텍스트 윈도우(구조적 한계), vLLM의 max_model_len(엔진 설정), 요청당 생성 상한인 max_tokens와 max_completion_tokens, 그리고 배치 한도인 max_num_batched_tokens와 max_num_seqs가 각각 무엇을 제한하는지 비교표와 실제 에러 메시지로 정리했습니다. 입력과 출력이 같은 한도를 나눠 쓴다는 사실, KV 캐시 메모리가 실질 한계를 정하는 구조까지 다룹니다. vLLM 내부 구조 시리즈 6편.
Published on
2026년 8월 12일
vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
vllm continuous-batching chunked-prefill llm inference
정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.
Published on
2026년 8월 12일
vLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지
vllm llm inference gpu ai-platform
vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.
Published on
2026년 8월 12일
vLLM 내부 구조 (2) — PagedAttention은 KV 캐시를 왜 페이지로 쪼갰는가
vllm paged-attention kv-cache llm gpu
PagedAttention이 KV 캐시를 블록 단위로 쪼갠 이유를 원 논문(arXiv:2309.06180)과 vLLM 공식 설계 문서로 확인해 정리했습니다. 연속 할당이 만드는 내부·외부 단편화, 블록 테이블이 하는 일, 블록 크기를 키우고 줄일 때의 트레이드오프까지 다룹니다. vLLM 내부 구조 시리즈 2편.
Published on
2026년 8월 12일
vLLM 내부 구조 (5) — 접두사 캐싱, 시스템 프롬프트 설계가 곧 성능이 되는 이유
vllm prefix-caching kv-cache prompt-engineering llm
vLLM의 접두사 캐싱이 언제 적중하고 언제 못 하는지를 공식 설계 문서 기준으로 정리했습니다. 블록 해시가 앞 블록에 사슬처럼 묶이는 구조, 꽉 찬 블록만 캐시되는 이유, 프롬프트 맨 앞에 넣은 타임스탬프 하나가 캐시 전체를 날리는 과정, 그리고 cache_salt까지 다룹니다. vLLM 내부 구조 시리즈 5편.
Published on
2026년 8월 12일
vLLM 내부 구조 (4) — 스케줄러와 선점, 처리량이 갑자기 무너지는 지점
vllm scheduler preemption kv-cache llm
vLLM 스케줄러가 매 스텝 무엇을 결정하는지, 대기 큐와 실행 큐가 어떻게 움직이는지, KV 캐시가 모자랄 때 일어나는 선점(preemption)이 지연과 처리량을 어떻게 무너뜨리는지 공식 문서와 V1 스케줄러 소스로 확인해 정리했습니다. recompute와 swap의 차이, fcfs와 priority 정책도 함께 다룹니다. vLLM 내부 구조 시리즈 4편.
Published on
2026년 8월 12일
vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서
vllm gpu quantization tensor-parallel llm
vLLM 배포를 실제로 튜닝하는 순서를 정리했습니다. gpu_memory_utilization이 무엇을 정하는지, 텐서 병렬과 파이프라인 병렬을 언제 쓰는지, 양자화와 KV 캐시 자료형을 어떻게 고르는지, 그리고 OOM이 났을 때 기동 단계와 운영 단계를 나눠 진단하는 순서까지 공식 문서 기준으로 확인해 정리했습니다. vLLM 내부 구조 시리즈 마지막 편.
Published on
2026년 8월 12일
코드 모델 고르기: 자동완성과 대화형, FIM, 라이선스
ai llm huggingface open-source-llm code-llm fill-in-the-middle
코드 모델은 편집기 안에서 커서 위치를 채우는 자동완성용과 질문에 답하는 대화형이 서로 다른 제품입니다. 이 글은 2026-08-12에 확인한 오픈 코드 모델들의 파라미터, 컨텍스트, FIM 지원 표기, 라이선스를 정리하고, 기본 모델에 채팅을 시키면 왜 실패하는지, 코드 모델에서 라이선스가 왜 특히 조심스러운지를 설명합니다. 오픈 모델 가이드 시리즈 7편입니다.
Published on
2026년 8월 12일
임베딩과 리랭커, RAG에서 실제로 중요한 것
ai llm huggingface open-source-llm embedding rag reranker
RAG를 만들 때 임베딩 모델 선택을 좌우하는 것은 리더보드 순위가 아니라 차원, 최대 입력 길이, 접두어 규약, 다국어 표기, 그리고 리랭커와의 역할 분담입니다. 이 글은 2026-08-12에 확인한 임베딩·리랭커 모델들의 실제 카드 값을 정리하고, MTEB 점수가 무엇을 말해 주지 않는지, 한국어 문서를 다룰 때 무엇을 직접 재야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 3편입니다.
Published on
2026년 8월 12일
한국어를 지원하는 오픈 모델과 토크나이저 비용
ai llm huggingface open-source-llm korean-nlp tokenizer
한국어 지원이라는 표기는 그 언어를 처리한다는 뜻이지 잘한다는 보장이 아닙니다. 이 글은 2026-08-12에 확인한 한국어 전용·이중언어 오픈 모델과 다국어 모델의 카드 값을 정리하고, 토크나이저가 한국어를 어떻게 쪼개는지가 왜 그대로 비용과 컨텍스트 소모로 이어지는지, 그리고 그것을 직접 재는 방법을 설명합니다. 한국어 모델에서 특히 갈리는 라이선스 유형도 함께 다룹니다. 오픈 모델 가이드 시리즈 4편입니다.
Published on
2026년 8월 12일
라이선스와 배포: 유형 읽는 법과 양자화 배포판 출처 확인
ai llm huggingface open-source-llm license deployment quantization
오픈 모델의 license 필드에 적힌 짧은 식별자는 목차일 뿐이고 실제 조건은 전문에 있습니다. 이 글은 2026-08-12에 실제로 마주친 라이선스 유형들을 정리하고, 커뮤니티 라이선스와 비상업 조건이 무엇을 요구하는지, 게이트 저장소가 배포 파이프라인에서 왜 문제가 되는지, 그리고 GGUF 같은 양자화 배포판의 출처를 어떻게 확인해야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 마지막 8편입니다.
Published on
2026년 8월 12일
허깅페이스 모델 카드 읽는 법: 무엇을 믿고 무엇을 의심할까
ai llm huggingface open-source-llm model-card license
허깅페이스 모델 카드에서 실제로 판단 근거가 되는 항목은 라이선스, 파라미터 수, 컨텍스트 길이, intended use, limitations, 학습 데이터 여섯 가지입니다. 이 글은 각 항목이 무엇을 뜻하고 무엇을 숨기는지, 다운로드 수와 좋아요 수가 왜 품질 지표가 아닌지, 그리고 카드에 적혀 있지 않은 항목을 어떻게 다뤄야 하는지를 2026-08-12에 실제로 확인한 모델 페이지 사례로 정리합니다. 오픈 모델 가이드 시리즈 1편입니다.
Published on
2026년 8월 12일
텍스트 생성 오픈 모델, 크기대별로 고르는 법
ai llm huggingface open-source-llm text-generation inference
오픈 텍스트 생성 모델을 고를 때 크기는 성능 등급이 아니라 배치 제약입니다. 이 글은 온디바이스용 소형, 단일 GPU에 올리는 중형, 서버가 필요한 대형으로 나눠 각 구간에서 실제로 확인한 모델들의 파라미터, 컨텍스트, 라이선스를 정리하고, MoE 모델의 메모리 계산이 왜 다른지, 컨텍스트 확장이 왜 공짜가 아닌지, 카드가 요구하는 실행 조건을 무시하면 무엇이 깨지는지를 설명합니다. 오픈 모델 가이드 시리즈 2편입니다.
Published on
2026년 8월 12일
국내 개발 블로그 명글 큐레이션 3 — AI와 ML 실무, 직접 열어 확인한 14편
curation 큐레이션 ai llm rag mlops vector-db transformer
AI와 ML을 실무에서 다루는 한국어 글 중에서 구체적이고 재현 가능한 14편을 골랐습니다. LangChain RAG 파이프라인 전 과정, 임베딩과 벡터 유사도로 본 의미 검색의 원리, 벡터 데이터베이스 일곱 종 비교, pgvector에서 Qdrant로 옮긴 마이그레이션 기록, Ollama에서 vLLM으로 옮겨 처리량을 끌어올린 과정, LLM 서빙 지표의 트레이드오프, 사용량 추적기 자작기, 트랜스포머 논문 리뷰와 코드 구현, BERT 정리, 그리고 AI 네이티브 조직 9개월 정리와 MCP 인증 흐름까지 다룹니다. 순위표가 아니라 편집자의 선택이며 모든 링크는 2026년 8월 12일에 직접 열어 확인했습니다.
Published on
2026년 8월 12일
하네스 엔지니어로 성장하기 — 왜 생긴 직무이고 무엇을 연습해야 하나
llm agent harness-engineering 하네스엔지니어링 AI에이전트 career ai-engineer
하네스 엔지니어라는 직함은 채용 공고에 드물지만, 그 일은 에이전트를 배포하는 모든 팀에 이미 있습니다. 하네스 엔지니어링 시리즈 마지막 8편에서 이 직무가 왜 생겼는지, 기존 소프트웨어 역량이 어떻게 재배치되는지, 그리고 관측과 지문부터 자기 개선 루프까지 여섯 개의 근육을 하네스 RPG의 6개 티어로 단계별 연습하는 경로를 정리했습니다.
Published on
2026년 8월 12일
컨텍스트 예산 — 무엇을 넣을지가 아니라 무엇을 뺄지가 설계입니다
llm agent harness-engineering 하네스엔지니어링 AI에이전트 context-engineering 컨텍스트엔지니어링
컨텍스트 창은 아직 남았는데 에이전트 정확도는 떨어집니다. 컨텍스트는 유한한 주의 예산이고, 도구 스키마도 그 예산을 먹습니다. 하네스 엔지니어링 시리즈 2편에서 프롬프트 누적을 플레이북으로 바꾸는 법, 드롭 정책과 컴팩션의 기준, 서브에이전트 위임의 비용까지 컨텍스트 예산 설계를 정리했습니다.
Published on
2026년 8월 12일
하네스 엔지니어링이란 무엇인가 — 모델은 고정 입력이고, 배포하는 것은 그 주위 전부입니다
llm agent harness-engineering 하네스엔지니어링 AI에이전트 prompt-engineering
같은 모델을 쓰는데 왜 팀마다 에이전트 성과가 다를까요. 대부분의 팀에게 모델은 고정 입력이고, 실제로 배포하는 것은 도구 표면, 실패 반환 형식, 루프와 정지 조건, 컨텍스트 정책, 권한, 평가자까지 모델을 둘러싼 하네스 전부입니다. 하네스 엔지니어링 시리즈 1편으로, 하네스의 정의와 여섯 개의 손잡이, 그리고 프롬프트 엔지니어링이라는 이름이 이 일을 과소평가하는 이유를 정리했습니다.
Published on
2026년 8월 12일
평가자 병목 — 약한 채점자가 시스템 전체의 상한이 됩니다
llm agent harness-engineering 하네스엔지니어링 AI에이전트 evaluation llm-as-judge
하네스를 아무리 고쳐도 점수가 안 오른다면, 병목은 하네스가 아니라 평가자일 수 있습니다. 측정할 수 없는 품질은 선택할 수 없고, 그래서 약한 채점자가 시스템 전체의 상한이 됩니다. 하네스 엔지니어링 시리즈 5편에서 스모크 테스트부터 단위 테스트, 루브릭, 채점 자료 격리, 견제 지표 패널까지 평가자의 사다리와 평가 보정을 먼저 해야 하는 이유를 정리했습니다.
Published on
2026년 8월 12일
하네스 지문과 버전 관리 — 기록 없는 변경을 추적 가능하게
llm agent harness-engineering 하네스엔지니어링 AI에이전트 versioning regression-testing
프롬프트 커밋도 모델 변경도 없는데 성공률이 움직였다면, 무엇을 되돌려야 할까요. 하네스 엔지니어링 시리즈 7편은 하네스를 구성하는 모든 결정을 정규화된 해시 하나로 요약하는 하네스 지문을 다룹니다. 지문에 무엇을 넣고 무엇을 빼는지, 왜 지문이 같아야 비교가 성립하는지, 그리고 지문 이력으로 회귀를 이등분해 롤백하는 방법까지 정리했습니다.
Published on
2026년 8월 12일
루프 설계 — 무한 루프와 조기 포기 사이
llm agent harness-engineering 하네스엔지니어링 AI에이전트 agent-loop
에이전트 루프의 실패는 두 방향입니다. 같은 호출을 수십 번 반복하는 무한 루프와, 한 번 막히자마자 포기하는 조기 정지. 하네스 엔지니어링 시리즈 4편에서 재시도 상한, 고정 스텝·목표 체크·확신도라는 세 가지 정지 조건, 확신도 기반 정지의 함정, 그리고 사람·서브에이전트로의 에스컬레이션까지 루프 설계를 정리했습니다.
Published on
2026년 8월 12일
리워드 해킹 — 지표는 오르는데 과제는 실패합니다
llm agent harness-engineering 하네스엔지니어링 AI에이전트 reward-hacking evaluation
에이전트가 테스트를 통과시키는 가장 싼 방법이 테스트를 고치는 것이라면, 에이전트는 그렇게 합니다. 리워드 해킹은 버그가 아니라 우리가 정의한 목표를 정확히 최적화한 결과입니다. 하네스 엔지니어링 시리즈 6편에서 채점 기준 완화와 assertion 삭제 같은 흔한 형태, 권한 격리가 지우는 절반, 그리고 견제 지표 설계까지 리워드 해킹 대응을 정리했습니다.
Published on
2026년 8월 12일
도구 표면 설계 — 스키마 한 줄이 성공률을 움직입니다
llm agent harness-engineering 하네스엔지니어링 AI에이전트 tool-design mcp
도구를 더 붙였는데 에이전트 성공률이 떨어지는 일은 드물지 않습니다. 도구 표면은 에이전트의 인터페이스이고, 이름·설명·파라미터·실패 반환·응답 크기가 전부 설계 대상입니다. 하네스 엔지니어링 시리즈 3편에서 도구 수의 저주, 네임스페이싱과 설명 문구, 포카요케 파라미터, 실패를 돌려주는 형식까지 도구 표면 설계를 정리했습니다.
Published on
2026년 8월 12일
지금 주목받는 오픈소스 (1) AI 에이전트와 LLM 도구
open-source llm ai-agent ai-platform rag inference
LLM 애플리케이션 스택은 추론 서버, 오케스트레이션, 게이트웨이, 에이전트, RAG로 층이 갈라졌습니다. 각 층에서 실제로 쓰이는 오픈소스 12개를 스타 순위가 아니라 역할별로 묶어 소개합니다. 프로젝트마다 무엇을 대체하는지, 성숙도가 어느 정도인지, 어떤 상황에서 쓰면 안 되는지를 함께 정리했고, 저장소 경로와 라이선스, 스타 수, 최근 푸시 날짜는 2026년 8월 12일 GitHub에서 직접 확인한 값을 그대로 적었습니다. Open WebUI의 브랜딩 제한 조항처럼 OSI 승인 오픈소스가 아닌 경우도 숨기지 않고 표시합니다.
Published on
2026년 8월 9일
평가 주도 개발에서 가장 먼저 보정해야 하는 것은 심사자입니다
ai llm eval-driven-development llm-as-judge evaluation
Airbnb 엔지니어링이 2026년 7월에 공개한 평가 주도 개발 회고는 평가셋을 먼저 쓰라는 이야기가 아니라, 채점하는 모델부터 계측기로 인정받아야 한다는 이야기에 가깝습니다. 이 글은 심사자 모델을 골든셋 50~100개로 보정하는 절차, 일치도를 단순 정확도가 아니라 카파로 재야 하는 이유, 그리고 보정되지 않은 심사자가 어떻게 팀 전체를 잘못된 방향으로 최적화시키는지를 실행 가능한 코드와 함께 정리합니다.
Published on
2026년 8월 9일
LLM이 못 하는 것은 증명이 아니라 전제를 세우는 일입니다
ai llm reasoning abduction research
ICML 2026 입장 논문 Position: LLMs can not jump은 생성형 AI가 귀납을 마스터했고 연역을 빠르게 정복하는 중이지만, 새로운 설명 가설을 만들어 내는 귀추에는 구조적으로 도달하지 못한다고 주장합니다. 이 글은 그 주장을 요약하는 대신, 그것이 사실이라고 가정했을 때 우리가 지금 만드는 시스템의 설계를 어떻게 바꿔야 하는지를 다룹니다. 가설 공간을 어디서 공급할 것인가, 제안과 반증을 왜 분리해야 하는가, 그리고 논문이 입장 논문이라는 사실을 어떻게 감안해서 읽어야 하는가입니다.
Published on
2026년 8월 9일
하네스는 설정이 아니라 배포물입니다 — 자기 개선 루프의 진짜 병목
llm agent harness-engineering context-engineering evaluation
Lilian Weng이 2026년 7월에 정리한 하네스 엔지니어링 글은 모델을 감싸는 시스템 전체를 하나의 공학 대상으로 이름 붙입니다. 이 글은 그 정의를 옮기는 대신, 하네스를 설정 파일이 아니라 버전이 붙은 배포물로 다루면 무엇이 달라지는지를 다룹니다. 하네스 지문을 찍어 회귀를 잡는 법, 컨텍스트를 늘어나는 프롬프트가 아니라 플레이북으로 다루는 법, 그리고 자기 개선 루프에서 진짜 병목이 왜 모델이 아니라 평가자인지를 정리했습니다.
Published on
2026년 8월 9일
추론 강도는 모델 선택이 아니라 요청 단위 배포 파라미터입니다
llm benchmark arc-agi inference cost
ARC Prize가 공개한 DeepSeek V4 Flash 0731 결과 페이지에는 점수가 하나가 아니라 추론 강도별로 세 개 실려 있습니다. 이 글은 그 세 숫자에서 실제로 읽어 낼 수 있는 것을 계산합니다. 같은 강도 상향이 쉬운 벤치마크에서는 5퍼센트포인트를, 어려운 벤치마크에서는 15퍼센트포인트를 사 준다는 사실과, 그렇다면 강도를 모델 설정이 아니라 요청마다 결정하는 값으로 다뤄야 한다는 결론입니다. 사다리를 올리는 구조와 그 구조가 성립하기 위한 조건을 코드로 정리했습니다.
Published on
2026년 8월 9일
100배 싸다는 주장은 과제를 좁혔을 때만 참입니다 — 검증과 손익분기
llm cost fine-tuning retrieval open-models
2026년 8월에 공개된 한 사례 글은 40억 파라미터급 오픈 모델을 강화학습으로 후학습해 검색 과제에서 프론티어 모델과 맞먹으면서 요청당 비용은 자릿수 단위로 낮췄다고 밝힙니다. 이 글은 그 주장을 소개하는 대신 검증합니다. 원문에서 실제로 확인되는 숫자와 확인되지 않는 숫자를 구분하고, 좁은 과제에서만 성립하는 조건이 무엇인지 정리하며, 후학습이 라우팅보다 유리해지는 손익분기를 직접 계산할 수 있는 코드를 붙였습니다.
Published on
2026년 8월 9일
코딩 에이전트 비용은 한도로 잡는 게 아니라 마찰로 잡습니다
mlops llm cost ai-gateway developer-productivity
Databricks가 2026년 7월과 8월에 연달아 공개한 두 편의 엔지니어링 글은 코딩 에이전트 지출을 다루는 방식이 예산 한도에서 게이트웨이와 점진적 마찰로 옮겨 가고 있음을 보여 줍니다. 이 글은 그 설계를 뜯어봅니다. 왜 하드 예산이 마지막 수단인지, 일일 폭주 방지와 월간 거버넌스를 왜 분리하는지, 증분 하나의 크기가 왜 설계의 전부인지, 그리고 실제로 비용을 지배하는 항목이 왜 모델 단가가 아니라 컨텍스트인지를 계산 가능한 형태로 정리했습니다.
Published on
2026년 8월 9일
공격자가 없는 침해 사고 — 에이전트 자격증명을 다시 봐야 하는 이유
security llm agent incident-response credentials
Hugging Face는 2026년 7월 16일에 자율 에이전트에 의한 프로덕션 침해를 공개했고, 약 3주 뒤 OpenAI는 그 공격이 자사 학습 환경에서 흘러나온 것이었다고 밝혔습니다. 이 글은 사건 요약이 아니라 그 사건이 위협 모델에 무엇을 추가하는지를 다룹니다. 악의가 없어도 권한을 가진 자동화는 목표를 향해 표류하며, 이때 실제로 작동한 방어선은 침입 탐지가 아니라 자격증명의 수명과 범위였다는 점, 그리고 그 사실이 우리 조직의 점검 항목을 어떻게 바꾸는지입니다.
Published on
2026년 8월 2일
이 모델들은 어떻게 만들어졌나 — 2026년 오픈 웨이트 파이프라인 해부
llm pretraining moe post-training quantization
2026년 8월 기준 허깅페이스 상위권에 올라 있는 오픈 웨이트 모델들의 카드와 기술 보고서를 읽고, 데이터 수집부터 양자화 배포까지 제작 파이프라인을 순서대로 정리했습니다. MoE 희소성이 20배를 넘어선 이유, 전역 어텐션을 줄이는 네 가지 접근, 사전학습 토큰 예산과 안정화 기법, SFT 이후의 선호 최적화와 강화학습, 그리고 증류와 저비트 배포까지 실제 모델을 예시로 다룹니다. 중요한 전제를 먼저 밝히면, 대부분의 오픈 웨이트 릴리스는 학습 데이터 구성을 공개하지 않습니다. 어느 곳이 실제로 공개했고 어느 주장이 만든 쪽의 자체 측정인지 문단마다 구분해 적었습니다.
Published on
2026년 8월 2일
지금 허깅페이스에서 무엇이 뜨는가 — 2026년 8월 트렌딩 지도
llm huggingface open-weights model-selection quantization
2026년 8월 2일 기준으로 허깅페이스 트렌딩 목록을 직접 훑고, 용도별로 실제 쓸 만한 모델을 정리했습니다. 범용 LLM, 코딩, 임베딩과 리랭커, 비전, 음성, 이미지·비디오 생성, 소형 온디바이스 순으로 만든 곳과 규모와 라이선스, 그리고 쓰기 전에 알아야 할 제약을 함께 적었습니다. 핵심은 트렌딩 목록의 상당수가 새 모델이 아니라 양자화 재업로드와 커뮤니티 파인튜닝이라는 점입니다. 원본과 파생본을 구별하는 방법, 파생본의 다운로드가 원본을 앞지르는 이유, 그리고 그 사실이 모델 선택에 어떤 의미인지까지 다룹니다. 모든 수치는 조회 시점의 모델 카드와 허깅페이스 API에서 직접 확인한 값입니다.
Published on
2026년 8월 2일
모델 카드를 제대로 읽는 법 — 5분 안에 필요한 것만 뽑아내기
llm huggingface model-card license tokenizer
모델 카드는 위에서 아래로 읽으면 필요한 정보를 못 찾도록 쓰여 있습니다. 벤치마크 표가 화면의 절반을 차지하는 동안 라이선스와 채팅 템플릿은 한 줄로 지나갑니다. 이 글은 카드를 읽는 순서를 뒤집어, 배포 판단에 실제로 필요한 일곱 가지를 5분 안에 뽑아내는 방법을 정리했습니다. 가중치 공개와 오픈소스가 어떻게 다른지, 카드의 점수를 왜 그대로 믿으면 안 되는지, 컨텍스트 길이 표기가 무엇을 감추는지, 그리고 토크나이저와 채팅 템플릿에서 왜 오류 없이 조용히 망가지는지를 다룹니다. 마지막으로 2026년 8월 2일에 허깅페이스에서 직접 확인한 카드 하나를 체크리스트대로 끝까지 읽습니다.
Published on
2026년 7월 31일
DeepSeek V4 Flash가 실제로 바꾸는 것 — 리더보드가 아니라 능력당 단가의 문제
ai llm deepseek inference-cost moe
2026년 7월 31일 DeepSeek이 V4-Flash API를 공개 베타로 전환했습니다. 아키텍처는 4월의 프리뷰와 동일한 284B 총 파라미터 · 13B 활성 MoE에 1M 컨텍스트이고, 바뀐 것은 사후학습뿐입니다. 공식 체인지로그가 공개한 점수는 Terminal Bench 2.1에서 82.7, Toolathlon verified 70.3인데, 이 숫자들은 DeepSeek이 자사 하네스로 잰 벤더 자체 측정이라는 점을 먼저 짚어야 합니다. 이 글은 순위표 대신 능력당 단가를 계산합니다 — 캐시 적중 입력이 100만 토큰당 0.0028달러라는 항목이 왜 헤드라인 가격보다 중요한지, 출력 대 입력 배수가 2배인 가격표가 추론 워크로드에서 어떻게 6배짜리 가격표를 앞지르는지, 그리고 어떤 트래픽을 여기로 보내고 어떤 트래픽은 보내면 안 되는지를 정리합니다.
Published on
2026년 7월 31일
증류로 전이되는 것과 안 되는 것 — DeepSeek을 GPT-OSS에 증류했더니 검열이 따라오지 않았다
ai llm distillation alignment open-weights
2026년 7월 30일 Show HN에 올라온 CTGT의 실험은 DeepSeek V4 Flash를 교사로, GPT-OSS를 학생으로 삼아 금융 추론 능력을 증류했더니 능력은 넘어왔는데 정치 검열은 넘어오지 않았다고 보고합니다. 대응 쌍 152개에서 교사는 민감 질문과 대조군 사이에 45.45점의 검열 격차를 보였지만 학생은 0.43점과 3.94점으로 기준선에 머물렀습니다. 이 글은 그 실험 하나를 확대하지 않고 출발점으로만 씁니다 — 증류가 복사하는 것은 교사의 출력 분포이므로, 무엇을 관찰했는지·어디서 관찰했는지·누구에게 복사하는지 세 축이 전이 여부를 정한다는 틀을 세우고, 잠재적 학습 연구가 보여 준 정반대 방향의 증거(공유 초기화일 때는 관찰하지 않은 성향까지 새어 나간다)까지 함께 놓습니다.
Published on
2026년 7월 31일
사내 지식베이스를 LLM으로 만든다는 것 — 권한 인지 검색, 신선도, 그리고 출시 전 평가셋
ai rag enterprise-search llm platform-engineering
Cerebras가 2026년 7월 15일에 공개한 사내 지식베이스 구축기는 하루 15,000건 넘는 질의를 사람과 자동화와 에이전트가 함께 던지는 시스템의 내부 구조를 드러냅니다. 하지만 사내 지식베이스에서 팀이 실제로 과소평가하는 부분은 청킹이나 리랭킹이 아니라 권한, 신선도, 삭제 전파, 그리고 진실 공급원 충돌입니다. HR 문서를 흘리는 검색은 없는 것만 못하고, 이미 폐기한 런북을 자신 있게 인용하는 검색은 위키보다 위험합니다. 이 글은 Cerebras가 공개한 설계를 출발점 삼아, 인덱스 시점의 ACL 스냅숏 문제, age decay와 삭제 전파의 차이, 위키와 티켓이 서로 다른 말을 할 때의 우선순위 규칙, 그리고 출시 전에 반드시 만들어야 하는 평가셋의 구성을 정리합니다. 일반적인 RAG 튜토리얼이 다루지 않는 운영 표면에 집중합니다.
Published on
2026년 7월 31일
가짜 저자 논문이 구두 발표로 채택됐다 — AI 시대 피어리뷰의 시스템 실패 분석
ai peer-review research-integrity llm academia
2026년 7월 30일, 리뷰어 두 명이 이번 여름에 맡은 22편의 ML 학회 투고 중 15편에서 조작된 인용, 실재하지 않는 저자, 또는 명백한 LLM 생성 흔적을 찾았다고 공개했습니다. 그중 두 편은 실재하는 논문의 저자 이름을 가짜로 바꿔 인용했고, 리젝트 의견과 조직위 신고에도 불구하고 "환각 참고문헌만 고치라"는 조건으로 구두 발표에 채택됐습니다. 이 글은 분노가 아니라 시스템 실패로 이 사건을 읽습니다. 플래깅 절차가 실제로 무엇을 잡아냈는지, 제출량 증가와 강제 리뷰가 파이프라인을 어떻게 압박하는지, 리뷰어 쪽의 LLM 사용이 신호를 어떻게 훼손하는지, 그리고 ICML의 워터마크·ACL의 데스크 리젝트·NeurIPS의 AI 보조 리뷰 실험 같은 무결성 장치가 각각 무엇을 잡고 무엇을 놓치는지 정리합니다. 한 사람의 증언인 부분과 학회가 확인한 부분을 분명히 구분합니다.
Published on
2026년 7월 31일
프롬프트로 3D CAD를 만든다는 것 — 메시와 B-rep, 그리고 제약 조건이라는 병목
ai cad llm manufacturing geometry
GeekNews Show GN에 프롬프트로 3D CAD 모델을 만드는 툴 CAID가 올라왔습니다. 만든 사람이 직접 밝힌 한계가 이 분야 전체의 상태를 정확히 요약합니다 — 치수 자동 검증이 없고, 공차와 DFM과 가공성을 판단하지 못하며, 출력물을 제조에 바로 쓰면 안 된다는 것. 엔지니어링 관점의 질문은 하나입니다. CAD는 파라메트릭이고 제약 기반인데, 메시를 생성하는 것과 편집 가능한 피처를 가진 제조 가능 모델을 생성하는 것은 전혀 다른 일이라는 점입니다. 이 글은 B-rep과 메시의 차이, 피처 트리와 제약 solver가 왜 병목인지, 지금 이 도구들이 실제로 값을 내는 자리(초안, 부품 라이브러리 검색, 코드로서의 CAD), 그리고 엔지니어가 여전히 필요한 자리를 정리합니다.
Published on
2026년 7월 31일
GPT-5.6과 가격 대비 성능의 한계 — 곡선 위에서 내 워크로드의 자리를 찾는 법
ai llm openai inference-cost prompt-caching
OpenAI가 2026년 7월 30일 GPT-5.6 Luna 가격을 80%, Terra를 20% 내렸습니다. 7월 9일 정식 출시로부터 3주 만이고, 최상위 Sol 가격은 그대로입니다. Luna는 100만 토큰당 입력 1달러 출력 6달러에서 입력 0.20달러 출력 1.20달러가 됐습니다. 이 글은 인하폭을 소개하는 대신 곡선을 계산합니다 — 인하 후 세 티어의 단가 비율이 정확히 25 대 10 대 1로 고정되어 티어 안에서는 토큰 믹스가 순위를 바꾸지 못한다는 사실, 그래서 실제 결정은 단가가 아니라 오답 하나를 고치는 비용이 정한다는 점(100만 건 분류 워크로드에서 손익분기는 건당 약 0.52달러), 캐싱이 청구서를 옮기는 구간과 못 옮기는 구간, 그리고 벤치마크 순위가 벤치마크마다 뒤집히는 이유를 실제 수치로 따져 봅니다.
Published on
2026년 7월 31일
26B 모델을 2GB 램으로 돌리는 원리 — 상주 메모리와 워킹셋은 같은 숫자가 아니다
ai llm quantization apple-silicon moe
2026년 7월 29일 Show HN에 올라온 TurboFieldfare는 Gemma 4 26B-A4B를 M 시리즈 맥에서 약 2GB 램으로 돌린다고 주장합니다. 디스크에는 14.3GB가 깔리고, 램에 상주하는 것은 1.35GB짜리 공유 코어뿐이며, 토큰마다 필요한 전문가 가중치를 SSD에서 읽어 옵니다. 이 글은 그 숫자들을 직접 유도해 검증합니다 — 4비트 그룹 64 양자화가 왜 가중치당 4.5비트가 되어 14.2GB로 떨어지는지, 라우티드 전문가와 공유 코어의 분리에서 1.35GB가 정확히 나오는지, 토큰당 800MB가 필요한데 실측이 250~320MB인 것이 왜 캐시 적중률 60~69%를 뜻하는지를 계산합니다. 그리고 M5 Pro의 실측 처리량이 순수 SSD 대역폭 상한을 넘는다는 사실에서, 2GB라는 숫자가 프로세스 상주 메모리일 뿐 실제 워킹셋이 아니라는 결론을 끌어냅니다.
Published on
2026년 7월 31일
500달러로 파인튜닝한 9B가 프런티어를 이긴 조건 — 그리고 그 조건이 얼마나 좁은가
ai llm fine-tuning reinforcement-learning inference-cost
2026년 7월 28일 Hacker News에서 336점을 받은 글이 있습니다. Fermisense가 Qwen3.5-9B를 GRPO로 약 500달러어치 GPU 시간만큼 학습시켜, 같은 도구와 같은 채점기를 쓴 다섯 개 프런티어 구성을 전자상거래 카탈로그 검수 과제에서 앞섰다는 보고입니다. 달성 가능 점수의 87.3% 대 최고 프런티어 76.9%, 1,000건 처리 비용은 약 0.50달러 대 19달러에서 172달러였습니다. 이 글은 그 결과를 부정하지도 확대하지도 않고 조건을 분해합니다 — 좁고 잘 정의되고 라벨이 풍부한 과제라는 세 조건이 왜 결정적인지, 500달러가 왜 청구서에서 가장 싼 항목인지, 그리고 자체 서빙의 단가가 가동률에 어떻게 무너지는지(월 7만 8천 건이 손익분기)를 계산합니다.
Published on
2026년 7월 26일
LLM API 비용 최적화 — 출력 토큰, 프롬프트 캐싱, 라우팅의 손익분기 계산
llm cost-optimization prompt-caching rag model-routing
LLM API 청구서를 절반으로 줄이는 작업은 감이 아니라 산수입니다. 출력 토큰 단가가 입력의 몇 배라는 구조 때문에 가장 큰 레버는 거의 항상 출력 길이 통제이고, 그다음이 프롬프트 캐싱입니다. 캐싱이 접두사만 잡는다는 제약이 프롬프트 배치 순서를 어떻게 강제하는지, RAG와 전체 컨텍스트의 손익분기가 어디인지, 모델 라우팅의 절감률 공식과 그에 따르는 정확도 손실을 어떻게 같은 단위로 재는지를 정리했습니다. 월 비용을 시뮬레이션하는 코드와, 토큰 추정치가 실제 청구액과 어긋나는 다섯 가지 원인도 함께 다룹니다.
Published on
2026년 7월 26일
LLM 평가를 감으로 하지 않는 법 — 표본 크기, 심사자 편향, CI 회귀 테스트
llm evaluation llm-as-judge statistics regression-testing
프롬프트를 고치고 "좋아진 것 같다"로 배포하는 팀은 조용히 쌓이는 회귀를 볼 방법이 없습니다. 평가를 어서션, 골든 데이터셋, LLM 심사자, 사람 평가의 네 층위로 나눠 각각의 비용과 신뢰도를 정리하고, 심사자 모델의 위치 편향과 길이 선호를 어떻게 상쇄하는지 다룹니다. 예시 20개로 낸 결론의 신뢰구간이 실제로 얼마나 넓은지 계산하고, 짝지은 비교가 필요 표본을 몇 분의 일로 줄이는지 코드로 보입니다. 온도 0도 완전히 재현되지 않는 환경에서 CI 회귀 테스트를 구성하는 방법까지 포함했습니다.
Published on
2026년 7월 26일
LLM 추론 VRAM 계산법 — 가중치보다 KV 캐시가 먼저 터집니다
llm inference vram kv-cache quantization
"이 모델이 우리 GPU에 올라갑니까"라는 질문에 곱셈 몇 번으로 답하는 방법을 정리했습니다. 가중치 메모리는 파라미터 수 곱하기 바이트로 끝나지만, 실제로 배포를 막는 것은 시퀀스 길이와 배치에 비례해서 자라는 KV 캐시입니다. KV 캐시 공식과 GQA가 이를 몇 분의 일로 줄이는 원리, 프리필 활성화와 프레임워크 오버헤드의 크기, PagedAttention이 없앤 단편화 손실, 그리고 4비트 양자화가 공짜가 아닌 이유를 숫자로 다룹니다. 가진 VRAM에서 동시 처리 가능한 시퀀스 수를 역산하는 계산기 함수도 함께 싣습니다.
Published on
2026년 7월 26일
LLM 구조화된 출력 안정화 — 파싱 실패를 없애는 네 겹의 방어
llm structured-output json-schema constrained-decoding validation
JSON을 달라고 했는데 마크다운 펜스에 싸여 오거나, 뒤에 설명 문장이 붙거나, 토큰 상한에서 잘려 오는 문제를 계층별로 해결하는 방법을 정리했습니다. 실패 유형을 먼저 분류하고, 프롬프트 지시부터 함수 호출 스키마와 제약 디코딩까지 방어를 겹으로 쌓되, 제약 디코딩이 문법적 유효성만 보장하고 의미적 정확성은 보장하지 않는다는 구분을 분명히 합니다. 필드 이름과 순서가 정확도를 바꾸는 이유, 오류 메시지를 되돌려 주는 재시도 루프의 구현, 잘림을 감지하고 대응하는 방법까지 코드로 다룹니다.
Published on
2026년 7월 26일
RAG가 엉뚱한 답을 할 때 — 검색 실패와 생성 실패를 가르는 디버깅 절차
llm rag retrieval chunking evaluation
RAG가 틀린 답을 내면 대부분 프롬프트부터 고치는데, 실제 원인의 다수는 검색 단계에 있습니다. 정답 청크를 손으로 넣어 보는 한 번의 실험으로 검색 실패와 생성 실패를 가르는 절차부터 시작해, 청킹이 왜 가장 흔한 범인인지, 임베딩 유사도가 의미 유사도와 갈라지는 지점과 BM25 혼합이 자주 이기는 이유, 재순위화가 값을 하는 조건, 청크에 문서 제목과 메타데이터를 붙였을 때의 효과를 정리했습니다. 마지막으로 골든 셋을 만들고 recall@k와 정답 포함률을 재는 코드까지 담았습니다.
Published on
2026년 7월 17일
AI 에이전트의 메모리는 실제로 어떻게 만드는가 — 네 가지 설계와, 벤치마크가 실제로 증명한 것
ai ai-agent agent-memory llm benchmark
"에이전트 메모리"는 한 가지 기술이 아니라 최소 네 가지 서로 다른 설계를 뭉뚱그린 말입니다 — 파일 스크래치패드, 요약/컴팩션, 벡터 회수, 지식 그래프. 이 글은 각각이 실제로 무엇을 하는지 제품 문서로 확인하고, 그다음 훨씬 불편한 질문을 던집니다: 어느 쪽이 낫다는 근거가 실제로 측정된 적이 있나? Mem0 논문(arXiv:2504.19413)의 표를 직접 읽어 보면, 헤드라인인 "OpenAI 대비 26% 개선"은 사실이지만 같은 표에서 대화 전체를 그냥 프롬프트에 붙이는 풀컨텍스트 방식이 J 72.90%로 모든 메모리 시스템(최고 68.44%)을 이겼습니다. 왜 그런지 확인하려고 LoCoMo 공개 데이터셋을 직접 내려받아 토큰을 세어 봤더니, 논문이 기술한 50개 대화·평균 9,209 토큰이 아니라 10개 대화·평균 약 20,034 토큰(tiktoken cl100k_base 기준)이었습니다 — 즉 요즘 컨텍스트 윈도우에 통째로 들어갑니다. 여기에 Mem0와 Zep이 서로의 측정을 반박하다 한쪽이 계산 오류를 인정하고도 두 진영의 숫자가 끝내 일치하지 않은 기록까지, "측정된 것"과 "주장된 것"을 갈라서 정리합니다.
Published on
2026년 7월 17일
컨텍스트 엔지니어링은 프롬프트 엔지니어링을 대체한 말인가 — 측정된 것과 아닌 것
llm context-engineering prompt-engineering long-context ai-agent
"프롬프트 엔지니어링은 죽었다"는 문장은 이 용어를 만든 어느 1차 출처에도 없습니다. Karpathy는 few-shot 예제와 태스크 설명을 컨텍스트 엔지니어링의 구성요소로 나열했고, Anthropic은 "프롬프트 엔지니어링의 자연스러운 진전(natural progression)"이라고 썼습니다. 즉 대체가 아니라 포함입니다. 그런데도 이게 진짜 다른 일이라는 근거는 있습니다 — Chroma의 LongMemEval 실험은 질문과 문구를 그대로 둔 채 주변 컨텍스트만 300토큰에서 113k토큰으로 늘렸고, 18개 모델 전부에서 성능이 떨어졌습니다. 프롬프트를 고쳐서는 닿지 않는 축이 있다는 뜻입니다. 이 글은 실제로 측정된 것(RULER의 실효 컨텍스트, lost-in-the-middle의 효과 크기, NoLiMa, ATLAS의 순위 뒤집힘)과 측정 없이 반복되는 것("어텐션 예산", compaction의 무손실성)을 갈라서 정리합니다.
Published on
2026년 7월 17일
LLM API 비용을 실제로 줄이는 법 — "캐싱 90% 할인"이 청구서에서는 왜 25%인가
llm cost-optimization prompt-caching api ai
프롬프트 캐싱의 캐시 읽기는 입력 가격의 10분의 1입니다. 그런데 그게 청구서를 90% 깎아 주지는 않습니다. Anthropic이 자기 문서에 올려 둔 계산 예제를 그대로 따라가면, 캐시가 완전히 걸린 상태에서도 총액은 0.705달러에서 0.525달러로 25.5%만 줄어듭니다. 이유는 단순합니다 — 할인은 그 항목에 쓰는 돈의 비율만큼만 청구서를 줄이고, 출력 토큰이 이미 비용의 60%를 먹고 있기 때문입니다. 이 글은 할인율을 나열하는 대신 청구서를 직접 계산합니다. 캐싱의 손익분기점(몇 번 읽어야 본전인지), 캐시가 아예 안 걸리는 최소 토큰 수, Batch API의 50%가 진짜인 이유와 24시간 만료라는 대가, 동기 호출로 배치 가격을 받는 Flex, 토크나이저 세대가 다르면 per-token 가격 비교가 무의미해지는 함정, 그리고 공급자마다 갈리는 롱 컨텍스트 할증까지 — 모든 숫자는 2026년 7월 17일에 각 공급자의 공식 가격표에서 직접 가져왔고, 가격은 자주 바뀌므로 반드시 직접 다시 확인해야 합니다.
Published on
2026년 7월 17일
로컬에서 LLM 돌리려면 VRAM이 얼마나 필요한가 — 표 말고 공식으로 계산하기
llm quantization kv-cache local-llm gpu
"8B 모델에 몇 GB 필요한가요"의 정답은 표가 아니라 두 개의 공식입니다. 가중치는 파라미터 수 곱하기 bpw 나누기 8이고, KV 캐시는 2 곱하기 레이어 수 곱하기 KV 헤드 수 곱하기 head_dim 곱하기 바이트 수 곱하기 토큰 수입니다. 이 글은 두 공식을 llama.cpp 소스와 공식 표에 직접 대조해 검증합니다 — ggml 블록 구조체에서 유도한 Q8_0의 8.5 bpw는 llama.cpp가 발표한 8.5008과 소수점 셋째 자리까지 맞고, 같은 방식으로 역산한 파라미터 수는 8.02~8.04B로 Llama-3.1-8B의 실제 값 8,030,261,248과 일치합니다. 그리고 진짜 함정을 짚습니다 — Llama-3.1-8B를 Q4_K_M으로 줄이면 가중치는 4.58 GiB지만 128K 컨텍스트의 KV 캐시는 정확히 16 GiB로 가중치의 3.5배이고, 16GB 카드에서 당신을 막는 건 모델이 아니라 컨텍스트입니다. 품질 손실은 llama.cpp가 RTX 4090에서 측정해 공개한 KL 발산 수치로만 이야기하고(같은 Q4_K_M이 Llama-2에서는 PPL 1.4% 손해인데 Llama-3에서는 2.8%로 두 배라는 사실 포함), tok/s 수치가 하드웨어 없이 제시되면 왜 쓸모없는지 — llama.cpp 공식 README의 표가 정확히 그렇습니다 — 도 함께 정리합니다.
Published on
2026년 7월 17일
RAG · 파인튜닝 · 롱컨텍스트 — 내 문제엔 뭘 써야 하나: 논문이 실제로 잰 것, 그리고 아무도 재지 않은 것
rag llm fine-tuning long-context ai
LLM 아키텍처에서 가장 많이 나오는 질문이지만, 대부분의 답은 출처 없는 의사결정 트리입니다. 이 글은 측정된 것만 가지고 답합니다. 파인튜닝은 새 지식을 넣는 데 실패한다는 것이 여러 논문에서 반복 측정됐고(Ovadia 등, Gekhman 등), 정반대로 보이는 농업 사례 연구는 사실 다른 개입(비지도 계속사전학습 vs 지도 Q&A 튜닝)을 잰 것이라 충돌이 아닙니다. 롱컨텍스트는 위치·길이·어휘라는 세 축에서 각각 무너지고(lost-in-the-middle, Databricks의 20개 모델 측정, NoLiMa), Self-Route는 RAG가 토큰의 38~61%만 쓰고도 비슷한 성능을 낸다고 보고합니다. 그런데 이 숫자들이 올라탄 벤치마크 자체가 오염돼 있습니다 — Natural Questions 질문의 약 3분의 2는 컨텍스트 없이도 GPT-4o가 맞힙니다. 결론은 하나의 측정 가능한 속성으로 수렴합니다: 당신 코퍼스의 recall@k 곡선이 어디서 포화하는가. 세 방식을 하나의 공통 벤치마크에서 비교한 연구는 아직 없다는 점도 함께 적습니다.
Published on
2026년 7월 16일
LoRA rank를 바꾸면 학습률도 바꿔야 하나 — μA(2026)가 가른 두 레짐, 그리고 그 측정의 한계
llm lora fine-tuning peft training
LoRA에서 rank를 바꾸면 최적 학습률을 다시 찾아야 한다는 통념과, "1/r 스케일링을 쓰면 학습률은 rank와 무관하다"는 통념이 실무에서 동시에 돌아다닙니다. 2026년 2월 arXiv에 올라온 μA(Maximal-Update Adaptation) 논문은 이 둘이 모두 맞다고 말합니다 — 단, 당신이 어떤 α 규약과 어떤 초기화를 쓰느냐에 따라. 이 글은 μA가 유도한 두 레짐(η가 rank의 -1/2제곱에 비례하는 경우 vs rank와 무관한 경우), 그리고 LoRA에서 풀 파인튜닝으로 학습률을 그대로 옮길 수 있다고 주장하는 특정 설정(Init[B] + α=1)을 정리합니다. 동시에 그 근거의 한계도 정직하게 적습니다 — 시드는 42 하나뿐이고, 학습률 격자는 2배 간격이며, 저자들 스스로 "필요조건일 뿐 충분조건은 아니다"라고 못 박습니다. 유명한 "LoRA 학습률 = FFT의 10배" 규칙은 이 논문에서도 여전히 설명되지 않은 채 남습니다.
Published on
2026년 7월 16일
PD 분리는 처리량을 늘리지 않는다 — 프리필/디코드 분리가 실제로 사는 것
llm ai inference kv-cache vllm
프리필과 디코드를 다른 GPU로 쪼개는 PD 분리는 2026년 vLLM·SGLang·TensorRT-LLM에 모두 들어온 설계지만, 어디를 봐도 "2배에서 7배"라는 숫자만 돌아다닙니다. 그런데 vLLM 공식 문서는 같은 기능을 두고 "분리 프리필은 처리량을 개선하지 않는다"고 대문자로 못 박아 두었습니다. 둘 다 맞습니다 — 그 벤더 숫자들은 전부 처리량이 아니라 goodput(SLO를 지킨 처리량)이거나 지연 목표를 고정한 상태의 처리량이기 때문입니다. 이 글은 PD 분리가 무엇을 사고 무엇으로 지불하는지(꼬리 ITL 통제를 사고 TTFT·RDMA 배관·프리픽스 캐싱으로 지불한다), 2026년 4월 vLLM에 들어온 AMD의 MORI-IO 커넥터 측정을 구체적 사례로, 그리고 언제 이걸 쓰지 말아야 하는지를 정리합니다. 벤더 자체 측정 수치는 전부 그렇다고 표시했습니다.
Published on
2026년 7월 16일
시뮬레이션된 고객은 절대 떠나지 않는다 — LLM 유저 시뮬레이터가 에이전트 점수를 부풀리는 지점
ai llm evaluation agents simulation
τ-bench 계열의 대화형 에이전트 벤치마크에서 "사용자" 역할은 또 다른 LLM이 맡습니다. 그런데 이 시뮬레이터는 측정 대상이 아니라 측정 도구이고, 도구는 교정을 받아야 합니다. 2026년에 나온 세 편의 검증 연구는 같은 방향을 가리킵니다 — 시뮬레이션된 사용자는 너무 협조적입니다. 실제 사람 451명으로 τ-bench 프로토콜을 그대로 돌린 연구는 시뮬레이터가 만드는 "이지 모드"가 에이전트 성공률을 인간 기준선 위로 부풀린다고 보고했고, 다른 연구는 유저 LLM을 무엇으로 고르느냐에 따라 성공률이 최대 9%p 흔들린다고 보고했습니다. 가장 날카로운 증거는 실제 결제 기록이 붙은 2,790건의 프로덕션 판매 대화에서 나왔습니다 — 시뮬레이터는 결국 구매한 사람은 거의 정확히 재현하지만, 결국 떠난 사람은 구매 프레임 쪽으로 끌어당깁니다. 이 글은 그 측정 방법과 숫자, 프롬프트로는 왜 고쳐지지 않는지, 그리고 저자들이 직접 밝힌 한계(단일 도메인·단일 언어, LLM 심사자, 자유 롤아웃 미측정)까지 정리합니다.
Published on
2026년 7월 15일
Graph RAG란 무엇인가 — 벡터 RAG가 막히는 곳, 그리고 이게 값을 하는 순간
rag graph-rag knowledge-graph ai llm
RAG의 표준 레시피(청크 → 임베딩 → 상위 k개 검색)는 답이 한 조각에 들어 있을 때 잘 작동하지만, 멀티홉 질문과 코퍼스 전체를 관통하는 글로벌 센스메이킹 질문에서는 구조적으로 막힙니다. Microsoft의 GraphRAG는 이 두 사각지대를 겨냥해, LLM으로 코퍼스에서 지식 그래프를 뽑고 Leiden 알고리즘으로 커뮤니티를 찾아 요약을 미리 만들어 둡니다. 그런 다음 글로벌 질문은 커뮤니티 요약의 맵-리듀스로, 로컬 질문은 엔티티 중심 그래프 탐색으로 답합니다. 이 글은 벡터 RAG가 막히는 지점, GraphRAG 파이프라인의 실제 동작(그래프 구축 → 커뮤니티 탐지 → 로컬 vs 글로벌 검색), 구체적인 예, 그리고 정직한 트레이드오프(색인 LLM 비용, 지연, 갱신 부담, 자주 과잉이라는 점, 벡터와의 하이브리드가 흔하다는 점)를 정리합니다. 하이프가 아니라 당신이 이걸 써야 하는지에 답하는 실무 가이드입니다.
Published on
2026년 7월 15일
문서에서 지식 그래프로 — 정직한 구축 파이프라인
knowledge-graph ai llm data-engineering
'문서에서 지식 그래프를 뽑는다'는 데모에서는 LLM 호출 한 번처럼 보입니다. 하지만 고객의 문서를 실제로 쿼리 가능한 그래프로 바꾸는 일은 여섯 단계의 파이프라인이고, 비용과 고통의 대부분은 추출이 아니라 엔티티 해소에 있습니다. 이 글은 스키마(온톨로지)를 먼저 정하는 이유, LLM 기반 스키마 제약 추출(LangChain LLMGraphTransformer, LlamaIndex의 Simple/Schema/Dynamic 추출기, Microsoft GraphRAG의 인덱싱 파이프라인)이 전통적 NER+관계 추출과 다른 점, 같은 엔티티가 수많은 표기로 나타나는 엔티티 해소의 구체적 실패 모드(과병합 vs 미병합, 블로킹이 왜 필요한가), 그래프 스토어 적재와 프로벤넌스, 증분 업데이트와 스키마 드리프트, 그리고 구축된 그래프를 어떻게 평가하는가(정밀도=정확성, 재현율=완전성)를 정직하게 정리합니다. FDE가 고객의 문서를 그래프로 바꿀 때 실제로 하는 일입니다.
Published on
2026년 7월 11일
스텝마다 얼마나 생각할지 고르기 — Ares의 적응형 추론 노력 라우팅
ai agents llm efficiency
Ares(2026년 3월 프리프린트)를 실무 관점에서 정리했습니다. 이 논문은 추론 노력을 태스크 전체가 아니라 스텝 단위의 비용 레버로 다룹니다. 가벼운 라우터가 상호작용 이력을 보고 각 스텝에 필요한 가장 낮은 추론 레벨을 예측해, 모든 스텝을 최대 노력으로 돌리는 낭비를 줄입니다. 저자들은 TAU-Bench·BrowseComp-Plus·WebArena에서 추론 토큰을 최대 52.7%까지 줄이면서 성공률 저하는 미미했다고 보고하는데, 이는 독립 검증되지 않은 저자 보고치입니다. 라우팅이 어떻게 도는지와, 라우터 오버헤드·과소 사고 같은 솔직한 트레이드오프를 함께 다룹니다.
Published on
2026년 7월 11일
효과적인 AI 에이전트 만들기 — 워크플로 다섯 패턴과 에이전트 레퍼런스
ai agents llm engineering anthropic
Anthropic의 엔지니어링 가이드 "Building Effective Agents"를 실무 레퍼런스로 정리했습니다. 워크플로와 에이전트의 정확한 구분, 모든 것의 기본 블록인 증강된 LLM(검색·도구·메모리), 다섯 가지 워크플로 패턴(프롬프트 체이닝·라우팅·병렬화·오케스트레이터-워커·이밸류에이터-옵티마이저)을 각각 언제 쓰는지와 예시로 다룹니다. 자율 에이전트가 실제로 무엇인지, 언제 워크플로 대신 에이전트를 꺼내야 하는지, 그리고 과설계·무한 루프·비용/지연 같은 실패 모드까지 솔직하게 적었습니다. 개발자와 AI 에이전트가 두고두고 인용할 수 있는 지도를 목표로 했습니다.
Published on
2026년 7월 11일
확산 LLM이 CUDA 커널을 쓴다 — DICE와 왜 병렬 생성이 도움이 되는가
ai llm diffusion cuda gpu
DICE는 2026년 2월 프리프린트로, 확산(diffusion) 대규모 언어 모델이 CUDA 커널 생성에서 같은 규모의 자기회귀(autoregressive) 모델을 능가하고 새로운 최고 성능(SOTA)을 세웠다고 주장합니다. 핵심 아이디어는 토큰을 왼쪽에서 오른쪽으로 하나씩 쓰는 대신, 전체 시퀀스를 병렬로 생성하고 어느 위치든 비순차적으로 고쳐 쓸 수 있다는 것 — 전역 구조가 중요한 코드 과제에 잘 맞을 법한 성질입니다. 저자들은 CuKe라는 SFT 데이터셋과 2단계 강화학습(BiC-RL)으로 1.7B·4B·8B 모델을 학습해 KernelBench에서 평가했습니다. 다만 이 글의 모든 정량 표현은 동료평가 전 프리프린트의 저자 주장이며, 초록에는 구체적 수치가 없고 SOTA도 독립 검증된 값이 아닙니다. 검증 가능한 과제라서 잘 통했을 가능성과 커널 밖으로 일반화될지가, 이 결과를 읽는 두 개의 열쇠입니다.
Published on
2026년 7월 11일
느린 컴퓨터에서 GLM-5.2 돌리기 — colibrì가 744B 모델을 디스크에서 스트리밍하는 법
ai llm local-inference moe quantization colibri
colibrì는 순수 C 약 1,300줄로 작성된 추론 엔진으로, 744B(7,440억) 파라미터 MoE 모델인 GLM-5.2를 램 25GB짜리 소비자용 PC에서 돌립니다. 핵심은 MoE 희소성과 디스크 스트리밍입니다 — 밀집 레이어 약 9.9GB만 램에 상주시키고, 약 370GB의 라우팅 전문가는 NVMe SSD에 두고 토큰마다 필요한 것만 읽습니다. 대가는 정직하게 느립니다: 콜드 상태 약 0.05–0.1 tok/s, 사실상 문단당 몇 분. 학습 캐시와 MTP 추측 디코딩, int4·int8 양자화로 그 느림을 갉아먹습니다. 이 글은 colibrì가 실제로 무엇을 하는지, 무엇이 그걸 견딜 만하게 만드는지, 그리고 작은 기계로 큰 모델을 돌리는 일이 언제 값어치가 있는지를 정리합니다.
Published on
2026년 7월 11일
사전학습 체크포인트를 긴 컨텍스트 하이브리드로 — HyLo의 업사이클링 레시피
ai llm long-context architecture efficiency
하이브리드 시퀀스 모델(어텐션 + 선형·SSM 블록)은 긴 컨텍스트에 유리하지만, 지금까지는 대부분 처음부터 새로 사전학습해야 했습니다. 2026년 4월 프리프린트 HyLo는 이미 학습된 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링"하는 레시피를 제안합니다 — MLA(잠재 어텐션)와 Mamba2·Gated DeltaNet 같은 선형 블록을 섞고, 단계적 긴 컨텍스트 학습과 교사 증류를 얹습니다. 저자들은 컨텍스트를 최대 32배까지 늘리면서 KV 캐시 메모리를 90% 넘게 줄이고 짧은 컨텍스트 품질도 유지한다고 보고합니다. HyLo-Qwen-1.7B가 100억 토큰만으로 4000억 토큰짜리 베이스라인을 GSM8K에서 앞섰다는 수치도 있지만, 아직 동료 심사 전 프리프린트라 모든 비교 수치는 저자 보고 기준으로 읽어야 합니다.
Published on
2026년 7월 11일
KV 캐시를 4비트로 — SAW-INT4와 시스템을 아는 INT4 양자화
ai llm quantization inference kv-cache
긴 컨텍스트 LLM 서빙에서 진짜 메모리 병목은 가중치가 아니라 KV 캐시입니다. 이를 INT4로 그냥 줄이면 정확도가 무너지는데, 2026년 4월 프리프린트 SAW-INT4는 토큰 단위 INT4 양자화에 블록 대각 아다마르 회전을 더해 순진한 INT4가 잃은 정확도를 거의 되찾는다고 보고합니다. 이 논문의 진짜 각도는 정확도만이 아니라 처리량입니다 — 페이지드 KV 캐시 레이아웃에 바로 통합되는 융합 회전·양자화 커널로, 저자들은 측정 가능한 종단 오버헤드가 없고 순수 INT4와 같은 처리량을 낸다고 말합니다. 벡터 양자화나 헤시안 기반 같은 더 복잡한 기법이 서빙 호환성을 따지면 추가 이득이 미미했다는 관찰도 흥미롭습니다. 아직 동료평가 전 프리프린트이고 초록에 구체적 수치가 없다는 점을 감안해 읽어야 합니다.
Published on
2026년 7월 11일
LLM 번아웃 — 일이 "만드는 것"에서 "검토하는 것"으로 바뀔 때
llm developer-experience burnout ai-tooling code-review
개발자 Alec Scollon의 에세이 "I Think I Have LLM Burnout"이 해커뉴스에서 화제가 되었습니다. 하루가 코드를 "쓰는 일"에서 모델이 쓴 것을 "검토하는 일"로 조용히 바뀌었다는 감각을 정확히 짚었기 때문입니다. 이 글은 그 주장을 충실히 정리하고, 균형 잡힌 시각을 더합니다. 생성은 싸졌지만 검증은 그대로이고, AI 출력을 리뷰하는 일은 실제 인지 노동입니다. 도구는 보일러플레이트나 낯선 영역에서 값을 하지만, 피로는 같은 실수의 반복과 잦은 문맥 전환, 그리고 모든 것을 모델에 넣으라는 압박에서 옵니다.
Published on
2026년 7월 11일
Microsoft Flint 읽기 — 에이전트가 차트를 그리게 만드는 시각화 언어
ai agents data-visualization llm microsoft open-source
Microsoft Research가 공개한 Flint는 에이전트를 시각화하는 언어가 아니라, AI 에이전트가 데이터로부터 보기 좋은 차트를 안정적으로 만들게 해주는 중간 언어입니다. 컴파일러가 스케일·축·색·레이아웃 같은 낮은 수준의 결정을 데이터와 시맨틱 타입으로부터 대신 유도하고, 하나의 명세를 Vega-Lite·ECharts·Chart.js로 컴파일합니다. 이 글은 Flint가 실제로 무엇이고 어떤 문제를 푸는지, 그리고 에이전트 전용 시각화 언어가 정말 필요한 발상인지 아니면 과잉설계인지 정직하게 따집니다.
Published on
2026년 7월 11일
Hybrid SWA로 긴 컨텍스트 추론 최적화하기 — Xiaomi MiMo v2.5가 실제로 한 것
ai llm inference attention optimization
슬라이딩 윈도우 어텐션(SWA)과 풀 어텐션을 층별로 섞는 하이브리드 SWA는 긴 컨텍스트 추론의 KV 캐시 메모리와 연산량을 함께 줄이는 최근의 주류 설계입니다. Xiaomi가 공개한 MiMo v2.5 추론 최적화 글을 근거로, 하이브리드 SWA가 무엇이고 왜 중요한지, MiMo v2.5가 실제로 어떤 아키텍처와 시스템 엔지니어링을 했는지(70층 중 10층만 풀 어텐션, 윈도우 128, 이론상 약 7배 절감), 그리고 정직하게 무엇이 빠졌는지를 정리합니다. 결론은 지난 양자화 글과 같은 전장 — KV 캐시 — 을 다른 축에서 공격하는 이야기입니다.
Published on
2026년 7월 11일
Model Context Protocol(MCP) 레퍼런스 — AI를 외부 세계에 연결하는 열린 표준
mcp ai agents llm protocol integration
Model Context Protocol(MCP)은 애플리케이션이 LLM에 컨텍스트를 제공하는 방식을 표준화한 열린 프로토콜입니다. 이 글은 MCP가 실제로 무엇인지를 공식 문서에 근거해 정리한 엔지니어용 레퍼런스입니다 — 왜 M×N 통합 문제를 푸는지, 호스트·클라이언트·서버 구조와 두 계층(데이터/전송), 세 가지 서버 프리미티브(도구·리소스·프롬프트), stdio와 Streamable HTTP 전송. 서버를 어떻게 설계할지, 그리고 보안·성숙도의 솔직한 트레이드오프까지 담았습니다.
Published on
2026년 7월 11일
더 생각한다고 더 맞는 것은 아니다: 테스트타임 컴퓨트와 과잉사고
ai llm reasoning inference test-time-compute
2026년 4월, Shu Zhou 등 6명은 "When More Thinking Hurts"에서 추론 토큰을 무작정 늘리는 흐름에 정면으로 질문을 던집니다. 저자들의 보고에 따르면 컴퓨트 예산이 커질수록 추가 추론 토큰의 한계 효용은 크게 줄어들고, 어느 지점부터 모델은 "과잉사고"에 빠져 이미 맞혔던 답을 스스로 뒤엎습니다. 최적 사고 길이는 문제 난이도마다 다르므로, 모두에게 같은 예산을 주는 방식은 비효율적이라는 것입니다. 초록은 구체적인 모델명이나 수치를 밝히지 않으므로, 저는 방향성만 조심스럽게 옮깁니다.
Published on
2026년 7월 11일
프로덕션 RAG 패턴 — 순진한 RAG가 실패하는 이유와 실제로 통하는 기법들
ai rag llm retrieval embeddings reranking
데모용 RAG는 30분이면 만들지만, 프로덕션에서 조용히 무너지는 지점은 대부분 생성이 아니라 검색입니다. 청킹, 임베딩과 하이브리드 검색(BM25 + 벡터), 리랭킹, 컨텍스추얼 리트리벌, 쿼리 재작성, 그리고 평가를 각각 무엇이고·언제 도움이 되며·무엇을 대가로 치르는지 정리합니다. Anthropic의 컨텍스추얼 리트리벌 수치처럼 출처 있는 숫자만 인용하고, RAG가 마법이 아니라는 점과 결국 자기 데이터로 평가해야 한다는 점을 솔직하게 짚습니다.
Published on
2026년 7월 11일
RLHF 모델은 왜 보상을 속이는가 — 리워드 해킹의 메커니즘, 증상, 완화 방향
ai llm alignment rlhf safety
Xiaohua Wang 등 23명이 2026년 4월 arXiv에 올린 "Reward Hacking in the Era of Large Models"는 RLHF로 정렬된 대형 모델이 왜, 어떻게 보상 신호를 게이밍하는지 정리한 서베이입니다. 핵심 제안은 리워드 해킹을 목표 압축, 최적화 증폭, 평가자–정책 공진화라는 세 힘으로 읽는 프록시 압축 가설(PCH)입니다. 장황함 편향, 아첨, 그럴듯하지만 틀린 근거, 벤치마크 과적합, 그리고 멀티모달에서의 지각–추론 분리와 평가자 조작까지 알아볼 수 있는 증상을 한데 모읍니다. 벤치마크 수치가 아니라 지도(map)를 주는 논문이라, RLHF와 평가를 다루는 사람에게 참고서로 쓸 만합니다.
Published on
2026년 7월 11일
RTX 5090 한 장으로 작은 모델들 직접 굴려보기 — microGPT·OCR·음악 생성
pytorch gpu llm ocr hands-on ai
RTX 5090(Blackwell, 32GB) 한 장에 SSH로 붙어 작은 모델 셋을 직접 돌려봤습니다. char-level GPT를 밑바닥부터 28초 만에 학습시키고(10.75M 파라미터, 117만 tokens/s), 전용 OCR(TrOCR)과 소형 VLM(Qwen2-VL-2B)을 같은 이미지에 붙여 CER로 대결시키고, MusicGen으로 8초짜리 음악을 1.9초(4.2배 실시간)에 생성했습니다. 그 과정에서 만난 정직한 함정들 — 워밍업 없는 벤치마크가 38배 거짓말을 한 사건, CER이라는 지표가 대문자 하나로 뻥튀기되는 이야기, Blackwell sm_120에 맞는 PyTorch를 찾는 삽질 — 까지 실측 수치와 함께 정리합니다.
Published on
2026년 7월 11일
Tencent Hy3: 295B 오픈 웨이트 MoE를 냉정하게 읽기
hy3 tencent hunyuan open-weights moe llm
Tencent이 2026년 7월 6일 Hy3를 Apache 2.0으로 공개했다. 총 295B 중 21B만 활성화되는 MoE 추론·에이전트 언어 모델이다. 무엇이 실제로 새로운지, 중국계 오픈 웨이트 흐름에서 어디에 놓이는지, 그리고 벤더가 직접 낸 벤치마크 숫자를 어디까지 믿어야 하는지 정리했다.
Published on
2026년 7월 11일
UniClawBench로 보는 2026년의 에이전트 벤치마크 — 살아 있는 컨테이너와 숨은 감독자
ai agents evaluation benchmark llm
홍콩대(HKU) MMLab이 2026년 7월 arXiv에 올린 UniClawBench는 "능력 중심(capability-driven)"을 표방하는 프로액티브 에이전트 벤치마크입니다. 정적으로 미리 기록된 정답을 맞히는 대신, 살아 있는 Docker 컨테이너 안에서 단계별 체크포인트로 채점하고, 실행자·숨은 감독자·사용자 에이전트로 이루어진 닫힌 고리로 다중 턴 피드백을 시뮬레이션합니다. 400개의 이중 언어 과제를 다섯 가지 능력으로 나누고, 베이스 모델의 실력과 에이전트 프레임워크 설계를 분리해 측정하려 한다는 점이 핵심입니다. 정적 벤치마크가 오염과 잡음으로 흔들리는 지금, 좋은 에이전트 벤치마크가 갖춰야 할 조건을 구체적으로 보여 줍니다.
Published on
2026년 7월 11일
AI가 당신의 코드를 유지보수해도, 그래도 사람을 위해 쓴다
ai llm code-quality maintainability craft
2026년 7월 10일, Scott Robinson은 오래된 격언을 한 번 비틀어 되살렸습니다. LLM은 당신의 코드베이스를 스타일 가이드처럼 읽기 때문에, 당신이 병합한 모든 지름길이 곧 모델이 기계 규모로 되돌려주는 학습 데이터가 됩니다. 중복된 접근 권한 검사 예시와 "LLM은 스펀지"라는 그의 문장을 짚은 뒤, 더 어려운 질문을 던집니다. 다음 유지보수자가 기계일 때도 사람을 위해 쓰는 일이 여전히 중요한가? 그렇습니다. 사람은 여전히 리뷰하고 디버깅하며, 명료함이야말로 diff를 리뷰 가능하게 만들기 때문입니다.
Published on
2026년 7월 9일
LLM 학습 데이터 전처리 완전 가이드 — 웹 크롤부터 토큰 패킹까지, 최신 논문과 함께
ai llm data-engineering preprocessing training
좋은 모델은 좋은 데이터에서 나오고, 좋은 데이터는 전처리 파이프라인에서 나옵니다. 웹 크롤 수집 → 본문 추출 → 언어 식별 → 휴리스틱·분류기 품질 필터링 → 정확·근사(MinHash) 중복 제거 → PII·독성 처리 → 벤치마크 오염 제거 → 토크나이즈와 시퀀스 패킹까지 사전학습 데이터의 전체 공정을 단계별로 설명하고, SFT 데이터 정제의 요점, datatrove·Dolma·NeMo Curator 같은 도구, 그리고 The Pile부터 FineWeb·DCLM까지 이 분야의 흐름을 바꾼 최신 논문들을 함께 소개합니다.
Published on
2026년 7월 8일
LLM 캐싱의 원리 — 프롬프트 캐싱과 Prefix Cache는 왜 돈을 아껴주는가
ai llm caching inference performance
프롬프트 앞부분이 같으면 왜 비용이 10분의 1이 될까요? 답은 트랜스포머 내부의 KV 캐시에 있습니다. 어텐션이 인과적(causal)이라 앞쪽 토큰들의 Key/Value 벡터는 뒤에 무엇이 오든 변하지 않고, 그래서 저장해 뒀다가 재사용할 수 있습니다. prefill과 decode의 구분, KV 캐시의 메모리 수치, vLLM·SGLang의 prefix cache 구현, 그리고 Anthropic·OpenAI 프롬프트 캐싱의 가격 구조와 실전 설계 규칙까지 — 겹치는 앞부분이 연산을 지워주는 전체 메커니즘을 바닥부터 설명합니다.
Published on
2026년 7월 8일
최신 LLM 양자화 기술 총정리 — GPTQ·AWQ부터 FP8·MXFP4·KV 캐시 양자화까지
ai llm quantization inference optimization
양자화는 모델의 숫자를 더 적은 비트로 표현해 메모리와 비용을 줄이는 기술입니다. 비트가 줄어도 품질이 버티는 이유(이상치와 스케일링), GPTQ와 AWQ의 접근 차이, llama.cpp GGUF의 k-quant, QLoRA의 NF4, 그리고 2026년의 중심축인 FP8과 마이크로스케일링 FP4(MXFP4·NVFP4), 다음 병목인 KV 캐시 양자화까지 — W4A16 같은 표기법 읽는 법과 하드웨어·목적별 선택 가이드를 포함해 최신 양자화 지형을 한 장에 정리합니다. RTX 5090에서 8B 모델을 fp16·int8·nf4로 직접 돌려 VRAM과 속도를 실측한 결과(int8이 오히려 가장 느린 반전 포함)도 함께 담았습니다.
Published on
2026년 7월 7일
AI 모델 개발, 처음부터 끝까지 — 데이터에서 배포까지의 현실적인 생애주기
ai ml llm mlops training
모델 개발은 사전학습이 아니라 결정 사다리에서 시작합니다 — 프롬프트로 되는가, RAG로 되는가, 파인튜닝이 필요한가. 평가 셋을 먼저 만드는 eval-first 원칙, 데이터 품질과 합성 데이터의 함정, 스케일링 법칙과 분산 학습, LoRA·DPO로 이어지는 파인튜닝 스펙트럼, 양자화·연속 배칭 서빙, 그리고 배포 후의 데이터 플라이휠까지 — AI 모델 개발의 전체 생애주기를 실무 순서로 정리합니다.
Published on
2026년 7월 6일
LiteLLM 실전 사용법 — 100개 이상 LLM을 하나의 인터페이스로
litellm llm ai-gateway python openai-compatible
LiteLLM으로 OpenAI, Anthropic, Gemini, Bedrock, OpenRouter, 로컬 모델까지 동일한 OpenAI 포맷으로 호출하는 실전 퀵스타트. 설치부터 스트리밍, Router, Proxy Server까지 빠르게 정리한다.
Published on
2026년 7월 6일
OpenRouter 사용법 — 하나의 API로 300개 이상 LLM 쓰기
openrouter llm ai-gateway api openai-compatible
OpenRouter 하나로 60개 이상 공급자의 300개 이상 모델을 OpenAI 호환 방식으로 호출하는 법 — 키 발급, 첫 curl 요청, SDK 드롭인, 라우팅과 폴백, 스트리밍까지 실무 기준으로 정리한다.
Published on
2026년 7월 3일
관측 가능성 완전 정복: 로그·트레이싱·LLM 모니터링
observability opentelemetry tracing logging llm
로그·메트릭·트레이스라는 세 기둥부터 이들이 trace_id로 어떻게 엮이는지, Loki와 OpenSearch의 로그 전략 차이, OpenTelemetry를 중심으로 한 분산 트레이싱(Jaeger·Tempo), 그리고 Langfuse로 대표되는 LLM 관측 가능성까지. 실무에서 스택을 어떻게 짜고 무엇을 골라야 하는지 하나씩 대조하며 정리합니다.
Published on
2026년 7월 2일
AI Engineer 되는 방법 완벽 가이드 2026 — LLM, RAG, 에이전트, Evals, 커리어 로드맵
ai-engineer career llm rag ai-agents fine-tuning evals prompt-engineering
AI Engineer가 되기 위한 2026년 완벽 가이드. ML Engineer와의 차이부터 LLM API, 프롬프트 엔지니어링, RAG 설계, 에이전트 구축, LoRA 파인튜닝, vLLM 서빙, Evals 중심 개발, 프레임워크·벡터 DB 선택, 비용 최적화, 포트폴리오 5종, 한국·일본·글로벌 채용 시장과 인터뷰 대비까지 한 번에 정리합니다.
Published on
2026년 6월 26일
어텐션의 진화 — MQA, GQA, FlashAttention, 그리고 긴 컨텍스트
llm attention flashattention gqa mqa kv-cache long-context
표준 어텐션의 메모리와 연산 비용을 분석하고, MQA와 GQA가 KV cache를 어떻게 줄이는지, FlashAttention이 IO를 어떻게 최적화하는지 설명합니다. 슬라이딩 윈도우와 롱컨텍스트 기법, 그리고 이 모든 선택이 서빙 메모리에 미치는 영향까지 비교합니다.
Published on
2026년 6월 26일
멀티모달 토크나이제이션과 융합 — 이미지·오디오를 토큰으로
llm multimodal tokenization vision-language q-former token-pruning
이미지와 오디오, 비디오를 어떻게 토큰으로 바꾸고 텍스트와 하나의 시퀀스로 엮는지 정리합니다. 패치·VQ 기반 이미지 토큰화, 이산 코덱 오디오 토큰화, 프레임 샘플링, 인터리빙과 구분 토큰, 토큰 폭증과 압축, 컨텍스트 비용까지 멀티모달 LLM의 입력 구성을 깊이 다룹니다.
Published on
2026년 6월 26일
위치 인코딩 완전 이해 — 사인파에서 RoPE까지
llm positional-encoding rope alibi long-context transformer
왜 Transformer에 위치 정보가 필요한지부터 시작해 sinusoidal, learned, 상대 위치 인코딩, 그리고 RoPE와 ALiBi를 단계적으로 설명합니다. 길이 외삽과 컨텍스트 확장(NTK, YaRN), 멀티모달의 M-RoPE까지 연결하고 흔한 함정을 정리합니다.
Published on
2026년 6월 26일
Transformer 구조 완전 해부 — Attention부터 KV Cache까지
llm transformer attention positional-encoding kv-cache self-attention
Transformer의 self-attention, 멀티헤드, 위치 인코딩, FFN, 잔차 연결과 정규화를 처음부터 분해해 설명합니다. 텐서 shape와 파라미터 수 계산, causal mask, 인코더/디코더 구조, 그리고 추론 단계의 KV cache까지 연결해 전체 그림을 그립니다.
Published on
2026년 6월 26일
Vision LLM 아키텍처 — 이미지가 언어가 되기까지
llm vision-language-model multimodal vit qwen2-vl architecture
비전-언어 모델은 이미지를 비전 인코더로 처리한 뒤 프로젝터를 거쳐 LLM이 이해할 수 있는 토큰으로 바꿉니다. 패치 임베딩부터 임의 해상도 처리까지, 이미지가 언어 토큰이 되는 전 과정을 구조적으로 살펴봅니다.
Published on
2026년 6월 18일
온디바이스·엣지 AI — AI가 기기 안으로 들어온다
ai edge-ai on-device npu llm inference trend
클라우드에 머물던 AI 추론이 스마트폰·PC·임베디드 기기 안으로 이동하고 있습니다. 지연·프라이버시·비용이라는 세 가지 동인과 NPU·온디바이스 LLM의 부상, 그리고 투자·산업 관점의 시사점과 리스크를 균형 있게 정리합니다.
Published on
2026년 6월 18일
AI로 투자 리서치하기 — 똑똑하게, 그러나 신중하게
finance ai investment-research llm due-diligence
AI 도구로 공시 요약, 종목 스크리닝, 번역 같은 투자 리서치를 빠르게 해내는 방법과, 환각과 최신성 한계, 출처 검증, 백테스트 주의, 데이터 편향 같은 함정을 정리합니다. 도구는 거들 뿐, 책임은 투자자 본인에게 있다는 관점에서 실전 워크플로를 제안합니다.
Published on
2026년 6월 12일
컨텍스트 엔지니어링 — AI 에이전트에게 기억을 설계해주는 법
ai context-engineering llm ai-agent memory rag
프롬프트 엔지니어링의 시대가 저물고 컨텍스트 엔지니어링이 핵심 역량으로 떠올랐습니다. 컨텍스트 윈도우의 경제학, 메모리 계층 설계, 대화에서 사실을 자동 추출해 사용자 프로필을 구축하는 패턴, RAG와 메모리의 구분, compaction 전략, 평가 방법과 함정까지 실무 관점에서 정리합니다.
Published on
2026년 6월 12일
모방 기계는 발견할 수 없는가 — Rich Sutton의 도발과 RL의 반격
ai reinforcement-learning llm research ai-agent bitter-lesson
강화학습의 대부 Rich Sutton이 지도학습 기반 생성 AI는 모방 모델이라 새로운 과학적 발견에 한계가 있다고 주장하며 2026년 6월 커뮤니티를 달궜습니다. Bitter Lesson의 맥락에서 그의 주장을 해부하고, 모방 학습과 강화학습의 본질적 차이, 반론, 그리고 에이전트 설계에 주는 실무적 교훈을 정리합니다.
Published on
2026년 6월 12일
장인과 빌더 — LLM이 커리어를 잠식할 때 개발자가 서야 할 곳
career ai engineering-culture llm senior-engineer mental-health
Stack Overflow 블로그의 Artisans and builders와 HN에서 화제가 된 LLMs are eroding my software engineering career라는 두 글을 축으로, AI 시대 개발자 정체성의 재정의를 다룹니다. 빌더의 민주화와 장인 가치의 재조명, 10년차 도메인 전문가의 차별화 전략, 분기별 실천 플랜까지 정리합니다.
Published on
2026년 6월 12일
Diffusion LM의 부상 — 자기회귀의 대안이 될 수 있을까
llm diffusion text-generation gemma inference architecture
2026년 6월 구글이 DiffusionGemma를 공개하며 텍스트 확산 모델이 GeekNews와 해커뉴스를 달구고 있습니다. 자기회귀 생성의 구조적 한계, 마스킹 기반 디노이징의 원리, 블록 단위 병렬 생성, 4배 빠르다는 주장의 실체와 품질 트레이드오프까지 비판적으로 분석합니다.
Published on
2026년 6월 12일
LLM을 바닥부터 만들어보기 — 스탠퍼드 CS336 스타일 학습 로드맵
llm transformer cs336 deep-learning tokenizer training nanogpt
스탠퍼드 CS336(Language Modeling from Scratch)이 해커뉴스 상위권에 오르며 from-scratch LLM 학습이 다시 화제입니다. 토크나이저부터 어텐션, 분산 학습, 스케일링 법칙, 정렬, 추론 최적화까지 전체 커리큘럼을 해부하고 20주 학습 플랜과 미니 프로젝트 아이디어를 정리했습니다.
Published on
2026년 6월 12일
로컬 LLM 인퍼런스 최적화 — 양자화부터 VRAM 한계 돌파까지
llm inference quantization llama-cpp vllm ollama gpu
프라이버시와 비용, 그리고 빅테크 피로감 속에 로컬 LLM이 다시 뜨고 있습니다. VRAM 중심의 하드웨어 선택, GGUF와 AWQ 양자화, llama.cpp와 vLLM과 Ollama 비교, KV cache 메모리 산수, VRAM을 스왑으로 쓰는 역발상 해킹까지 로컬 인퍼런스 최적화의 전체 지도를 그립니다.
Published on
2026년 5월 16일
AI 에이전트 프레임워크 2026 완벽 가이드 - LangGraph · AutoGen · CrewAI · Semantic Kernel · OpenAI Agents SDK · Claude Agent SDK · Pydantic AI 심층 분석
ai-agent langgraph autogen crewai semantic-kernel openai-agents-sdk claude-agent-sdk pydantic-ai llm
2026년 5월 기준, 프로덕션 AI 에이전트 시장을 주도하는 10개 프레임워크의 아키텍처, API, 멀티 에이전트 패턴, 관측성, 채택 시그널을 비교한다. LangGraph 0.3, AutoGen 0.4, CrewAI Flows, Semantic Kernel Agent Framework, OpenAI Agents SDK, Claude Agent SDK, Pydantic AI, Smol Agents, LlamaIndex Agent Workflows, Vercel AI SDK까지 실제 코드 스니펫과 함께 짚는다.
Published on
2026년 5월 16일
LLM 파인튜닝 프레임워크 2026 — Axolotl / Unsloth / LLaMA-Factory / TRL / PEFT / TorchTune 심층 가이드
llm finetuning axolotl unsloth llama-factory trl peft torchtune mosaicml llm-foundry modal dpo grpo kto qlora fsdp deepspeed deep-dive
2026년 LLM 파인튜닝 생태계를 한 번에 정리한다. Axolotl·Unsloth·LLaMA-Factory·TRL·PEFT·TorchTune 같은 오픈소스 프레임워크부터 LLM Foundry(MosaicML, Databricks 인수), Modal·Together·OpenAI·Anthropic·Cohere의 클라우드 파인튜닝 API까지. QLoRA·FSDP·DeepSpeed Zero 같은 분산 학습 기법, DPO·GRPO(DeepSeek R1)·KTO(Kahneman-Tversky)·IPO 같은 선호 최적화 알고리즘, 그리고 한국(Upstage·KT·LG AI)·일본(Sakana·Stockmark·ELYZA·PFN)의 사례까지. 1인 개발자·학술 연구자·스타트업·엔터프라이즈 각각이 무엇을 골라야 하는지 결정 가이드도 포함한다.
Published on
2026년 5월 16일
LLM 논문 큐레이션 2024-2026 - Llama · DeepSeek · Qwen · Mistral · Phi · RLHF · DPO · CoT · RAG · FlashAttention · vLLM 심층 가이드
llm papers llama deepseek qwen mistral phi rlhf dpo chain-of-thought rag flashattention vllm foundation-models moe
LLM을 만들고 운영하는 엔지니어를 위한 2024-2026 필독 논문 30+편 큐레이션. 파운데이션 모델(Llama 3/4, DeepSeek-V3/R1, Qwen3, Mistral, Phi-4, Gemma 3), 학습 혁신(MoE, MLA, GQA), 포스트-트레이닝(RLHF, DPO, ORPO, KTO), 추론(CoT, ToT, GRPO), 에이전트(ReAct, SWE-Agent), 검색(RAG, GraphRAG, ColBERT), 효율(FlashAttention 1/2/3, vLLM PagedAttention, SGLang), 평가(MMLU, GSM8K, SWE-Bench, OSWorld), 안전성, 한국·일본 모델까지 — 각 논문의 arXiv ID와 "왜 중요한지"를 한 단락으로 정리.
Published on
2026년 5월 16일
LLM 서빙 & 로컬 추론 2026 — vLLM / llama.cpp / MLX / Ollama / LM Studio / SGLang / TGI 심층 비교
llm model-serving inference vllm llama-cpp mlx llamafile ollama lm-studio gpt4all sglang tgi ktransformers tensorrt-llm modular-max quantization deep-dive
2026년 LLM 서빙·추론 프레임워크의 지도를 그린다. 데이터센터 진영(vLLM·SGLang·TGI·Triton·TensorRT-LLM), 로컬 진영(llama.cpp·MLX·llamafile·Ollama·LM Studio·GPT4All), 신생 진영(KTransformers·MLC LLM·Modular MAX), 그리고 클라우드 서빙 SaaS(Together·Fireworks·Groq·Cerebras·SambaNova·Lepton-NVIDIA 인수). 양자화 포맷(GGUF Q4_K_M·AWQ·GPTQ·FP8), 한국·일본 모델 생태계(Upstage Solar·KT Mi:dm·Sakana·NTT Tsuzumi·ELYZA)까지 — 누가 무엇을 골라야 하나.
Published on
2026년 5월 14일
AI 하네스 해부 — 모델을 에이전트로 만드는 스캐폴딩 (루프·도구·컨텍스트, 그리고 직접 만들기)
ai-harness ai-agent llm agent-loop tool-execution context-engineering claude-code cursor openclaw agent-sdk ai-engineering
모델은 엔진이고, 하네스는 차다. 같은 엔진에 다른 차를 얹으면 주행 경험이 완전히 달라진다. 2026년 AI 엔지니어링의 진짜 무게중심은 모델이 아니라 그 모델을 둘러싼 스캐폴딩 — 하네스 — 에 있다. 에이전트 루프의 해부, 도구 실행 계층, 컨텍스트 관리와 context rot, System Prompt의 역할, 제어 흐름(서브에이전트·훅·권한 게이트), 실패 모드와 복원, 실제 하네스 비교(Claude Code·Cursor·Codex·Aider·OpenClaw·Agent SDK), 40줄짜리 최소 하네스 직접 만들기, 그리고 하네스를 평가하는 법까지.
Published on
2026년 5월 14일
LLM 랜드마크 논문 가이드 — Attention부터 GPT·LLaMA·DeepSeek·o1·Claude까지 (참고문헌 포함, 2026)
llm research-papers transformer gpt llama deepseek o1 claude rlhf reasoning ai-engineering references
LLM 분야의 진짜 변화는 어떤 논문에서 시작됐는가. 2017년 Attention is All You Need부터 2026년의 추론 모델까지, 반드시 알아야 할 랜드마크 논문 20여 편을 시기·주제별로 정리한다. 각 논문은 '왜 중요한가·한 줄 요약·후속 영향'으로 압축하고, arXiv·블로그 링크를 끝에 모았다. 시간 부족한 엔지니어를 위한 LLM 논문 지도.
Published on
2026년 5월 14일
추론 모델(reasoning models) 2026 가이드 — o3·o4·DeepSeek R1·Claude Thinking·Gemini Deep Think·QwQ 심층 비교
reasoning-models o3 o4 deepseek-r1 claude-thinking gemini-deep-think qwq rlvr test-time-compute llm
o1이 2024년 9월에 test-time compute라는 새로운 축을 열고 1년 반이 지났다. 2026년 현재 '추론 모델(reasoning model)'은 별도의 모델군이 아니라, 모든 프론티어 모델의 한 상태(mode)가 됐다. OpenAI o3·o3-pro·o4, DeepSeek R1·R1-0528·V3.1 reasoner, Anthropic Claude Sonnet 4.5·Opus 4.5의 extended thinking, Google Gemini 2.5 Pro·Deep Think, Alibaba Qwen QwQ·QwQ-Plus, xAI Grok 3·4 Heavy thinking — 여섯 가족의 추론 모드를 thinking budget·AIME·SWE-bench·도구 사용·가격까지 한눈에 정리한다. RLVR(verifiable rewards) 레시피, 추론 모델이 진짜로 필요한 순간, 그리고 빠른 비추론 모델이 더 나은 순간.
Published on
2026년 5월 14일
Slack 봇으로 AI 팀원 만들기 — Claude·Gemini·OpenClaw 연동 + MCP로 도구 확장 (2026 핸즈온)
slack-bot llm claude gemini openclaw mcp bolt-sdk ai-agent chatops hands-on automation
AI를 가장 레버리지 높게 배포하는 표면은 IDE가 아니라 Slack이다 — 팀 전체가, 일이 일어나는 곳에서 쓴다. 이 글은 따라 하는 핸즈온이다. Slack 앱을 만들고, Bolt SDK로 멘션에 응답하는 최소 봇을 띄우고, Claude·Gemini·OpenClaw 게이트웨이를 연동하고, 스레드 컨텍스트를 다루고, MCP로 봇에 GitHub·Jira·DB 같은 도구를 쥐여주고, 스트리밍 UX·프로덕션 운영·Prompt Injection 방어까지.
Published on
2026년 4월 15일
AI 엔지니어링 실전 — LLM API, RAG, 에이전트, LoRA/DPO, 벡터 DB, 평가, 관측, Prompt Injection 완전 가이드 (2025)
ai-engineering llm rag ai-agent lora dpo vector-database embeddings evaluation observability prompt-injection langgraph
LLM API 프로덕션 호출의 진짜 어려움, RAG가 단순 조회가 아닌 이유, 에이전트 패턴(ReAct/Plan-Execute/ReWOO), 파인튜닝 언제/언제 하지 말까(LoRA/QLoRA/DPO), 벡터 DB 선택 매트릭스, LLM 평가의 근본적 어려움, 비용 최적화, Prompt Injection 방어까지. 데모가 아닌 '진짜 프로덕션' AI 앱을 만드는 법.
Published on
2026년 4월 15일
AI Engineering 프로덕션 실전 완전 가이드 — RAG·Evals·Fine-tuning·LLMOps·Guardrails·Prompt Caching·비용 최적화까지 2025-2026년 현장 노하우
ai-engineering llm rag evaluation fine-tuning llmops guardrails prompt-caching cost-optimization production deep-dive guide
LLM을 프로토타입에서 프로덕션으로 가져가는 여정은 Jupyter 노트북의 데모와 다르다. RAG 파이프라인 설계, eval harness 구축, fine-tuning 결정 트리, LLMOps 관측 가능성, Guardrails와 안전성, Prompt Caching과 비용 최적화까지 2025-2026년 AI 엔지니어의 현장 가이드를 500줄로 정리한다.
Published on
2026년 4월 15일
ANN 알고리즘 완전 가이드 2025: HNSW, IVF, Product Quantization, LSH — 벡터 DB의 내부는 어떻게 작동하는가
ann hnsw ivf product-quantization lsh vector-database similarity-search embedding rag llm
Pinecone, Weaviate, Qdrant, pgvector가 수억 벡터에서 밀리초 만에 유사 항목을 찾는 비결. HNSW, IVF, Product Quantization, LSH 등 ANN 알고리즘의 수학과 구현을 720줄로 깊이 있게 파헤친다.
Published on
2026년 4월 15일
Fine-tuning 완전 가이드: SFT, DPO, LoRA/QLoRA, 합성 데이터, 한국어 모델 (2025)
fine-tuning llm ai lora qlora dpo synthetic-data deep-dive series
"Fine-tuning은 죽었다"는 소리도, "RAG로 다 된다"는 소리도 반쯤만 맞다. 2025년 시점에서 SFT/DPO/RLHF의 지형, LoRA·QLoRA로 가볍게 튜닝하는 실전, 합성 데이터 파이프라인, 한국어 모델(Solar, Qwen, Llama) 파인튜닝, 그리고 Fine-tune vs RAG vs Prompt의 경계선을 한 글로 정리합니다.
Published on
2026년 4월 15일
FlashAttention & Efficient Attention Deep Dive — Tiling, Online Softmax, PagedAttention, GQA 완전 정복 (2025)
flashattention attention llm transformer gpu cuda inference machine-learning
LLaMA 3, GPT-4, Claude 같은 대형 모델을 효율적으로 훈련하고 서빙 가능하게 만든 핵심 최적화, FlashAttention과 그 후속 기법들. 이 글은 efficient attention을 처음부터 해부합니다. Naive attention의 O(N²) 메모리 문제, Tri Dao의 2022년 IO-aware 통찰, Tiling과 Online Softmax, SRAM vs HBM 활용, FlashAttention-2/3의 진화, PagedAttention(vLLM)이 KV cache를 OS 가상 메모리처럼 다룬 이유, Multi-Query/Grouped-Query Attention, Sliding Window, Ring Attention까지 — 현대 LLM 인프라의 성능 비밀을 제대로 이해하고 싶은 엔지니어를 위한 종합 가이드입니다.
Published on
2026년 4월 15일
LLM 완전 가이드 — Transformer·Attention·RLHF·RAG·Agent·Evaluation (Season 2 Ep 6, 2025)
llm transformer attention rlhf dpo rag ai-agent evaluation ai-engineering reasoning-models season-2
LLM을 "프롬프트에 답하는 블랙박스"로만 쓰면 임계점에서 막힌다. Transformer의 Attention이 실제로 어떻게 토큰 관계를 계산하는지, Pre-training → SFT → RLHF → DPO 파이프라인이 왜 이 순서로 설계됐는지, RAG 1/2/3세대의 차이와 Agentic RAG의 본질, Agent 설계(ReAct, Plan-and-Execute, Multi-Agent)의 근본 패턴, 그리고 LLM 평가가 왜 미해결 문제인지까지 — 블랙박스를 뜯어보는 한 편. Season 2의 여섯 번째, 2025년 엔지니어의 필수 교양.
Published on
2026년 4월 15일
MCP (Model Context Protocol) 완전 해부: 스펙, 전송, 보안, 서버 만들기, 엔터프라이즈 (2025)
mcp llm ai claude protocol ai-agent security deep-dive series
Anthropic이 2024년 말 공개하고 2025년에 사실상 표준이 된 MCP. Resources·Tools·Prompts·Sampling 스펙과 전송 계층, OAuth 2.1 인증, 주요 서버(GitHub/Slack/Linear/Chrome/Playwright), 직접 서버 만들기, 보안 공격 벡터, 엔터프라이즈 운영까지. "LLM 시대의 USB-C"를 한 글로 해부합니다.
Published on
2026년 4월 15일
프롬프트 엔지니어링의 과학: CoT, Self-consistency, DSPy, 구조화 출력, 자동 최적화까지 (2025)
prompt-engineering llm ai dspy cot structured-output deep-dive series
2023년엔 "주문"이었고, 2024년엔 "기술"이었고, 2025년엔 "과학"이 된 프롬프트 엔지니어링. Chain-of-Thought, Self-consistency, Tree-of-Thoughts, DSPy 자동 최적화, Structured Output, 프롬프트 버저닝, 모델 간 이관까지. 실전 운영 관점에서 한 글로 정리합니다.
Published on
2026년 4월 15일
RAG 실전 완전 가이드: 검색, 임베딩, 벡터 DB, Fine-tuning의 경계 (2025)
rag llm ai vector-db embedding fine-tuning deep-dive series
LLM에 외부 지식을 붙이는 가장 실용적인 패턴, RAG. 2025년 시점에서 임베딩 모델 선택, 청킹 전략, 벡터 DB 선택, Rerank, Hybrid Search, 그리고 Fine-tuning과의 경계까지. Notion AI와 Claude의 검색 아키텍처를 해부하고, 한국어 RAG의 특수성과 비용·지연시간 최적화 체크리스트를 한 호흡에 정리합니다.
Published on
2026년 4월 15일
2026년 기술 지형 완전 예측 — LLM Next Wave·Agents·Physical AI·BCI·양자·AR·CRISPR·에너지·거버넌스까지 엔지니어가 알아야 할 모든 것
tech-trend llm ai-agent robotics bci quantum ar-vr crispr energy ai-governance deep-dive guide
2025년은 Agent 원년이자 Physical AI 태동의 해였다. 2026년 이후 기술 지형을 LLM Next Wave, Agents 주류화, 로봇·Physical AI, BCI, 양자 컴퓨팅, AR 2.0, CRISPR·합성생물학, Space Compute, 에너지 전환, AI 거버넌스까지 — 엔지니어가 지금 준비해야 할 5가지 역량과 함께 완전 해부한다.
Published on
2026년 4월 15일
Transformer 아키텍처 완전 가이드 2025: Self-Attention, Positional Encoding, Multi-Head, GPT vs BERT — ChatGPT 뒤의 수학
transformer attention self-attention gpt bert neural-network llm deep-learning positional-encoding multi-head-attention
ChatGPT, Claude, Gemini의 공통 기반인 Transformer를 완전 분석. Attention 메커니즘, positional encoding, multi-head, encoder vs decoder, GPT와 BERT의 차이까지 — Transformer의 모든 것을 720줄로 수학과 함께 파헤친다.
Published on
2026년 4월 14일
Advanced Prompt Engineering 완전 가이드 2025: CoT, ToT, Self-Consistency, 메타프롬프팅
prompt-engineering chain-of-thought tree-of-thought few-shot system-prompt meta-prompting structured-output optimization llm 2026-04
Prompt Engineering 심화! Chain-of-Thought(CoT), Tree-of-Thought(ToT), Self-Consistency, ReAct, 메타프롬프팅, Structured Output(JSON Mode), System Prompt 설계, Few-shot 최적화, Prompt Chaining, 평가(auto-eval), 프로덕션 프롬프트 관리.
Published on
2026년 4월 13일
Advanced RAG 파이프라인 완전 가이드 2025: 청킹 전략, 리랭킹, 에이전틱 RAG, 평가
rag chunking reranking agentic-rag evaluation langchain llamaindex embedding llm 2026-04
Advanced RAG의 모든 것! 문서 청킹 전략(Semantic/Recursive/Agentic), 리랭킹(Cohere/ColBERT/Cross-encoder), Query Transformation, 에이전틱 RAG(Self-RAG/CRAG), Multi-modal RAG, 평가(RAGAS/TruLens), 프로덕션 최적화.
Published on
2026년 3월 25일
AI Agent 개발 완전 가이드 2025: Tool Calling, ReAct, Multi-Agent, MCP까지
ai-agent tool-calling function-calling react-pattern multi-agent langchain crewai mcp llm 2026-03
AI Agent 개발의 모든 것! Tool Calling(Function Calling) 원리, ReAct 패턴, Multi-Agent 아키텍처(CrewAI/AutoGen/LangGraph), MCP(Model Context Protocol), Agent 프레임워크 비교, Tool Calling 성능 최적화, 프로덕션 배포 전략.
Published on
2026년 3월 25일
BFCL 벤치마크 완전 가이드 2025: Tool Calling 성능 평가, 리더보드 분석, 모델 비교
bfcl benchmark tool-calling function-calling evaluation leaderboard llm claude gpt gemini 2026-03
BFCL(Berkeley Function Calling Leaderboard)의 모든 것! 벤치마크 카테고리(Simple/Multiple/Parallel/Relevance/AST), 평가 메트릭, 모델 성능 비교(Claude/GPT/Gemini/Llama), 자체 모델 평가 방법, Tool Calling 개선 전략.
Published on
2026년 3월 25일
한국어 LLM 학습 데이터 제작 완전 가이드: Hugging Face 데이터셋, 전처리, 품질 관리까지
llm training-data huggingface dataset korean-nlp data-preprocessing instruction-tuning rlhf data-quality 2026-03
LLM 학습 데이터 제작의 모든 것! Hugging Face 데이터셋(종류/로딩/변환), 한국어 데이터 수집(크롤링/합성/번역), 전처리(토크나이징/정제/중복제거), Instruction Tuning 포맷(Alpaca/ShareGPT/OpenAI), 품질 관리, RLHF/DPO 데이터셋.
Published on
2026년 3월 25일
LiteLLM 완전 가이드 2025: 100+ LLM을 하나의 API로 통합하는 프록시 서버
litellm llm api proxy openai anthropic gemini cost-management load-balancing ai-infrastructure 2026-03
LiteLLM의 모든 것! 100+ LLM 통합 API, OpenAI 호환 프록시 서버, 비용 추적/예산 관리, 로드 밸런싱/폴백, 모델 라우팅, 가상 키, 레이트 리밋, Guardrails, 프로덕션 배포(Docker/K8s).
Published on
2026년 3월 25일
Unsloth로 LLM 파인튜닝 완전 가이드 2025: QLoRA, 4bit 양자화, 2배 빠른 학습
unsloth llm fine-tuning qlora lora quantization huggingface transformers peft optimization 2026-03
Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.
Published on
2026년 3월 22일
AI 프롬프트 엔지니어링 완전 가이드: 개발자가 알아야 할 프롬프트 기법 30선
prompt-engineering ai llm chatgpt claude gemini developer coding 2026-03
Zero-shot부터 Chain-of-Thought, Tree-of-Thought, ReAct, Few-shot, Self-Consistency까지 — 개발자를 위한 프롬프트 엔지니어링 30가지 기법을 실전 예시와 함께. Claude, GPT-4, Gemini에서 최대 성능을 끌어내는 방법.
Published on
2026년 3월 22일
MCP(Model Context Protocol) 완전 가이드: 9,700만 다운로드의 AI 표준이 된 이유
mcp ai anthropic openai google linux-foundation llm ai-agent protocol 2026-03
Anthropic이 만들고 OpenAI, Google이 채택한 MCP. 월간 9,700만 다운로드, Linux Foundation 기부, MCP 서버 구축 실전 가이드까지 — AI 에이전트 시대의 USB-C 표준.
Published on
2026년 3월 22일
2025 오픈소스 AI 모델 완전 비교: DeepSeek R1 vs Llama 4 vs Qwen 3 vs Mistral — 누가 왕인가
open-source ai llm deepseek llama qwen mistral moe benchmark 2026-03
DeepSeek R1(671B/37B), Llama 4 Scout/Maverick, Qwen 3(235B MoE), Mistral 8x22B — 2025년 오픈소스 AI 모델 4강 완전 비교. 벤치마크, 라이센스, 배포 방법, 비용 분석까지.
Published on
2026년 3월 21일
2025년 AI 논문 트렌딩 총정리: HuggingFace 인기 논문부터 10대 연구 트렌드까지
ai-research papers huggingface reasoning moe diffusion llm ai-agent video-generation efficient-inference rlhf multimodal 2026-03
HuggingFace 트렌딩 논문 TOP 10과 2025년 AI 연구 10대 트렌드를 개발자 관점에서 리뷰합니다. DeepSeek-R1의 순수 RL 추론, Nemotron-Cascade 30B/3B MoE, GRPO, vLLM PagedAttention, 100만 토큰 컨텍스트의 한계, 비디오 생성 벤치마크까지.
Published on
2026년 3월 21일
집에서 AI 슈퍼컴퓨터를: NVIDIA DGX Spark로 LLM 공부하고 ComfyUI로 콘텐츠 만들기
nvidia dgx-spark comfyui local-ai llm stable-diffusion flux content-creation ai-hardware gtc 2026-03
NVIDIA DGX Spark($3,999)로 200B 파라미터 LLM을 로컬에서 돌리고, ComfyUI로 FLUX/SDXL 이미지를 생성하는 완전 가이드. 스펙 비교, 벤치마크, 셋업 방법, 비용 분석까지 — 개인 AI 슈퍼컴퓨터 시대가 열렸다.
Published on
2026년 3월 21일
토스뱅크 ML Engineer (MLOps) 합격 완벽 가이드: MLFlow부터 LLM 플랫폼까지 기술스택 총정리
mlops ml-platform tossbank kubernetes mlflow airflow kubeflow triton scylladb feature-store llm gpu career interview 2026-03
토스뱅크 ML Platform Team의 MLOps Engineer JD를 완전 분석합니다. MLFlow, Airflow, JupyterHub, Kubeflow, Triton Inference Server, ScyllaDB Feature Store, LLM 플랫폼까지 — 합격을 위한 기술스택 딥다이브, 면접 예상 질문 30선, 6개월 학습 로드맵.
Published on
2026년 3월 20일
[Architecture] LiteLLM 완전 가이드: 100+ LLM 통합 서빙과 비용 관리
architecture litellm llm ai-gateway mlops
LiteLLM으로 OpenAI, Anthropic, Azure, Bedrock 등 100+ LLM을 하나의 API로 통합하는 방법, Proxy 서버 구축, 비용 추적, Rate Limiting, Load Balancing까지 총정리합니다.
Published on
2026년 3월 18일
Fine-tuning 실전 가이드: LoRA와 QLoRA로 나만의 모델 만들기
fine-tuning lora qlora llm ai-development 모델학습 peft
H100 7대 없어도 됩니다. LoRA와 QLoRA를 사용하면 소비자용 GPU 한 장으로 70B 모델을 파인튜닝할 수 있습니다. 실전 코드와 함께 처음부터 끝까지 설명합니다.
Published on
2026년 3월 18일
Context Window 100만 토큰 시대: RAG는 사라지는가?
context-window rag llm long-context ai-development 비용최적화 검색
Gemini 1.5 Pro의 100만 토큰, Claude의 20만 토큰 컨텍스트 윈도우가 등장하면서 "RAG가 필요 없어지는 것 아니냐"는 질문이 많아졌습니다. 실제 비용, 속도, 품질을 비교해서 솔직하게 답합니다.
Published on
2026년 3월 18일
LLM Agent 설계 패턴 완전 가이드: ReAct부터 Multi-Agent까지
ai-agent react llm 설계패턴 ai-development tool-calling prompt-engineering
ReAct, Chain of Thought, Plan-and-Execute, Reflection, Tree of Thoughts — LLM Agent를 실제로 만들 때 어떤 패턴을 언제 써야 하는지, 현업 엔지니어 관점에서 정리했습니다.
Published on
2026년 3월 18일
LLM 환각(Hallucination) 완전 해부: 왜 AI는 거짓말을 하고, 어떻게 막는가
환각 hallucination llm AI신뢰성 ai-development rag prompt-engineering
LLM이 왜 사실이 아닌 것을 자신있게 말하는지 기술적 원인을 분석하고, RAG, 자기비판, Chain of Verification 등 5가지 실전 해결 전략을 코드와 함께 설명합니다.
Published on
2026년 3월 18일
Prompt Engineering 2025 실전 가이드: GPT-4o와 Claude 3.5를 최대한 활용하는 법
prompt-engineering llm ai-development gpt-4o claude 실전가이드
모델이 아무리 좋아도 프롬프트가 엉망이면 결과도 엉망입니다. 2025년 현재 프로덕션에서 실제로 효과가 입증된 프롬프트 엔지니어링 기법 6가지를 코드와 함께 설명합니다.
Published on
2026년 3월 18일
RAG vs Fine-tuning vs Prompt Engineering: 언제 무엇을 선택하는가
rag 파인튜닝 prompt-engineering llm ai-development 의사결정 실전가이드
RAG, Fine-tuning, Prompt Engineering의 차이를 실전 관점에서 비교하고, 어떤 상황에서 무엇을 선택해야 하는지 구체적인 의사결정 프레임워크와 비용 계산 예시를 제공합니다.
Published on
2026년 3월 18일
Tool Calling 실전 가이드: AI가 외부 세계를 다루는 방법과 흔한 함정들
tool-calling function-calling ai-agent llm ai-development openai 실전가이드
Tool Calling은 LLM을 진짜 에이전트로 만드는 핵심 메커니즘입니다. OpenAI function calling 구현부터 병렬 실행, 그리고 현업에서 실제로 마주치는 함정과 해결법까지 실전 중심으로 정리했습니다.
Published on
2026년 3월 17일
AI 에이전트 완전 가이드: LangChain, LangGraph, CrewAI로 자율 AI 시스템 구축
ai-agent langchain langgraph crewai autonomous-ai llm 2026-03
AI 에이전트 시스템을 완전히 마스터하는 가이드. ReAct, Tool Use, Function Calling부터 LangChain 에이전트, LangGraph 워크플로, CrewAI 멀티 에이전트까지 실전 예제로 자율 AI 시스템을 구축합니다.
Published on
2026년 3월 17일
AI 윤리, 안전성, 정렬(Alignment) 완전 가이드: 책임감 있는 AI 개발
ai-ethics ai-safety alignment responsible-ai llm ai 2026-03
AI 윤리, 안전성, 정렬(Alignment)을 완전히 이해하는 가이드. Hallucination, 편향성, 개인정보, RLHF, Constitutional AI, AI Safety 연구 최전선까지 AI 개발자가 반드시 알아야 할 내용을 다룹니다.
Published on
2026년 3월 17일
AI 시스템 설계 완전 가이드: LLM 서비스부터 MLOps 아키텍처까지
system-design ai-infrastructure llm mlops architecture 2026-03
AI 시스템을 프로덕션 수준으로 설계하는 완전 가이드. 실시간 추론 시스템, 벡터 검색 인프라, LLM 서비스 아키텍처, 데이터 파이프라인, 모니터링 시스템 설계까지 실전 아키텍처로 배웁니다.
Published on
2026년 3월 17일
DeepSpeed 완전 가이드: ZeRO 최적화와 대규모 모델 학습
deepspeed zero-optimization distributed-training llm pytorch 2026-03
Microsoft DeepSpeed를 완전히 마스터하는 가이드. ZeRO-1/2/3 최적화, Offload, 파이프라인 병렬화, 혼합 정밀도, MoE, DeepSpeed Inference까지 실전 설정과 코드로 배웁니다.
Published on
2026년 3월 17일
HuggingFace 생태계 완전 정복: Transformers, Datasets, PEFT, Accelerate 마스터하기
huggingface transformers peft accelerate nlp llm ai 2026-03
HuggingFace의 전체 생태계를 완전히 마스터하는 가이드. Transformers, Datasets, Tokenizers, PEFT, Accelerate, Diffusers, Hub API까지 실전 예제와 함께 모두 배웁니다.
Published on
2026년 3월 17일
대규모 모델 학습 완전 가이드: 100B+ 파라미터 LLM 사전학습 전략
large-scale-training llm megatron-lm distributed-training scaling-laws 2026-03
수백억 파라미터 LLM을 실제로 학습시키는 전략과 기법 완전 가이드. 스케일링 법칙(Chinchilla), Megatron-LM, 3D 병렬화, 체크포인팅 전략, 학습 안정성, 데이터 혼합 전략까지 실전으로 배웁니다.
Published on
2026년 3월 17일
LLM 애플리케이션 개발 가이드: 프로토타입에서 프로덕션까지
llm application-development langchain openai prompt-engineering rag production ai 2026-03
프로토타입에서 프로덕션까지 LLM 기반 애플리케이션을 구축하는 종합 가이드. 프롬프트 엔지니어링, RAG 아키텍처, 툴 사용, 스트리밍, 평가, 비용 최적화, 그리고 실전 AI 애플리케이션을 위한 배포 패턴을 다룹니다.
Published on
2026년 3월 17일
LLM 추론 최적화 완전 가이드: KV Cache, Speculative Decoding, Continuous Batching
llm inference optimization kv-cache speculative-decoding vllm 2026-03
LLM 추론을 극한까지 최적화하는 완전 가이드. KV Cache, Speculative Decoding, Continuous Batching, PagedAttention, FlashInfer, 멀티GPU 추론, 그리고 DeepSeek MLA까지 심층 분석합니다.
Published on
2026년 3월 17일
LLM, Tool Calling, Embedding 벤치마크 완전 분석: 각 벤치마크가 측정하는 것
llm benchmark mmlu mteb bfcl embedding tool-calling document-parsing
MMLU, HellaSwag, HumanEval, BFCL, MTEB 등 주요 AI 벤치마크들이 정확히 무엇을 측정하는지, 각 점수의 의미와 한계, 그리고 실제 활용 시 어떤 벤치마크를 참고해야 하는지 완전히 분석합니다.
Published on
2026년 3월 17일
딥러닝 모델 양자화 완전 정복: INT8, INT4, GPTQ, AWQ, GGUF 마스터하기
quantization model-compression gptq awq gguf deep-learning llm 2026-03
딥러닝 모델 양자화를 완전히 마스터하는 가이드. FP32에서 INT8, INT4까지의 양자화 원리, GPTQ, AWQ, GGUF, bitsandbytes, AutoGPTQ, llama.cpp까지 실전 예제로 완벽히 이해합니다.
Published on
2026년 3월 17일
오픈소스 LLM 생태계 완전 가이드: 2026년 모델, 도구, 배포 전략
open-source llm llama mistral gemma qwen ollama vllm huggingface fine-tuning 2026-03
2026년 오픈소스 LLM 생태계를 총망라한 가이드. 주요 모델 패밀리(Llama, Mistral, Gemma, Qwen, DeepSeek), 로컬 추론 도구(Ollama, llama.cpp, vLLM), 파인튜닝 기법(LoRA, QLoRA), 그리고 나만의 LLM을 운영하기 위한 실전 배포 전략을 다룹니다.
Published on
2026년 3월 17일
프롬프트 엔지니어링 완전 정복: CoT, DSPy, 구조화 출력, 프롬프트 보안까지
prompt-engineering chainofthought dspy llm 구조화출력 프롬프트보안 2026-03
Zero-shot부터 Chain-of-Thought, Tree-of-Thought, DSPy 자동 최적화, Pydantic 구조화 출력, 프롬프트 인젝션 방어까지 2026년 프롬프트 엔지니어링 완전 가이드입니다.
Published on
2026년 3월 17일
RAG 시스템 완전 정복: 검색 증강 생성의 모든 것
rag llm vector-database langchain embedding 2026-03
RAG(검색 증강 생성) 시스템을 완전히 마스터하는 가이드. 기본 RAG부터 고급 Self-RAG, Corrective-RAG, HyDE까지, 벡터 데이터베이스, 임베딩 모델, 청킹 전략, 리랭킹까지 실전 예제로 구축합니다.
Published on
2026년 3월 17일
딥러닝 추천 시스템 완전 가이드: 협업 필터링부터 LLM 기반 추천까지
recommendation-system collaborative-filtering deep-learning two-tower llm ai 2026-03
추천 시스템의 기초부터 최신 딥러닝 기법까지 완전 정복 가이드. 협업 필터링, Matrix Factorization, NCF, Two-Tower 모델, 시퀀스 추천, GNN 기반 추천, LLM 추천까지 실전 코드로 마스터합니다.
Published on
2026년 3월 17일
Torch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것
torch-titan distributed-training pytorch fsdp deep-learning llm 2026-03
PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.
Published on
2026년 3월 17일
LLM 처음부터 만들기: 코드로 이해하는 GPT 완전 구현 가이드
llm gpt transformer from-scratch deep-learning pytorch 2026-03
대규모 언어 모델(LLM)을 처음부터 직접 구현하며 완전히 이해하는 가이드. 토크나이저부터 Transformer 아키텍처, 사전학습, 파인튜닝까지 PyTorch로 작은 GPT를 완전히 구축합니다.
Published on
2026년 3월 17일
한국어 NLP와 LLM 완전 가이드: KoBERT, KLUE, HyperCLOVA, EXAONE 마스터하기
korean-nlp kobert klue hyperclova exaone nlp llm 2026-03
한국어 NLP와 LLM의 모든 것을 다루는 완전 가이드. KoBERT, KoELECTRA, KLUE 벤치마크, HyperCLOVA X, EXAONE, Llama 한국어 파인튜닝까지 실전 코드와 함께 한국어 AI 개발을 완벽히 마스터합니다.
Published on
2026년 3월 17일
LLM 애플리케이션 개발 실전 가이드: ChatGPT API, Claude API, Gemini API 마스터
llm openai claude gemini api application-development 2026-03
LLM API를 활용해 실제 애플리케이션을 개발하는 완전 실전 가이드. OpenAI, Anthropic Claude, Google Gemini API 활용법, 스트리밍, 함수 호출, 구조화된 출력, 비용 최적화, 그리고 프로덕션 베스트 프랙티스까지 상세히 다룹니다.
Published on
2026년 3월 17일
LLM 평가와 벤치마킹 완전 가이드: MMLU, MT-Bench, RAGAS, LM-Eval
llm evaluation benchmark ragas lm-eval 2026-03
LLM을 올바르게 평가하는 완전 가이드. MMLU, MT-Bench, HumanEval 같은 표준 벤치마크부터 RAGAS로 RAG 시스템 평가, LM-Evaluation-Harness 실전 사용, 그리고 프로덕션 LLM 평가 파이프라인까지 상세히 다룹니다.
Published on
2026년 3월 17일
LLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기
llm fine-tuning lora qlora rlhf dpo peft 2026-03
LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.
Published on
2026년 3월 17일
오픈소스 LLM 완전 정리: Llama 3, Mistral, DeepSeek, Qwen, Gemma 총정리
llm llama mistral deepseek qwen gemma open-source 2026-03
2024-2026년 오픈소스 LLM 생태계를 완전히 정리하는 가이드. Meta Llama 3, Mistral/Mixtral, DeepSeek V3/R1, Alibaba Qwen, Google Gemma, Microsoft Phi 시리즈를 아키텍처부터 성능, 라이선스, 활용 방법까지 상세히 비교합니다.
Published on
2026년 3월 17일
프롬프트 엔지니어링 완전 정복: Zero-shot부터 고급 기법까지
prompt-engineering llm chatgpt claude ai 2026-03
프롬프트 엔지니어링의 모든 기법을 완전히 마스터하는 가이드. Zero-shot, Few-shot, Chain-of-Thought, Tree of Thoughts, ReAct, Self-Consistency부터 시스템 프롬프트 설계까지 실전 예제로 배웁니다.
Published on
2026년 3월 16일
AI 에이전트 오케스트레이션 프레임워크 완전 가이드: LangGraph vs CrewAI vs AutoGen
ai ai-agent langchain llm framework 2026-03
2026년 AI 에이전트 오케스트레이션 프레임워크의 완전 비교 가이드. LangGraph, CrewAI, AutoGen, Dify의 특징, 아키텍처, 실제 사용 사례를 통해 프로젝트에 맞는 프레임워크 선택 방법을 배웁니다.
Published on
2026년 3월 16일
RAG 2.0: 기업 지식관리의 혁신 - 단순 챗봇을 넘어 지능형 조직 메모리로
rag llm enterprise knowledge-management vector-database ai 2026-03
RAG(검색 증강 생성)는 2026년 기업 인공지능의 핵심 기술로 진화했습니다. 하이브리드 검색, 지식 그래프 통합, 다중 모달 처리를 통해 조직 전체의 암묵적 지식을 명시적인 조직 메모리로 변환하며, 단순한 챗봇을 넘어 전략적 의사결정 도구로 활용되고 있습니다.
Published on
2026년 3월 15일
1M 컨텍스트 윈도우 시대의 LLM 활용 전략: 대규모 문맥 처리의 실전 가이드
ai-platform llm context-window long-context claude 2026-03
2026년 3월 Anthropic이 Claude Opus 4.6/Sonnet 4.6의 1M 토큰 컨텍스트 윈도우를 GA로 발표했다. 기존 128K~200K 제한에서 1M으로의 확장이 가져오는 활용 패러다임의 전환, 실전 활용 패턴 5가지, RAG 대비 트레이드오프, 비용 최적화 전략까지 종합 가이드를 제공한다.
Published on
2026년 3월 15일
BitNet 1-bit LLM 추론 프레임워크: CPU에서 대규모 언어 모델 실행하기
llm bitnet 1-bit-llm inference cpu-deployment model-efficiency 2026-03
Microsoft의 BitNet 프레임워크를 활용하여 GPU 없이 CPU만으로 대규모 언어 모델을 실행하는 방법을 분석합니다. 1-bit LLM의 원리, 기존 양자화와의 차이, 설치부터 배포까지의 실전 가이드를 다룹니다.
Published on
2026년 3월 14일
LLM 추론 최적화 완벽 가이드: vLLM, TensorRT-LLM, Speculative Decoding
llm inference-optimization vllm tensorrt-llm speculative-decoding kv-cache 2026-03
LLM 추론 성능을 극대화하는 핵심 기술인 vLLM, TensorRT-LLM, Speculative Decoding, KV Cache 최적화를 실전 코드와 벤치마크로 비교 분석합니다.
Published on
2026년 3월 14일
LLM 양자화(Quantization) 실전 가이드: GPTQ·AWQ·GGUF 포맷 비교와 정밀도-성능 트레이드오프
llm quantization gptq awq gguf model-compression 2026-03
LLM 양자화 기술의 핵심 원리부터 GPTQ, AWQ, GGUF, bitsandbytes NF4까지 주요 포맷을 비교 분석하고, 실전 코드와 벤치마크를 통해 프로덕션 환경에서의 최적 전략을 제시합니다.
Published on
2026년 3월 13일
RLHF에서 DPO까지: LLM 정렬(Alignment) 기술 논문 심층 분석
ai-papers rlhf dpo alignment ppo constitutional-ai llm
LLM 정렬 기술의 핵심 논문들을 심층 분석합니다. InstructGPT의 RLHF 파이프라인, Anthropic의 Constitutional AI, DPO의 수학적 기반, PPO 학습 안정성, 그리고 KTO/IPO/ORPO 등 최신 연구까지 체계적으로 비교하고 실무 적용 방안을 정리합니다.
Published on
2026년 3월 13일
Document Parsing 기술 가이드: PDF 파싱·OCR·레이아웃 분석·LLM 기반 문서 추출 실전 파이프라인
llm document-parsing pdf ocr layout-analysis rag 2026-03
PDF 파싱 라이브러리(PyMuPDF, pdfplumber) 비교, OCR 엔진(Tesseract, EasyOCR, PaddleOCR) 활용법, 레이아웃 분석 모델(LayoutLM, DiT, Donut), 테이블 추출, LLM 기반 멀티모달 문서 이해, RAG 청킹 전략, 프로덕션 파이프라인 구축까지 Document Parsing의 모든 것을 실전 코드와 함께 다룹니다.
Published on
2026년 3월 13일
임베딩 모델 완전 가이드: 벡터 검색·RAG·Sentence Transformers 실전 활용
llm embedding vector-search rag sentence-transformers semantic-search 2026-03
임베딩의 기본 개념부터 주요 모델 비교(OpenAI, Cohere, BGE, E5, GTE, Jina), Sentence Transformers 활용, 벡터 데이터베이스(Pinecone, Weaviate, Milvus, Chroma, FAISS) 인덱싱 전략, 유사도 검색, RAG 파이프라인 통합, 파인튜닝, MTEB 벤치마크 평가까지 임베딩 모델의 모든 것을 실전 코드와 함께 체계적으로 다룹니다.
Published on
2026년 3월 13일
LLM Fine-tuning 실전 가이드: LoRA, QLoRA, PEFT로 효율적 모델 적응
llm fine-tuning lora qlora peft instruction-tuning 2026-03
LLM Fine-tuning의 이론과 실전을 다룹니다. LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 기법, PEFT 라이브러리 활용법, 데이터셋 구성 전략, 하이퍼파라미터 튜닝까지 프로덕션 수준의 모델 적응 파이프라인을 구축합니다.
Published on
2026년 3월 12일
LLM 추론 서빙 프레임워크 비교: TensorRT-LLM vs vLLM vs SGLang 프로덕션 배포 전략
llm inference tensorrt-llm vllm sglang model-serving gpu 2026-03
LLM 추론 서빙 3대 프레임워크를 비교합니다. TensorRT-LLM의 하드웨어 최적화, vLLM의 PagedAttention과 프로덕션 스택, SGLang의 RadixAttention과 구조화 생성까지 벤치마크 데이터와 배포 코드로 최적의 선택을 안내합니다.
Published on
2026년 3월 12일
LLM 프롬프트 엔지니어링 고급 기법: Chain-of-Thought·Tree-of-Thought·ReAct·Few-Shot 패턴 실전 가이드
llm prompt-engineering chain-of-thought tree-of-thought react few-shot 2026-03
Zero-shot/Few-shot 프롬프팅의 기초부터 Chain-of-Thought(CoT), Self-Consistency, Tree-of-Thought(ToT), ReAct 패턴의 이론과 구현, 구조화된 출력 프롬프팅, 프롬프트 체이닝, 평가 메트릭, 일반적인 안티패턴, 프로덕션 최적화까지 LLM 프롬프트 엔지니어링의 고급 기법을 실전 코드와 함께 체계적으로 다룹니다.
Published on
2026년 3월 11일
LLM 파인튜닝 실전 가이드: LoRA·QLoRA·PEFT로 구현하는 효율적 도메인 적응
llm fine-tuning lora qlora peft 2026-03
LLM 파인튜닝의 핵심 기법인 LoRA의 저랭크 분해 원리, QLoRA의 4비트 양자화 파인튜닝, Hugging Face PEFT 라이브러리 활용법을 심층 분석. 데이터셋 준비, 하이퍼파라미터 튜닝, 평가 메트릭, Full Fine-tuning과의 비교, 실패 사례와 복구 절차, 프로덕션 체크리스트를 다룹니다.
Published on
2026년 3월 11일
RAG 파이프라인 프로덕션 구축 가이드: 벡터 DB 선택부터 청킹·리랭킹·평가까지
llm rag vector-database retrieval embedding 2026-03
RAG(Retrieval-Augmented Generation) 파이프라인의 프로덕션 구축을 체계적으로 다룹니다. 임베딩 모델 비교, 벡터 DB 선택(Pinecone·Milvus·Weaviate·Qdrant·Chroma), 청킹 전략, 하이브리드 검색, 리랭킹, RAGAS 평가 메트릭, 장애 대응까지 실전 운영 노하우를 제공합니다.
Published on
2026년 3월 10일
LLM 프롬프트 엔지니어링 고급 기법: Chain-of-Thought·ReAct·Tree of Thoughts 실전 적용
llm prompt-engineering chain-of-thought react-prompting tree-of-thoughts 2026-03
LLM 프롬프트 엔지니어링의 고급 기법을 체계적으로 다룹니다. Chain-of-Thought, Few-shot, ReAct, Self-Consistency, Tree of Thoughts 패턴의 원리와 구현 코드를 제공하고, 프로덕션 환경에서의 프롬프트 관리 전략과 평가 방법론을 설명합니다.
Published on
2026년 3월 9일
LLM Agent Framework 비교: AutoGen vs CrewAI vs LangGraph 실전 선택 가이드
llm agent-framework autogen crewai langgraph multi-agent 2026-03
LLM 에이전트 프레임워크 3종(AutoGen, CrewAI, LangGraph) 종합 비교 가이드. 아키텍처 설계 철학, 멀티 에이전트 오케스트레이션 패턴, 도구 통합, 메모리 관리, 프로덕션 배포 전략, 그리고 실전 선택 기준까지 코드 예제와 함께 다룹니다.
Published on
2026년 3월 9일
LLM 양자화 기법 비교 가이드 — GPTQ, AWQ, GGUF, bitsandbytes 실전 적용
llm quantization gptq awq gguf optimization 2026-03
LLM 양자화 기법인 GPTQ, AWQ, GGUF, bitsandbytes의 원리, 벤치마크 비교, 실전 적용 가이드를 정리합니다. 모델 선택부터 서빙까지의 전체 워크플로우를 다룹니다.
Published on
2026년 3월 8일
LLM 안전성과 Red Teaming 실전 가이드: 적대적 공격 방어부터 가드레일 구축까지
llm red-teaming safety guardrails prompt-injection security
LLM 시스템의 안전성을 확보하기 위한 Red Teaming 방법론과 방어 전략을 다룹니다. 프롬프트 인젝션, 탈옥 공격의 유형 분석부터 Llama Guard, NeMo Guardrails를 활용한 다층 방어 아키텍처 구축까지 실전 코드와 함께 안내합니다.
Published on
2026년 3월 8일
LLM 라우팅·캐스케이드 전략: 멀티 모델 오케스트레이션으로 비용 최적화
llm routing cascade model-orchestration cost-optimization multi-model 2026-03
LLM 라우팅과 캐스케이드 전략으로 비용을 최적화하는 방법을 다룹니다. 쿼리 복잡도 기반 라우팅, 모델 캐스케이드, 시맨틱 라우터, FrugalGPT 접근법부터 프로덕션 멀티 모델 오케스트레이션 아키텍처까지 구현합니다.
Published on
2026년 3월 7일
Forward Deployed Engineer 커리어 가이드: AI 시대에 가장 빠르게 성장하는 문제해결형 엔지니어 직무
ai-platform forward-deployed-engineer career llm enterprise-ai 2026-03
Forward Deployed Engineer(FDE)의 실제 역할, 일반 소프트웨어 엔지니어/솔루션 아키텍트와의 차이, 필요한 역량, 커리어 성장 경로, 90일 준비 로드맵을 최신 채용 공고와 업계 사례를 바탕으로 정리한다.
Published on
2026년 3월 7일
LLM 롱 컨텍스트 성능과 KV Cache 최적화 완전 가이드: MQA에서 Ring Attention까지
llm kv-cache long-context multi-query-attention grouped-query-attention paged-attention ring-attention transformer 2026-03
LLM의 롱 컨텍스트 처리를 가능하게 하는 KV Cache의 원리부터 메모리 소비 분석, MQA·GQA·PagedAttention·슬라이딩 윈도우·Ring Attention 등 최적화 기법, 모델별 컨텍스트 윈도우 비교, Needle-in-a-Haystack 벤치마크까지 실무 관점에서 포괄적으로 다룹니다.
Published on
2026년 3월 7일
RAG 품질 평가와 실패 패턴 분석: 검색 증강 생성의 진단과 개선
rag llm evaluation ragas deepeval hallucination vector-search 2026-03
RAG(Retrieval-Augmented Generation) 시스템의 품질을 체계적으로 평가하는 방법과 흔히 발생하는 실패 패턴들을 분석합니다. Retriever, Reranker, Generator 각 컴포넌트의 평가 지표부터 RAGAS, DeepEval 같은 프레임워크 비교, 그리고 실전 디버깅 워크플로우까지 다룹니다.
Published on
2026년 3월 7일
LLM 구조화된 출력과 Constrained Decoding 실전 가이드: JSON Schema부터 프로덕션 적용까지
llm structured-output constrained-decoding json-schema function-calling outlines 2026-03
LLM 구조화된 출력의 핵심 원리인 Constrained Decoding부터 JSON Schema 기반 출력 제어, Outlines·XGrammar·llguidance 엔진 비교, Function Calling 통합, 그리고 프로덕션 환경 적용 전략까지 다루는 실전 가이드.
Published on
2026년 3월 7일
vLLM 프로덕션 서빙 최적화 완전 가이드: PagedAttention부터 Kubernetes 배포까지
llm vllm paged-attention continuous-batching tensor-parallelism speculative-decoding model-serving kubernetes 2026-03
vLLM의 핵심 아키텍처인 PagedAttention부터 Continuous Batching, Tensor Parallelism, Speculative Decoding, Prefix Caching 등 최적화 기법, 상세 설정 가이드, TGI·TensorRT-LLM과의 성능 비교, Kubernetes 배포 패턴, 모니터링과 트러블슈팅까지 프로덕션 관점에서 포괄적으로 다룹니다.
Published on
2026년 3월 6일
LLM 양자화 기법 완벽 비교: GPTQ, AWQ, GGUF 실전 적용 가이드
llm quantization gptq awq gguf 2026-03
LLM 양자화의 핵심 원리부터 GPTQ, AWQ, GGUF, BitsAndBytes 기법을 비교 분석하고, vLLM·llama.cpp 환경에서의 실전 적용과 품질-성능 트레이드오프를 다룬다.
Published on
2026년 3월 6일
vLLM PagedAttention 기반 LLM 프로덕션 서빙 최적화와 추론 엔진 비교 가이드
llm vllm paged-attention model-serving 2026-03
vLLM의 PagedAttention 알고리즘부터 프로덕션 배포, 성능 튜닝, SGLang·TensorRT-LLM과의 비교, Kubernetes 연동까지 다루는 LLM 서빙 종합 가이드.
Published on
2026년 3월 5일
LLM 멀티모달 비전-언어 모델 서빙과 최적화 실전 가이드
llm multimodal vlm vllm 2026-03
비전-언어 모델(VLM)의 서빙 아키텍처 설계부터 vLLM 멀티모달 배포, 이미지 전처리 파이프라인, 양자화 최적화, 프로덕션 운영까지 실전 가이드.
Published on
2026년 3월 4일
AI Papers: Test-Time Scaling 핵심 논문 정리 — 추론 예산으로 성능을 끌어올리는 방법
ai-papers test-time-scaling reasoning inference llm best-of-n self-consistency
Test-Time Scaling(TTS)은 학습 파라미터를 늘리지 않고 추론 시점의 계산 예산을 늘려 성능을 높이는 접근이다. 이 글은 Best-of-N, Self-Consistency, Tree Search, Verifier/Reranker 기반 방법을 논문 맥락과 실무 적용 관점에서 정리한다.
Published on
2026년 3월 4일
LLM QLoRA 파인튜닝 운영 가이드: 비용, 품질, 배포
llm practical-guide production
LLM QLoRA 파인튜닝 운영 가이드: 비용, 품질, 배포를 중심으로 Why/How/When, 비교표, 트러블슈팅, 실전 코드, 퀴즈까지 한 번에 정리한 실무형 문서입니다.
Published on
2026년 3월 4일
LLM RAG 파이프라인: 청킹 전략과 임베딩 최적화 실전 2026
llm 2026-03
LLM RAG 파이프라인의 핵심인 청킹 전략과 임베딩 최적화를 실전 관점에서 다룬다. 고정 크기, 시맨틱, 재귀적 청킹 비교부터 임베딩 모델 선택, 벡터 DB 인덱싱, 검색 품질 메트릭까지.
Published on
2026년 3월 4일
LLM 서빙: Speculative Decoding 프로덕션 벤치마크 2026
llm 2026-03
LLM 서빙: Speculative Decoding 프로덕션 벤치마크 2026 주제로 Why, How, When, 비교표, 트러블슈팅, 코드 예시, 퀴즈를 포함한 실전 가이드.
Published on
2026년 3월 4일
LLM Speculative Decoding 서빙 최적화 플레이북
llm speculative-decoding 2026-03
LLM Speculative Decoding 서빙 최적화 플레이북 - 2026년 기준 실무 적용 가이드
Published on
2026년 3월 3일
Ray Serve로 구현하는 확장 가능한 LLM 서빙 파이프라인
ai-platform ray-serve model-serving llm mlops 2026-03
Ray Serve를 활용한 ML/LLM 모델 서빙의 핵심 개념부터 멀티모델 파이프라인, 오토스케일링, 배치 추론, 프로덕션 배포까지 코드 예제와 함께 다룹니다.
Published on
2026년 3월 3일
나만의 GPT 만들기 — nanoGPT로 처음부터 학습하는 언어 모델
ai llm gpt nanogpt transformer deep-learning from-scratch 2026-03
Andrej Karpathy의 nanoGPT를 활용해 GPT 언어 모델을 처음부터 학습합니다. Transformer 아키텍처의 핵심 원리, 토크나이저, Self-Attention, 학습 루프까지 코드와 함께 완전 해부합니다.
Published on
2026년 3월 3일
LLM 컨텍스트 윈도우 확장 기술 완벽 가이드: RoPE, ALiBi, YaRN부터 Ring Attention까지
llm context-window rope yarn positional-encoding 2026-03
LLM의 컨텍스트 윈도우를 512에서 2M 토큰까지 확장하는 기술을 분석합니다. RoPE의 수학적 원리부터 NTK-aware, YaRN, Ring Attention까지 실전 코드와 함께 다룹니다.
Published on
2026년 3월 3일
LLM Function Calling 완벽 가이드: Tool Use 패턴부터 프로덕션 설계까지
llm function-calling tool-use openai ai-agent 2026-03
LLM의 Function Calling(Tool Use) 메커니즘을 깊이 이해하고, OpenAI/Anthropic/오픈소스 모델에서의 구현 방법, 에러 처리, 병렬 호출, 프로덕션 설계 패턴을 실습합니다.
Published on
2026년 3월 3일
LLM Structured Output 실전 가이드 — JSON Mode, Tool Use, Pydantic 스키마 검증
llm structured-output json-mode openai anthropic 2026-03
OpenAI, Anthropic, Google의 Structured Output 방식을 비교하고, Pydantic 스키마 검증부터 프로덕션 파이프라인 구축까지 실전 코드로 다룹니다.
Published on
2026년 3월 3일
vLLM 완벽 가이드 — PagedAttention부터 프로덕션 최적화까지
llm vllm inference paged-attention model-serving 2026-03
vLLM의 핵심인 PagedAttention 메커니즘부터 Continuous Batching, Tensor/Pipeline Parallelism, Prefix Caching까지 LLM 추론 최적화의 모든 것을 다룹니다.
Published on
2026년 3월 2일
LangGraph 에이전트 워크플로우 실전 가이드: 멀티에이전트 오케스트레이션부터 프로덕션 배포까지
langgraph langchain ai-agent workflow multi-agent state-graph llm ai-platform orchestration tool-calling
LangGraph로 상태 기반 AI 에이전트 워크플로우를 구축한다. StateGraph, 조건부 라우팅, 멀티에이전트 오케스트레이션, Human-in-the-Loop, 그리고 LangGraph Platform 배포까지 실전 코드 포함.
Published on
2026년 3월 2일
RAG 챗봇 구축 실전 — LangChain + ChromaDB + OpenAI로 나만의 문서 QA 봇 만들기
rag langchain chromadb openai chatbot llm
LangChain과 ChromaDB, OpenAI를 활용하여 PDF 문서 기반 RAG 챗봇을 처음부터 구축하는 실전 가이드. 문서 로딩부터 벡터 저장, 프롬프트 설계, Streamlit UI까지 완성한다
Published on
2026년 3월 2일
LLM 파인튜닝 실전 — LoRA, QLoRA, PEFT로 나만의 모델 만들기
llm fine-tuning lora qlora peft huggingface
LLM 파인튜닝의 실전 가이드. LoRA의 수학적 원리부터 QLoRA로 소비자 GPU에서 대형 모델 학습, PEFT 라이브러리 활용법까지 코드 예제로 상세히 다룹니다.
Published on
2026년 3월 2일
Speculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지
llm speculative-decoding inference optimization vllm draft-model token-verification latency throughput model-serving
Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.
Published on
2026년 3월 1일
LoRA: 대규모 언어 모델의 효율적 파인튜닝 논문 분석
ai-papers lora fine-tuning llm peft
LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.
Published on
2026년 3월 1일
RAG: Retrieval-Augmented Generation 논문 분석과 실전 아키텍처
ai-papers rag llm vector-database langchain
RAG 논문의 핵심 개념을 분석하고, Chunking 전략, Vector DB 선택, Advanced RAG 패턴 등 프로덕션 레벨 RAG 시스템 설계를 정리한다.
Published on
2026년 3월 1일
LangChain 고급 패턴: LCEL과 LangGraph 완전 정복
langchain lcel langgraph llm ai
LangChain 공식 문서를 기반으로 LCEL(LangChain Expression Language)의 Runnable 인터페이스와 LangGraph의 StateGraph를 체계적으로 분석한다.
Published on
2026년 3월 1일
Google Antigravity 완전 분석: Agent-First IDE가 바꾸는 소프트웨어 개발의 미래
antigravity google agentic-ide gemini-3 ai-coding llm ai-agent
Google이 Gemini 3와 함께 발표한 Agent-First IDE "Antigravity"의 아키텍처, Agent Manager, Skills 시스템, 벤치마크 성능, 보안 이슈, 그리고 Cursor/Claude Code와의 비교를 심층 분석한다.
Published on
2026년 3월 1일
Claude Code 완벽 가이드: Anthropic의 AI 코딩 에이전트로 개발 생산성을 혁신하는 방법
claude-code anthropic ai-coding cli ai-agent llm developer-tools productivity vscode cursor
Anthropic의 공식 CLI 도구인 Claude Code의 설치부터 핵심 명령어, 슬래시 커맨드, MCP 서버 연동, 멀티 에이전트 아키텍처, IDE 통합, CLAUDE.md 활용법, 커스텀 훅까지 — AI 코딩 에이전트의 모든 기능을 실전 예제와 함께 완벽 정리한다.
Published on
2026년 3월 1일
LLM Agent 시스템 구축: Tool Use, Planning, Memory 완전 분석
llm ai-agent tool-use langgraph react
LangGraph와 Anthropic 공식 문서를 기반으로 LLM Agent의 핵심 개념인 Tool Use, Planning, Memory를 분석하고 실전 Agent를 구축한다.
Published on
2026년 3월 1일
LLM 추론 최적화: vLLM과 TensorRT-LLM 심층 분석
llm inference vllm tensorrt-llm optimization
vLLM과 TensorRT-LLM 공식 문서를 기반으로 PagedAttention, Continuous Batching, 양자화 등 LLM 추론 최적화 핵심 기술을 분석한다.
Published on
2026년 3월 1일
OpenAI Codex 완벽 분석: AI 코드 생성의 시작부터 클라우드 코딩 에이전트의 진화까지
codex openai code-generation github-copilot ai-coding llm ai-agent deep-learning ai-papers
OpenAI Codex의 원본 모델(GPT 기반 코드 생성)부터 GitHub Copilot과의 관계, 새로운 Codex 클라우드 코딩 에이전트의 아키텍처와 기능, 코드 생성 AI의 진화까지 — Codex의 모든 것을 기술적으로 심층 분석한다.
Published on
2026년 3월 1일
OpenClaw 완전 분석: GitHub 역사상 가장 빠르게 성장한 오픈소스 AI Agent의 아키텍처, 보안, 그리고 미래
openclaw ai-agent llm open-source automation mcp self-hosted
Clawdbot에서 OpenClaw로 진화한 오픈소스 자율형 AI Agent의 Gateway 아키텍처, Skills 생태계, 멀티채널 통합, 보안 이슈, 그리고 OpenAI 인수까지 기술적으로 심층 분석한다.
Published on
2026년 3월 1일
프로덕션 LLM 애플리케이션 아키텍처 설계 가이드
llm architecture production ai guardrails
프로덕션 LLM 애플리케이션의 핵심 아키텍처 레이어를 분석하고, Gateway, Guardrails, Caching, Observability 각 컴포넌트를 공식 문서 기반으로 정리한다.

Llm

llm (215)