Ai-papers

All Posts

Published on
2026년 8월 12일
어텐션 변형 — MHA에서 MLA까지, KV 캐시는 어떻게 줄어드는가
ai-papers model-internals attention gqa mla kv-cache
MHA, MQA, GQA, MLA를 실제 config 값으로 비교합니다. Qwen3, Mixtral, GLM-4.5의 그룹 쿼리 어텐션과 DeepSeek-V3, Kimi K2의 잠재 어텐션이 토큰당 KV 캐시를 몇 배 줄이는지 공식과 숫자로 계산하고, 그 대가로 무엇을 내주는지 정리합니다.
Published on
2026년 8월 12일
config.json 완전 해부 — 설정 파일 한 장으로 모델 구조 읽기
ai-papers model-internals config-json transformer llm-architecture parameter-count
hidden_size, num_hidden_layers, num_attention_heads와 num_key_value_heads, head_dim, intermediate_size, rope_theta, vocab_size, tie_word_embeddings까지 config.json의 모든 필드가 메모리와 속도에 어떻게 나타나는지 설명하고, Qwen3-8B와 Mixtral-8x7B의 파라미터 수를 손으로 세어 공개된 텐서 수와 정확히 일치시키는 과정을 보여줍니다.
Published on
2026년 8월 12일
MoE 라우팅 — 전문가는 어떻게 뽑히는가
ai-papers model-internals mixture-of-experts moe routing load-balancing
전문가 혼합 계층의 config 필드를 실제 모델로 읽습니다. Mixtral의 8개 중 2개, Qwen3의 128개 중 8개, DeepSeek-V3의 256개 라우팅 전문가와 공유 전문가, Kimi K2의 희소도 48을 비교하고, 활성 파라미터와 전체 파라미터가 왜 다른 비용을 만드는지, 로드 밸런싱 손실과 보조 손실 없는 편향 방식이 무엇을 맞바꾸는지 정리합니다.
Published on
2026년 8월 12일
정규화와 활성화 — 학습을 무너뜨리지 않는 법
ai-papers model-internals rmsnorm swiglu training-stability qk-norm
RMSNorm과 프리노름, SwiGLU가 왜 지금의 표준이 되었는지 config 값으로 확인하고, Qwen3의 QK-Norm과 Kimi K2의 QK-Clip처럼 어텐션 로짓 폭주를 막는 최신 장치를 실제 리포트의 수치와 함께 정리합니다. 안정성을 위해 무엇을 추가하고 무엇을 감수하는지 다룹니다.
Published on
2026년 8월 12일
위치 인코딩 — RoPE와 컨텍스트 확장의 대가
ai-papers model-internals rope positional-encoding long-context yarn
rope_theta 하나가 문맥 길이에 어떻게 작용하는지 파장 계산으로 보여 주고, Llama 3의 500000, Qwen3의 ABF, DeepSeek-V3와 Kimi K2의 YaRN 설정, GLM-4.5의 부분 회전을 실제 config로 비교합니다. 긴 컨텍스트가 왜 공짜가 아닌지 프리필 연산량과 캐시 비용으로 정리합니다.
Published on
2026년 8월 12일
기술 리포트 비판적으로 읽기 — 무엇이 적히고 무엇이 빠지는가
ai-papers model-internals tech-report benchmarks evaluation reproducibility
모델 기술 리포트에서 검증 가능한 항목과 검증 불가능한 항목을 구분하는 법을 정리합니다. 자체 보고 벤치마크의 한계, config와 리포트가 어긋나는 지점, 게이트된 저장소에서 확인할 수 없는 값, 그리고 시리즈 전체에서 쓴 확인 절차를 실제 사례로 보여 줍니다.
Published on
2026년 8월 12일
토크나이저 내부 — 한국어가 토큰을 더 먹는 이유와 그 비용
ai-papers model-internals tokenizer bpe korean-nlp vocab-size
바이트 수준 BPE가 어떻게 동작하는지 설명하고, Qwen3와 DeepSeek-V3, Mixtral의 실제 토크나이저 파일을 내려받아 같은 뜻의 영어와 한국어 문장을 직접 토큰화해 비교합니다. 어휘 크기의 트레이드오프, config의 vocab_size와 실제 어휘 수가 다른 이유, 그리고 토큰 수가 비용과 문맥 창에 미치는 영향을 정리합니다.
Published on
2026년 8월 12일
학습 레시피 — 사전학습에서 후학습까지, 리포트는 무엇을 적는가
ai-papers model-internals pretraining training-recipe data-mixture long-context
Llama 3의 세 단계와 여섯 번의 컨텍스트 확장, Qwen3의 세 단계 사전학습, DeepSeek-V3의 학습률 스케줄과 두 단계 YaRN 확장, Kimi K2의 데이터 재작성 실험을 리포트에 적힌 그대로 비교하고, 학습 단계 기술을 읽는 법을 정리합니다.
Published on
2026년 8월 12일
리더보드와 벤치마크를 읽는 법 — SOTA는 왜 유통기한이 짧은가
ai-papers paper-review technical-report benchmark evaluation contamination llm-as-a-judge
벤치마크 방법론 논문 열두 편을 arXiv 원문 초록에서 직접 확인해, 리더보드 숫자를 어떻게 읽어야 하는지 정리했습니다. 데이터 오염, 프롬프트 형식 민감도, 평가 하네스 차이, 자체 보고, 리더보드의 표집 비대칭, LLM 심사자의 편향, 그리고 오차 막대를 붙이는 통계적 접근까지 다룹니다. 영역별 최신 기술 리포트 읽기 시리즈의 마지막 편이자, 앞선 다섯 편을 읽는 방법에 대한 안내입니다.
Published on
2026년 8월 12일
이미지 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 샘플 이미지 대신 설계를 읽기
ai-papers paper-review technical-report image-generation diffusion-transformer multimodal evaluation
이미지 생성과 이해 기술 리포트 열한 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. 정류 흐름 트랜스포머와 VAR, Emu3, SANA, Janus-Pro, FLUX.1 Kontext, Qwen-Image 계열, Seedream 4.0, Z-Image와 Mage-Flow, InternVL3, 그리고 평가 쪽 Qwen-Image-Bench까지 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않습니다. 영역별 최신 기술 리포트 읽기 시리즈 5편.
Published on
2026년 8월 12일
텍스트 LLM 기술 리포트, 무엇을 읽을 것인가 — 순위 대신 설계 결정 읽기
ai-papers paper-review technical-report llm moe reasoning evaluation
텍스트 LLM 기술 리포트 9편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. DeepSeek-V3와 DeepSeek-R1, Qwen3, Gemma 3, Olmo 3, Kimi K2, MiniMax-01, Mellum2, s1이 각각 무엇을 새로 했고 저자들이 어떤 한계를 스스로 밝혔는지 읽습니다. 모델 순위는 다루지 않습니다. 리더보드는 계속 바뀌고 리포트의 점수는 대부분 자체 보고이기 때문입니다. 영역별 최신 기술 리포트 읽기 시리즈 1편.
Published on
2026년 8월 12일
OCR·문서 이해 기술 리포트, 무엇을 읽을 것인가 — 파싱은 왜 아직 안 끝났나
ai-papers paper-review technical-report ocr document-ai vision-language-model evaluation
OCR과 문서 이해 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. Donut과 Nougat에서 GOT-OCR2.0, olmOCR, DeepSeek-OCR과 그 후속, GLM-OCR, Qianfan-OCR, MinerU2.5-Pro, HunyuanOCR-1.5까지 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않습니다. 문서 파싱 점수는 벤치마크 버전과 채점 방식에 특히 민감하기 때문입니다. 영역별 최신 기술 리포트 읽기 시리즈 2편.
Published on
2026년 8월 12일
음성 인식·합성 기술 리포트, 무엇을 읽을 것인가 — WER 한 숫자로는 안 보이는 것
ai-papers paper-review technical-report speech-recognition text-to-speech audio-language-model evaluation
음성 인식과 합성 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. Whisper와 Omnilingual ASR, Qwen3-ASR, Open ASR Leaderboard, Seed-TTS와 F5-TTS, CosyVoice 2, Qwen3-TTS, Fish Audio S2, Moshi, Qwen2.5-Omni와 MOSS-Audio가 각각 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위 대신 지연, 언어 커버리지, 스트리밍 제약을 봅니다. 영역별 최신 기술 리포트 읽기 시리즈 4편.
Published on
2026년 8월 12일
비디오 생성·이해 기술 리포트, 무엇을 읽을 것인가 — 데모가 아니라 제약을 읽기
ai-papers paper-review technical-report video-generation diffusion-transformer video-understanding evaluation
비디오 생성과 이해 기술 리포트 열 편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. CogVideoX, Movie Gen, HunyuanVideo, LTX-Video, Wan, Seedance 1.0과 2.0, 그리고 이해 쪽의 Qwen2.5-VL, VideoLLaMA 3, HY-Himmel까지 무엇을 새로 했고 저자들이 어떤 한계를 밝혔는지 읽습니다. 순위는 다루지 않고, 대신 길이·해상도·토큰 예산 같은 실제 제약을 봅니다. 영역별 최신 기술 리포트 읽기 시리즈 3편.
Published on
2026년 6월 30일
SOTA 자율주행 인식 분석 — BEV, Occupancy, 엔드투엔드
ai-papers autonomous-driving bev occupancy-network end-to-end perception
자율주행 인식의 최신 흐름을 정리합니다. 인식-예측-계획-제어 스택, BEV 멀티카메라 융합, occupancy network의 3D 점유 표현, 비전 중심 대 라이다 융합, 엔드투엔드 학습과 월드모델까지 아키텍처 원리를 살펴봅니다.
Published on
2026년 6월 30일
SOTA 이미지 생성 모델 분석 — 확산모델에서 FLUX까지
ai-papers diffusion-models text-to-image latent-diffusion rectified-flow diffusion-transformer flux
텍스트-이미지 생성의 최전선을 확산모델 원리부터 라텐트 확산, DiT, rectified flow, 그리고 FLUX 계열까지 계보 중심으로 정리합니다. 아키텍처 원리와 비교표, 다이어그램으로 SOTA 모델들의 공통 구조와 차이를 분석합니다.
Published on
2026년 6월 30일
SOTA 3D 비전 분석 — 단안 깊이와 3D 가우시안 스플래팅
ai-papers 3d-vision monocular-depth gaussian-splatting nerf depth-estimation computer-vision
3D 비전의 SOTA 흐름을 정리합니다. 단안 깊이 추정(상대·미터 깊이)과 Depth Anything 계열의 개념, 스테레오·MVS 개요, 그리고 NeRF에서 3D 가우시안 스플래팅으로 이어지는 실시간 렌더링의 발전을 표현·학습·응용 관점에서 아키텍처 원리 중심으로 살펴봅니다.
Published on
2026년 6월 30일
SOTA 음악·오디오 생성 분석 — 뉴럴 코덱과 생성 모델
ai-papers audio-generation music-generation neural-codec audio-language-model generative-ai
오디오 표현(파형·스펙트로그램·뉴럴 코덱)부터 오토리그레시브 오디오 언어모델과 확산 기반 오디오, 텍스트-음악 조건화까지 계보 중심으로 정리합니다. EnCodec, MusicGen, AudioLM 계열의 원리와 상용 모델, 평가·저작권 쟁점을 아키텍처 관점에서 분석합니다.
Published on
2026년 6월 30일
SOTA 실시간 비디오 분석 — 추적, 이해, 효율 추론
ai-papers video-understanding object-tracking sam2 action-recognition real-time computer-vision
실시간 비디오 분석의 SOTA 흐름을 정리합니다. 행동 인식·객체 추적·시간적 분할 같은 비디오 이해 과제, SAM 2 계열의 비디오 분할·추적 개념, 트랜스포머 기반 비디오 모델, 그리고 경량화·스트리밍을 통한 실시간 추론 최적화를 아키텍처 원리 중심으로 살펴봅니다.
Published on
2026년 6월 30일
SOTA 분할·검출 모델 분석 — SAM과 DETR, YOLO의 계보
ai-papers computer-vision object-detection segmentation sam detr yolo
객체 검출과 이미지 분할의 SOTA 계보를 정리합니다. 2단계 R-CNN에서 1단계 YOLO/SSD, 트랜스포머 기반 DETR로 이어지는 검출의 흐름과, 시맨틱·인스턴스·판옵틱 분할, 그리고 프롬프트 가능 분할을 연 Segment Anything(SAM)까지 아키텍처 원리 중심으로 살펴봅니다.
Published on
2026년 6월 30일
SOTA 음성 인식·합성 분석 — Whisper에서 코덱 언어모델까지
ai-papers speech-recognition text-to-speech whisper neural-codec audio-lm
음성 인식(ASR)과 음성 합성(TTS)의 최신 흐름을 정리합니다. HMM에서 CTC/어텐션, Whisper의 대규모 약지도 학습, 그리고 Tacotron에서 뉴럴 보코더와 코덱 언어모델까지 계보와 아키텍처 원리를 살펴봅니다.
Published on
2026년 6월 30일
SOTA 텍스트 임베딩 모델 분석 — 검색과 RAG의 심장
ai-papers embedding retrieval rag contrastive-learning mteb matryoshka
텍스트 임베딩은 검색과 RAG 시스템의 심장입니다. 대조학습과 InfoNCE, 이중 인코더, 하드 네거티브, E5/BGE/GTE 계열, Matryoshka 표현학습, MTEB 벤치마크까지 최신 임베딩 모델의 원리와 실무 적용을 정리합니다.
Published on
2026년 6월 30일
SOTA 비디오 생성 모델 분석 — 시공간 확산 트랜스포머
ai-papers video-generation diffusion-transformer spatiotemporal text-to-video generative-ai
비디오 생성의 근본 난제인 시간 일관성과 연산 비용을 시공간 라텐트 패치와 확산 트랜스포머 관점에서 정리합니다. Sora가 제시한 개념과 후속 모델 계열, 조건화·평가·물리 일관성 한계를 아키텍처 중심으로 분석합니다.
Published on
2026년 6월 29일
휴머노이드 전신 제어 — 두 발로 걷고 손으로 다루기
ai-papers robotics humanoid locomotion whole-body-control reinforcement-learning sim2real
휴머노이드 로봇이 두 발로 걷고 손으로 물건을 다루기까지, 이족보행 제어와 전신 제어(whole-body control)의 핵심 개념을 정리합니다. ZMP와 MPC, 강화학습 기반 로코모션, 균형과 낙상 회복, 보행과 조작의 통합, 그리고 시뮬레이션 학습을 실물로 옮기는 흐름을 다이어그램과 함께 살펴봅니다.
Published on
2026년 6월 29일
로봇은 어떻게 배우는가 — 모방학습과 강화학습
ai-papers robotics imitation-learning reinforcement-learning robot-learning vla
로봇이 기술을 습득하는 네 가지 방식을 개괄하고, 모방학습(텔레오퍼레이션·행동 복제·DAgger)과 강화학습(보상·정책·탐험)의 원리와 장단점, 데이터 효율의 차이, 그리고 두 접근을 결합하는 방법을 다이어그램과 비교표로 정리합니다.
Published on
2026년 6월 29일
로봇 파운데이션 모델 — 하나의 정책으로 여러 일을
ai-papers robotics foundation-model generalist-policy open-x-embodiment vla cross-embodiment
하나의 정책으로 여러 로봇, 여러 작업을 해내려는 로봇 파운데이션 모델의 흐름을 정리합니다. 제너럴리스트 정책의 개념, Open X-Embodiment 같은 대규모 로봇 데이터, 크로스 임바디먼트, VLA와의 관계, 스케일링 관점, 그리고 데이터·안전·평가라는 과제를 다이어그램과 함께 살펴봅니다.
Published on
2026년 6월 29일
사람 영상에서 배우는 로봇 — 웹 스케일 데이터의 꿈
ai-papers robotics imitation-learning representation-learning video vla
사람이 물건을 다루는 영상에서 로봇이 배울 수 있을까요. 어포던스와 궤적, 도메인 갭, 표현학습과 사전학습, 원샷 모방, 웹 비디오 스케일업, 그리고 로봇 데이터와의 결합까지 사례와 한계를 짚습니다.
Published on
2026년 6월 29일
로봇의 눈 — 3D 인식과 SLAM
ai-papers robotics slam 3d-perception pointcloud computer-vision depth
로봇이 세상을 어떻게 보는지 다룹니다. RGB-D·LiDAR·스테레오 센서, SLAM 파이프라인, 포인트클라우드와 복셀, 6D 자세 추정, 딥러닝 인식, 그리고 NeRF와 3D 가우시안까지 로봇 인식의 전체 그림을 코드와 다이어그램으로 살펴봅니다.
Published on
2026년 6월 29일
로봇 안전과 정렬 — 강력한 로봇을 신뢰하려면
ai-papers robotics safety alignment reinforcement-learning human-robot-interaction
점점 강력해지는 로봇을 어떻게 신뢰할 수 있을까요. 물리적 안전, 제약 강화학습과 안전층, 분포 이탈 대응, 사람-로봇 협업 안전, 검증과 표준, 그리고 임바디드 AI의 정렬 과제까지 균형 있게 살펴봅니다.
Published on
2026년 6월 29일
Sim-to-Real — 시뮬레이션에서 배운 것을 현실로
ai-papers robotics sim-to-real domain-randomization digital-twin simulation
시뮬레이션에서 학습한 로봇 정책이 현실에서 무너지는 이유(현실 격차)를 분석하고, 도메인 랜덤화·도메인 적응·시스템 식별·디지털 트윈 같은 대응 기법과, 촉각·마찰 등 재현이 어려운 물리, zero-shot 전이의 가능성과 한계를 다이어그램과 사례로 설명합니다.
Published on
2026년 6월 29일
촉각 센싱과 정교한 조작 — 로봇이 손끝으로 느끼다
ai-papers robotics tactile-sensing manipulation gelsight visuotactile sim2real
로봇이 손끝으로 세상을 느끼기 시작했습니다. 비전 기반 촉각 센서(GelSight류)와 전자피부, 촉각이 담당하는 미끄러짐·힘·재질 감지, 시각-촉각 융합, 정교한 인핸드 조작, 그리고 촉각 sim2real과 학습 방법을 다이어그램과 함께 정리합니다.
Published on
2026년 6월 29일
월드 모델 — 로봇이 미래를 상상하다
ai-papers robotics world-models model-based-rl planning video-prediction
월드 모델의 개념(환경 동역학을 학습하는 것)을 설명하고, 모델 기반 강화학습, 잠재 공간 예측, 비디오 예측·생성 모델의 로봇 응용, 상상 롤아웃과 MPC를 통한 계획, 그리고 보행·조작에의 적용과 한계를 다이어그램으로 정리합니다.
Published on
2026년 6월 27일
Diffusion Policy와 π0 — 부드러운 로봇 행동의 비밀
ai-papers robotics diffusion-policy pi0 flow-matching imitation-learning manipulation
이산 액션 토큰의 한계를 넘어, 행동을 연속값으로 생성하는 두 흐름을 살펴봅니다. Diffusion Policy는 행동을 디노이징으로 생성하고, π0는 flow-matching으로 고주파 연속 액션을 만듭니다. 두 접근의 아이디어, 아키텍처, 제어 주파수, 강점과 한계를 정리합니다.
Published on
2026년 6월 27일
휴머노이드를 위한 두 개의 뇌 — GR00T N1과 Helix
ai-papers robotics humanoid groot-n1 helix dual-system vla
휴머노이드 로봇을 위한 VLA는 빠른 반사와 느린 사고를 함께 갖춰야 합니다. NVIDIA GR00T N1과 Figure AI Helix를 중심으로, 빠른 저수준 제어(System 1)와 느린 계획(System 2)을 결합하는 듀얼 시스템 아키텍처, 학습 방식, 과제와 전망을 정리합니다.
Published on
2026년 6월 27일
로봇이 보고 듣고 움직이다 — VLA 모델 RT-2와 OpenVLA 리뷰
ai-papers robotics vla rt-2 openvla foundation-models manipulation
비전-언어-행동(VLA) 모델은 카메라 영상과 자연어 지시를 받아 로봇의 행동을 직접 출력합니다. RT-2, Open X-Embodiment, OpenVLA를 중심으로 VLA 패러다임의 아이디어, 아키텍처, 액션 토큰화, 강점과 한계를 정리합니다.
Published on
2026년 6월 26일
멀티모달 AI 학습법 — 여러 감각을 하나의 모델로
ai-papers multimodal clip vision-language contrastive-learning deep-learning
이미지·텍스트·오디오·비디오를 하나의 모델로 다루는 멀티모달 AI의 학습 원리를 정리합니다. 모달리티 정렬과 대조학습, 융합 방식, 공유 임베딩 공간, 사전학습과 파인튜닝, 데이터와 평가, 그리고 환각 같은 한계까지 학습 파이프라인을 코드와 함께 살펴봅니다.
Published on
2026년 6월 26일
OCR을 넘어서 — OCR-free 문서 이해와 통합 모델
ai-papers ocr-free document-understanding multimodal donut vision-language-model
전통적인 OCR 파이프라인은 검출-인식-레이아웃을 단계로 나누지만 오류가 누적됩니다. Donut류와 VLM 기반의 OCR-free 문서 이해, 고해상도와 표 처리, 통합 모델의 흐름까지 문서 AI의 전환을 정리합니다.
Published on
2026년 6월 16일
AI 하드웨어 최신 연구 동향 2026 — 논문으로 보는 미래
ai-papers ai-hardware photonics compute-in-memory low-precision neuromorphic research-trends
2026년의 AI 하드웨어 연구 흐름을 논문 단위로 훑어봅니다. 웨이퍼스케일과 포토닉스, 인메모리 컴퓨팅, FP4 저정밀 학습, 희소성과 MoE 하드웨어, 광 인터커넥트, 차세대 메모리, 뉴로모픽, 하드웨어-소프트웨어 공동설계까지 핵심 아이디어와 의의, 한계를 정리합니다.
Published on
2026년 5월 16일
LLM 랜드마크 논문 2026 완벽 가이드 - Transformer · Scaling Laws · Flash Attention · Mamba · DeepSeek-R1 · Titans 심층 분석
llm-papers transformer scaling-laws flash-attention mamba deepseek-r1 titans research ai-papers deep-dive
2017년 Attention Is All You Need에서 2026년 Titans와 DeepSeek-R1까지, LLM 시대를 만든 50여 편의 랜드마크 논문을 테마별로 정리한다. Transformer · BERT · GPT 시리즈 · Scaling Laws · Chinchilla · InstructGPT · PaLM · Flash Attention 1/2/3 · LLaMA 1/2/3/4 · GPT-4 · Mistral · Mixtral · DPO · KTO · ORPO · RWKV · Mamba 1/2 · DeepSeek-V3 · DeepSeek-R1 · o1 · Titans · TTT · Era of Experience · Tülu 3 · Sleeper Agents · Scaling Monosemanticity · Mixture of a Million Experts · RoPE · YARN · Ring Attention · GPTQ · AWQ · BitNet b1.58 · DDPM · DiT · MMR1까지, 각 논문의 기여와 영향을 1단락 단위로 정리하고 실제 arxiv URL을 함께 제공한다. PR12, Tunib 잎차이, 일본 Connpass 論文読み会, PFN 블로그 등 한일 리딩 그룹 자료까지 묶어 2026년 5월 기준 가장 압축된 LLM 논문 로드맵을 만든다.
Published on
2026년 3월 14일
Mixture of Experts(MoE) 아키텍처 논문 심층 분석: GShard에서 DeepSeek-MoE까지
ai-papers moe transformer deepseek
Mixture of Experts 아키텍처의 핵심 논문을 분석하고, GShard, Switch Transformer, Mixtral, DeepSeek-MoE의 라우팅 전략과 학습 안정성 기법을 비교합니다.
Published on
2026년 3월 13일
RLHF에서 DPO까지: LLM 정렬(Alignment) 기술 논문 심층 분석
ai-papers rlhf dpo alignment ppo constitutional-ai llm
LLM 정렬 기술의 핵심 논문들을 심층 분석합니다. InstructGPT의 RLHF 파이프라인, Anthropic의 Constitutional AI, DPO의 수학적 기반, PPO 학습 안정성, 그리고 KTO/IPO/ORPO 등 최신 연구까지 체계적으로 비교하고 실무 적용 방안을 정리합니다.
Published on
2026년 3월 12일
Diffusion Model 논문 서베이: DDPM에서 Stable Diffusion·DiT·SDXL까지 이미지 생성 모델의 진화
ai-papers diffusion-model ddpm stable-diffusion dit sdxl image-generation 2026-03
DDPM/DDIM의 확산-역확산 이론부터 Score-based 모델, Latent Diffusion(Stable Diffusion)의 VAE+U-Net 아키텍처, Classifier-free Guidance, DiT(Diffusion Transformer)의 adaLN-Zero, SDXL의 이중 텍스트 인코더와 Refiner 파이프라인, ControlNet의 조건부 제어, 학습 파이프라인, 추론 최적화까지 이미지 생성 모델의 진화를 종합적으로 서베이합니다.
Published on
2026년 3월 12일
RAG 논문 서베이: Retrieval-Augmented Generation의 진화 — RETRO에서 Self-RAG·Corrective-RAG까지
ai-papers rag self-rag corrective-rag retro nlp 2026-03
Retrieval-Augmented Generation(RAG) 연구의 진화를 논문 중심으로 추적합니다. 초기 RAG(Lewis et al.)부터 RETRO의 대규모 검색, Self-RAG의 자기 반성, Corrective-RAG의 검색 품질 평가까지 핵심 아키텍처와 벤치마크를 비교 분석합니다.
Published on
2026년 3월 11일
KV Cache 최적화 심층 분석: GQA·MLA·MHA 어텐션 메커니즘과 메모리 효율화 전략
ai-papers kv-cache attention-mechanism gqa mla transformer 2026-03
Transformer Self-Attention의 KV Cache 기본 원리부터 MHA, MQA, GQA(Llama 2/3), MLA(DeepSeek-V2/V3) 메커니즘의 메모리 분석과 비교, KV Cache 압축 기법(양자화, 퇴거 정책, 슬라이딩 윈도우), PagedAttention(vLLM) 구현, PyTorch 코드 예제, OOM 장애 사례와 최적화 체크리스트를 다룹니다.
Published on
2026년 3월 11일
Mixture of Experts(MoE) 아키텍처 심층 분석: Switch Transformer에서 Mixtral까지의 발전과 효율적 스케일링 전략
ai-papers moe switch-transformer mixtral model-architecture 2026-03
Mixture of Experts(MoE) 아키텍처의 핵심 원리부터 Switch Transformer의 단일 전문가 라우팅, Mixtral 8x7B의 Sparse MoE 구현, DeepSeek-MoE의 세분화 전략까지 심층 분석. 라우팅 메커니즘, 로드 밸런싱 손실, 학습 안정화 기법, 추론 최적화, 장애 사례와 체크리스트를 다룹니다.
Published on
2026년 3월 10일
Mixture of Experts(MoE) 아키텍처 심층 분석: Switch Transformer부터 Mixtral·DeepSeek까지
ai-papers moe transformer mixtral deepseek 2026-03
Mixture of Experts(MoE) 아키텍처를 심층 분석합니다. Sparse MoE의 수학적 기초부터 Switch Transformer, Mixtral 8x7B, DeepSeek-V3의 라우팅 전략, 학습 안정성 기법, 추론 최적화까지 논문 기반으로 상세히 다룹니다.
Published on
2026년 3월 9일
FlashAttention 논문 분석: IO-Aware Exact Attention으로 Transformer 학습·추론 속도 혁신
ai-papers flash-attention transformer gpu-optimization attention-mechanism 2026-03
FlashAttention 시리즈(v1~v3) 핵심 논문 분석. IO-Aware 알고리즘의 tiling 전략, GPU SRAM/HBM 메모리 계층 활용, 역전파 recomputation, FlashAttention-2의 병렬화 개선, FlashAttention-3의 FP8 지원과 비동기 파이프라이닝까지 실전 벤치마크와 함께 다룹니다.
Published on
2026년 3월 9일
DPO(Direct Preference Optimization) 논문 심층 분석 — RLHF 없이 LLM 정렬하기
ai-papers dpo rlhf llm-alignment preference-optimization 2026-03
DPO의 수학적 원리부터 구현, RLHF와의 비교, IPO/KTO/ORPO 변형까지 — LLM 선호도 최적화의 핵심을 실무 관점에서 심층 분석합니다.
Published on
2026년 3월 8일
KAN(Kolmogorov-Arnold Networks) 논문 분석: MLP를 대체하는 학습 가능한 활성화 함수 아키텍처
ai-papers kan kolmogorov-arnold neural-network mlp deep-learning 2026-03
Kolmogorov-Arnold Networks(KAN) 논문을 심층 분석합니다. Kolmogorov-Arnold 표현 정리의 수학적 배경, B-스플라인 활성화 함수, MLP 대비 정확도·해석가능성 비교, 그리고 실전 구현 코드를 다룹니다.
Published on
2026년 3월 8일
Ring Attention 논문 분석: 분산 환경에서 무한 컨텍스트 윈도우 트레이닝 구현
ai-papers ring-attention distributed-training long-context transformer sequence-parallelism 2026-03
Ring Attention 논문을 분석하고 분산 환경에서 컨텍스트 길이 제한을 극복하는 방법을 탐구합니다. Blockwise Parallel Transformer와의 연결, 구현 세부사항, 성능 벤치마크, 그리고 프로덕션 적용 시 고려사항까지 다룹니다.
Published on
2026년 3월 8일
AI/ML 논문 읽기에 필요한 수학 + LaTeX/KaTeX 총정리
ai-papers math latex katex linear-algebra calculus probability optimization machine-learning deep-learning 2026-03
AI/ML 논문을 읽을 때 반드시 만나는 수학 개념(선형대수·미적분·확률통계·최적화)과 LaTeX/KaTeX 수식 문법을 실전 예시 중심으로 총정리합니다. 기호 치트시트, 수식 패턴 해설, MDX 블로그 렌더링 팁까지 한 번에 다룹니다.
Published on
2026년 3월 7일
Mamba와 State Space Model 논문 심층 분석: 선택적 SSM부터 Mamba-2까지 Transformer 대안 아키텍처
ai-papers mamba state-space-model ssm transformer sequence-modeling 2026-03
Mamba 논문의 선택적 State Space Model 메커니즘, S4에서 Mamba-2로의 발전 과정, Transformer 대비 선형 시간 복잡도의 장단점, 그리고 비전·오디오·시계열 분야 적용 사례까지 다루는 SSM 아키텍처 종합 분석.
Published on
2026년 3월 6일
BitNet 논문 분석: 1-Bit LLM의 시대 — 삼진 가중치부터 CPU 추론까지
ai-papers bitnet 1-bit-llm quantization model-efficiency 2026-03
Microsoft Research의 BitNet 시리즈(v1, b1.58, a4.8, 2B4T) 논문을 분석하고, 삼진 가중치 학습 원리부터 bitnet.cpp 추론 프레임워크, 실전 벤치마크까지 다루는 종합 가이드.
Published on
2026년 3월 6일
Sparse Mixture of Experts(MoE) 아키텍처 심층 분석: 설계 원리부터 DeepSeek-V3·Qwen3까지
ai-papers moe sparse-model deepseek 2026-03
Sparse MoE 아키텍처의 수학적 원리, 라우팅 전략, 로드 밸런싱 기법을 분석하고, Switch Transformer에서 DeepSeek-V3·Qwen3-235B까지 최신 MoE 모델의 설계 선택과 실전 학습·추론 최적화를 다룬다.
Published on
2026년 3월 5일
DPO에서 KTO까지: 인간 피드백 정렬 기법 최신 논문 리뷰와 실전 구현
ai-papers dpo kto alignment 2026-03
RLHF의 한계를 극복한 DPO, IPO, KTO 등 최신 인간 피드백 정렬 기법의 논문 리뷰와 TRL 기반 실전 구현 가이드. 알고리즘 비교, 하이퍼파라미터 튜닝, 실패 사례까지.
Published on
2026년 3월 4일
AI 논문 읽기: Agentic Reasoning 구현 가이드 2026
ai-papers 2026-03
AI 논문 읽기: Agentic Reasoning 구현 가이드 2026 주제로 Why, How, When, 비교표, 트러블슈팅, 코드 예시, 퀴즈를 포함한 실전 가이드.
Published on
2026년 3월 4일
Mixture of Experts(MoE) 아키텍처 논문 리뷰와 실전 스케일링 2026
ai-papers 2026-03
Mixture of Experts(MoE) 아키텍처 핵심 논문 분석. Switch Transformer, GShard, ST-MoE, Mixtral까지 라우팅 메커니즘, 전문가 병렬화, 로드 밸런싱 전략을 실전 관점에서 정리한다.
Published on
2026년 3월 4일
AI Papers: Test-Time Scaling 핵심 논문 정리 — 추론 예산으로 성능을 끌어올리는 방법
ai-papers test-time-scaling reasoning inference llm best-of-n self-consistency
Test-Time Scaling(TTS)은 학습 파라미터를 늘리지 않고 추론 시점의 계산 예산을 늘려 성능을 높이는 접근이다. 이 글은 Best-of-N, Self-Consistency, Tree Search, Verifier/Reranker 기반 방법을 논문 맥락과 실무 적용 관점에서 정리한다.
Published on
2026년 3월 4일
Mamba vs Transformer 실무 비교: 논문에서 제품까지
ai-papers practical-guide production
Mamba vs Transformer 실무 비교: 논문에서 제품까지를 중심으로 Why/How/When, 비교표, 트러블슈팅, 실전 코드, 퀴즈까지 한 번에 정리한 실무형 문서입니다.
Published on
2026년 3월 3일
Diffusion Transformer(DiT) 아키텍처 분석: U-Net에서 Transformer로의 전환
ai-papers diffusion-transformer dit generative-ai image-generation 2026-03
Scalable Diffusion Models with Transformers(DiT) 논문을 분석합니다. U-Net 기반 디퓨전 모델의 한계를 넘어 Transformer 백본으로 전환한 배경, adaLN-Zero 조건화, 스케일링 법칙, SORA/DALL-E 3로의 영향까지 다룹니다.
Published on
2026년 3월 3일
Mixture of Experts(MoE) 아키텍처 완벽 분석
ai-papers moe mixtral deepseek 2026-03
Sparse MoE의 원리부터 Mixtral, DeepSeek-V3의 MoE 구현, routing 전략, load balancing까지 MoE 아키텍처를 완벽 분석합니다.
Published on
2026년 3월 3일
NeMo Guardrails 완벽 가이드: LLM 애플리케이션에 프로그래밍 가능한 안전장치 구축하기
ai-papers nemo-guardrails llm-safety nvidia guardrails 2026-03
NVIDIA NeMo Guardrails를 사용해 LLM 기반 애플리케이션에 입출력 모더레이션, 토픽 제어, 할루시네이션 감지 등 프로그래밍 가능한 안전장치를 구축하는 방법을 실습합니다.
Published on
2026년 3월 3일
RWKV: Reinventing RNNs for the Transformer Era — v4에서 v7 Goose까지
ai-papers rwkv rnn linear-attention state-space-model 2026-03
Transformer의 O(N²) 한계를 극복하는 RWKV 아키텍처를 분석합니다. Linear Attention과 RNN의 융합, 선택적 상태 공간 메커니즘, v7 Goose의 혁신까지 코드와 함께 살펴봅니다.
Published on
2026년 3월 3일
RWKV-7 "Goose" 아키텍처 분석 — Transformer를 넘어서는 선형 시간 모델
ai-papers rwkv linear-attention sequence-modeling 2026-03
RWKV-7 Goose의 Dynamic State Evolution 메커니즘, TC0 한계 돌파, Transformer 대비 성능 비교를 논문 기반으로 분석합니다. 상수 메모리 + 선형 시간 추론이 가능한 차세대 아키텍처입니다.
Published on
2026년 3월 2일
Mamba: Linear-Time Sequence Modeling with Selective State Spaces 논문 분석
ai-papers mamba ssm state-space-model transformer deep-learning
Transformer의 대안으로 주목받는 Mamba 아키텍처를 깊이 분석합니다. Selective State Space Model의 핵심 아이디어, 하드웨어 최적화 알고리즘, 실험 결과까지 논문의 주요 내용을 코드와 함께 살펴봅니다.
Published on
2026년 3월 1일
Attention Is All You Need - Transformer 논문 완전 분석
ai-papers transformer deep-learning attention
Transformer 아키텍처의 핵심인 "Attention Is All You Need" 논문을 Self-Attention, Multi-Head Attention, Positional Encoding 등 핵심 메커니즘을 하나씩 분석한다.
Published on
2026년 3월 1일
BERT 논문 완벽 분석: 양방향 Transformer가 NLP의 판도를 바꾼 방법
bert nlp transformer pre-training fine-tuning masked-language-model google ai-papers deep-learning
Google의 BERT 논문을 심층 분석한다. Masked Language Model(MLM)과 Next Sentence Prediction(NSP)을 통한 양방향 사전학습, Fine-tuning 전략, 그리고 11개 NLP 벤치마크를 석권한 아키텍처의 핵심 원리를 수식과 코드 예제로 정리한다.
Published on
2026년 3월 1일
DDPM 논문 완벽 분석: 노이즈에서 이미지를 만들어내는 확산 모델의 수학과 원리
ddpm diffusion-model generative-model score-matching stable-diffusion image-generation ai-papers deep-learning latent-diffusion
Ho et al.의 DDPM 논문을 심층 분석한다. Forward/Reverse diffusion process, 변분 하한(ELBO), 노이즈 스케줄링, 단순화된 학습 목표(simplified objective)를 수식으로 유도하고, DDIM, Latent Diffusion, Stable Diffusion으로의 진화까지 총정리한다.
Published on
2026년 3월 1일
FlashAttention: GPU 메모리 계층을 활용한 어텐션 최적화 분석
ai-papers flash-attention gpu optimization transformer
FlashAttention 논문을 리뷰하고, GPU HBM/SRAM 메모리 계층을 활용한 IO-aware 어텐션 최적화 원리를 상세 분석한다.
Published on
2026년 3월 1일
GAN 논문 완벽 분석: 생성적 적대 신경망이 열어젖힌 AI 생성 모델의 시대
gan generative-model adversarial-training deep-learning image-generation ai-papers dcgan stylegan wasserstein
Ian Goodfellow의 GAN 원본 논문부터 DCGAN, WGAN, Progressive GAN, StyleGAN까지 — 생성적 적대 신경망의 핵심 이론인 minimax 게임, Nash 균형, 학습 불안정성 해결법을 수식과 함께 분석하고, GAN 계보의 진화를 총정리한다.
Published on
2026년 3월 1일
GPT 시리즈 논문 완벽 분석: GPT-1부터 GPT-4까지, 언어 모델이 세상을 바꾸기까지의 여정
gpt openai language-model transformer pre-training rlhf instruction-tuning scaling-law ai-papers deep-learning
OpenAI의 GPT 시리즈를 세대별로 완벽 분석한다. GPT-1의 비지도 사전학습, GPT-2의 Zero-shot 학습, GPT-3의 In-context Learning과 Scaling Law, InstructGPT의 RLHF, GPT-4의 멀티모달까지 — 각 논문의 핵심 기여와 아키텍처 진화를 수식과 함께 정리한다.
Published on
2026년 3월 1일
LoRA: 대규모 언어 모델의 효율적 파인튜닝 논문 분석
ai-papers lora fine-tuning llm peft
LoRA(Low-Rank Adaptation) 논문의 핵심 원리를 수학적으로 분석하고, HuggingFace PEFT를 활용한 실전 적용법을 정리한다.
Published on
2026년 3월 1일
RAG: Retrieval-Augmented Generation 논문 분석과 실전 아키텍처
ai-papers rag llm vector-database langchain
RAG 논문의 핵심 개념을 분석하고, Chunking 전략, Vector DB 선택, Advanced RAG 패턴 등 프로덕션 레벨 RAG 시스템 설계를 정리한다.
Published on
2026년 3월 1일
강화학습(Reinforcement Learning) 완벽 가이드: 이론부터 최신 알고리즘, 실전 구현까지
reinforcement-learning deep-learning dqn ppo rlhf a3c q-learning policy-gradient ai-papers alphago
강화학습의 핵심 이론인 MDP, Bellman 방정식부터 Q-Learning, DQN, Policy Gradient, A3C, PPO, SAC까지 주요 알고리즘을 수식으로 유도하고, RLHF, AlphaGo, 로보틱스 응용 사례와 PyTorch 구현 예제를 총정리한다.
Published on
2026년 3월 1일
ResNet 논문 완벽 분석: 잔차 연결(Residual Connection)이 딥러닝의 깊이 한계를 돌파한 방법
resnet residual-learning cnn computer-vision image-classification deep-learning ai-papers skip-connection batch-normalization
Microsoft의 ResNet 논문을 심층 분석한다. Degradation 문제의 발견, Skip Connection의 수학적 원리, Bottleneck 구조, ImageNet ILSVRC 2015 우승 아키텍처를 수식과 코드로 정리하고 ResNet이 현대 딥러닝에 미친 영향을 조망한다.
Published on
2026년 3월 1일
Segment Anything Model 완전 정복: SAM 1 → SAM 2 → SAM 3 논문 분석과 실전 가이드
sam segment-anything computer-vision image-segmentation video-segmentation meta-ai ai-papers deep-learning promptable-segmentation zero-shot foundation-model sam2 sam3
Meta AI의 Segment Anything Model(SAM) 시리즈를 완전 정복한다. SAM 1(이미지 프롬프터블 세그멘테이션), SAM 2(비디오 실시간 세그멘테이션), SAM 3(개념 인식 세그멘테이션)까지 아키텍처, 데이터셋, 핵심 혁신, 성능 벤치마크, 그리고 설치·실행 방법을 총정리한다.
Published on
2026년 3월 1일
Vision Transformer(ViT) 논문 완벽 분석: 이미지 한 장은 16x16 단어의 가치가 있다
vit vision-transformer computer-vision transformer image-classification patch-embedding ai-papers deep-learning self-attention
Google의 ViT 논문을 심층 분석한다. 이미지를 패치 시퀀스로 변환하는 혁신적 접근, Patch Embedding과 Position Embedding의 원리, CNN 대비 성능과 데이터 효율성 트레이드오프, 그리고 DeiT, Swin Transformer, BEiT 등 후속 연구까지 총정리한다.
Published on
2026년 3월 1일
OpenAI Codex 완벽 분석: AI 코드 생성의 시작부터 클라우드 코딩 에이전트의 진화까지
codex openai code-generation github-copilot ai-coding llm ai-agent deep-learning ai-papers
OpenAI Codex의 원본 모델(GPT 기반 코드 생성)부터 GitHub Copilot과의 관계, 새로운 Codex 클라우드 코딩 에이전트의 아키텍처와 기능, 코드 생성 AI의 진화까지 — Codex의 모든 것을 기술적으로 심층 분석한다.

Ai-papers

ai-papers (78)