Positional-encoding

All Posts

Published on
2026년 6월 26일
위치 인코딩 완전 이해 — 사인파에서 RoPE까지
llm positional-encoding rope alibi long-context transformer
왜 Transformer에 위치 정보가 필요한지부터 시작해 sinusoidal, learned, 상대 위치 인코딩, 그리고 RoPE와 ALiBi를 단계적으로 설명합니다. 길이 외삽과 컨텍스트 확장(NTK, YaRN), 멀티모달의 M-RoPE까지 연결하고 흔한 함정을 정리합니다.
Published on
2026년 6월 26일
Transformer 구조 완전 해부 — Attention부터 KV Cache까지
llm transformer attention positional-encoding kv-cache self-attention
Transformer의 self-attention, 멀티헤드, 위치 인코딩, FFN, 잔차 연결과 정규화를 처음부터 분해해 설명합니다. 텐서 shape와 파라미터 수 계산, causal mask, 인코더/디코더 구조, 그리고 추론 단계의 KV cache까지 연결해 전체 그림을 그립니다.
Published on
2026년 4월 15일
Transformer 아키텍처 완전 가이드 2025: Self-Attention, Positional Encoding, Multi-Head, GPT vs BERT — ChatGPT 뒤의 수학
transformer attention self-attention gpt bert neural-network llm deep-learning positional-encoding multi-head-attention
ChatGPT, Claude, Gemini의 공통 기반인 Transformer를 완전 분석. Attention 메커니즘, positional encoding, multi-head, encoder vs decoder, GPT와 BERT의 차이까지 — Transformer의 모든 것을 720줄로 수학과 함께 파헤친다.
Published on
2026년 3월 3일
LLM 컨텍스트 윈도우 확장 기술 완벽 가이드: RoPE, ALiBi, YaRN부터 Ring Attention까지
llm context-window rope yarn positional-encoding 2026-03
LLM의 컨텍스트 윈도우를 512에서 2M 토큰까지 확장하는 기술을 분석합니다. RoPE의 수학적 원리부터 NTK-aware, YaRN, Ring Attention까지 실전 코드와 함께 다룹니다.

Positional-encoding

positional-encoding (4)

위치 인코딩 완전 이해 — 사인파에서 RoPE까지

Transformer 구조 완전 해부 — Attention부터 KV Cache까지

Transformer 아키텍처 완전 가이드 2025: Self-Attention, Positional Encoding, Multi-Head, GPT vs BERT — ChatGPT 뒤의 수학

LLM 컨텍스트 윈도우 확장 기술 완벽 가이드: RoPE, ALiBi, YaRN부터 Ring Attention까지