Foundation-models

All Posts

Published on
2026년 5월 16일
파운데이션 모델 아키텍처 2026 — Transformer 이후 / Mamba 2 / Hyena / RWKV / RetNet / Griffin / Jamba / xLSTM / TTT / DiT / MoE / Flash Attention 3 심층 가이드
foundation-models transformer attention-is-all-you-need vaswani mamba state-space-model ssm albert-gu tri-dao mamba-2 hyena stanford-h2o linear-attention schmidhuber rwkv bo-peng retnet microsoft-retentive griffin deepmind-griffin s5 jamba ai21 falcon-mamba xlstm sepp-hochreiter test-time-training ttt sun-et-al dit diffusion-transformer sora-dit mixture-of-experts moe mixtral deepseek-v3-moe million-experts google-mome flash-attention-3 ring-attention gemini-2m magic-ltm-2-mini sakana-ai-evolutionary 2026 deep-dive
2026년 파운데이션 모델 세계는 더 이상 Transformer 일변도가 아니다. Vaswani의 2017년 "Attention is All You Need"는 여전히 표준이지만, 그 옆에 Mamba/Mamba 2 같은 상태공간 모델(SSM), RWKV/RetNet/Griffin 같은 선형 RNN 재발견 진영, AI21 Jamba와 Falcon Mamba 같은 하이브리드, Sepp Hochreiter의 xLSTM, Test-Time Training, Sora의 DiT, Mixtral/DeepSeek-V3 671B/Google Million Experts 같은 MoE, Flash Attention 3와 Ring Attention, 그리고 Gemini 2M/Magic LTM-2-mini 100M의 초장문 컨텍스트까지 — 어떤 아키텍처가 어떤 문제에 강한지, 한국과 일본 진영은 무엇을 만들고 있는지 한 번에 정리.
Published on
2026년 5월 16일
LLM 논문 큐레이션 2024-2026 - Llama · DeepSeek · Qwen · Mistral · Phi · RLHF · DPO · CoT · RAG · FlashAttention · vLLM 심층 가이드
llm papers llama deepseek qwen mistral phi rlhf dpo chain-of-thought rag flashattention vllm foundation-models mixture-of-experts
LLM을 만들고 운영하는 엔지니어를 위한 2024-2026 필독 논문 30+편 큐레이션. 파운데이션 모델(Llama 3/4, DeepSeek-V3/R1, Qwen3, Mistral, Phi-4, Gemma 3), 학습 혁신(MoE, MLA, GQA), 포스트-트레이닝(RLHF, DPO, ORPO, KTO), 추론(CoT, ToT, GRPO), 에이전트(ReAct, SWE-Agent), 검색(RAG, GraphRAG, ColBERT), 효율(FlashAttention 1/2/3, vLLM PagedAttention, SGLang), 평가(MMLU, GSM8K, SWE-Bench, OSWorld), 안전성, 한국·일본 모델까지 — 각 논문의 arXiv ID와 "왜 중요한지"를 한 단락으로 정리.
Published on
2026년 5월 16일
모던 Swift & Apple 개발 2026 완벽 가이드 - Swift 6 Strict Concurrency · SwiftData · Foundation Models · SwiftUI 5 · Vapor · TCA 심층 분석
swift swift-6 swiftdata foundation-models swiftui vapor tca apple-intelligence ios-development
2026년의 Swift는 더 이상 단순한 iOS 언어가 아니다. Swift 6.1은 strict concurrency를 기본으로 켜고, region-based isolation으로 데이터 레이스를 컴파일타임에 잡는다. SwiftData는 iOS 17에서 등장한 뒤 iOS 18의 History API와 composite key 지원으로 Core Data의 자리를 거의 차지했다. Foundation Models 프레임워크는 약 30억 파라미터의 온디바이스 LLM에 tool calling과 Guided Generation을 얹어 Apple Intelligence의 핵심이 됐다. 한편 서버에서는 Vapor 4·Hummingbird 2·AWS Lambda Swift가, 멀티플랫폼에서는 Skip(Swift→Android)과 Swift Wasm 6가 자라고 있다. Embedded Swift는 Raspberry Pi Pico와 ARM Cortex-M에서 malloc 없이 동작한다. 이 글은 Swift 6 동시성부터 SwiftUI 5 애니메이션·App Intents·Swift Testing·Swift Macros·SwiftPM 6·TCA 1.x까지, 2026년 Apple 개발자가 알아야 할 모든 것을 한 번에 정리한다.
Published on
2026년 5월 16일
비전-언어 모델(VLM) 2026 완벽 가이드 - CLIP · LLaVA · InternVL3 · Qwen2.5-VL · GPT-4o · Gemini 2.5 · Claude 4.7 · DINOv2 · SAM 2 · Florence-2 심층 분석
vision-language-models vlm clip llava internvl qwen-vl gpt-4o gemini claude dinov2 sam florence multimodal foundation-models
2026년 5월 기준 비전-언어 모델(VLM)의 모든 것을 한 글에 담는다. CLIP 계열(SigLIP, EVA-CLIP)부터 오픈 VLM(LLaVA-NeXT, InternVL3, Qwen2.5-VL, Pixtral, Molmo, Idefics3, MiniCPM-V), 폐쇄형(GPT-4o, Claude 4.7, Gemini 2.5), 비전 파운데이션(DINOv2/v3, SAM 2, Florence-2), 학습 레시피, 평가(MMMU, MathVista, ChartQA, DocVQA), OCR-centric VLM, 비디오 VLM, vLLM/SGLang 서빙, 그리고 한국·일본 VLM 씬까지 깊이 정리한다.

Foundation-models

foundation-models (4)

파운데이션 모델 아키텍처 2026 — Transformer 이후 / Mamba 2 / Hyena / RWKV / RetNet / Griffin / Jamba / xLSTM / TTT / DiT / MoE / Flash Attention 3 심층 가이드

LLM 논문 큐레이션 2024-2026 - Llama · DeepSeek · Qwen · Mistral · Phi · RLHF · DPO · CoT · RAG · FlashAttention · vLLM 심층 가이드

모던 Swift & Apple 개발 2026 완벽 가이드 - Swift 6 Strict Concurrency · SwiftData · Foundation Models · SwiftUI 5 · Vapor · TCA 심층 분석

비전-언어 모델(VLM) 2026 완벽 가이드 - CLIP · LLaVA · InternVL3 · Qwen2.5-VL · GPT-4o · Gemini 2.5 · Claude 4.7 · DINOv2 · SAM 2 · Florence-2 심층 분석