Cuda

All Posts

Published on
2026년 7월 16일
Rust 1.97이 Volta 이전 GPU를 잘라냈다 — nvptx64 베이스라인 상향의 내막
rust cuda gpu compiler nvidia
Rust 1.97(2026년 7월 9일)은 nvptx64-nvidia-cuda 타깃의 최소 사양을 PTX ISA 7.0(CUDA 11 드라이버 이상)과 SM 7.0(Volta 이상)으로 올렸습니다. Maxwell·Pascal 세대 GPU와 CUDA 10 이하 드라이버는 이제 대상이 아닙니다. 이 글은 실제로 바뀐 숫자, 컴파일러 팀이 근거로 든 세 개의 구체적인 결함(디버그 심볼·아토믹 순서·target-feature 메커니즘), 누가 깨지고 무엇을 해야 하는지, 그리고 이 조용한 한 줄이 왜 2026년 Rust-on-GPU 지형에서 의미가 있는지를 정리합니다. 정직한 결론도 담았습니다 — nvptx64는 여전히 Tier 2에 nightly가 필요한 no_std 타깃이고, NVIDIA가 내놓은 cuda-oxide조차 스스로를 알파라고 부릅니다. 대부분의 사람은 아직 Rust로 GPU 커널을 짤 때가 아닙니다.
Published on
2026년 7월 11일
확산 LLM이 CUDA 커널을 쓴다 — DICE와 왜 병렬 생성이 도움이 되는가
ai llm diffusion cuda gpu
DICE는 2026년 2월 프리프린트로, 확산(diffusion) 대규모 언어 모델이 CUDA 커널 생성에서 같은 규모의 자기회귀(autoregressive) 모델을 능가하고 새로운 최고 성능(SOTA)을 세웠다고 주장합니다. 핵심 아이디어는 토큰을 왼쪽에서 오른쪽으로 하나씩 쓰는 대신, 전체 시퀀스를 병렬로 생성하고 어느 위치든 비순차적으로 고쳐 쓸 수 있다는 것 — 전역 구조가 중요한 코드 과제에 잘 맞을 법한 성질입니다. 저자들은 CuKe라는 SFT 데이터셋과 2단계 강화학습(BiC-RL)으로 1.7B·4B·8B 모델을 학습해 KernelBench에서 평가했습니다. 다만 이 글의 모든 정량 표현은 동료평가 전 프리프린트의 저자 주장이며, 초록에는 구체적 수치가 없고 SOTA도 독립 검증된 값이 아닙니다. 검증 가능한 과제라서 잘 통했을 가능성과 커널 밖으로 일반화될지가, 이 결과를 읽는 두 개의 열쇠입니다.
Published on
2026년 6월 27일
CUDA 아키텍처 시각화 — 스레드부터 텐서코어까지
cuda gpu tensor-core warp memory-hierarchy nvidia
CUDA의 실행 모델과 GPU 하드웨어 구조를 다이어그램으로 한눈에 정리합니다. 그리드·블록·워프·스레드 계층, SM 내부 구조, 메모리 계층, 워프 스케줄링과 점유율, 텐서코어, 스트림까지 핵심 개념을 그림과 커널 예제로 살펴봅니다.
Published on
2026년 6월 16일
GPU vs TPU vs ASIC — 2026 추론 전쟁
gpu tpu asic inference ai-hardware compiler cuda
2026년 추론 워크로드를 두고 벌어지는 GPU·TPU·ASIC의 경쟁을 비교합니다. Google TPU v6 Trillium과 Ironwood, 급성장하는 클라우드 자체 추론 ASIC, 처리량·지연·비용·전력 트레이드오프, 그리고 CUDA와 XLA로 갈라지는 컴파일러 스택까지 다룹니다.
Published on
2026년 5월 16일
분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리
distributed-training deepspeed fsdp megatron-lm ray jax lightning accelerate torchtitan cuda nccl blackwell tpu llm-training gpu-infrastructure
DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp4 정밀도, NCCL 튜닝, 체크포인팅, 실패 복구까지 LLM 학습 인프라 2026년 현재형.
Published on
2026년 4월 15일
CUDA GPU 프로그래밍 모델 Deep Dive — SIMT, 메모리 계층, Tensor Core, 커널 최적화 완전 정복 (2025)
cuda gpu nvidia ai machine-learning parallel-computing tensor-core systems
ChatGPT, Stable Diffusion, Sora를 돌리는 엔진, NVIDIA GPU와 CUDA. 이 글은 CUDA 프로그래밍 모델을 처음부터 해부합니다. GPU 하드웨어 아키텍처(SM, Warp, CUDA Core), SIMT vs SIMD, 스레드 계층(Grid/Block/Thread), 메모리 계층(Global/Shared/Constant/Register), Memory Coalescing이 왜 최우선 최적화인지, Warp Divergence, Shared Memory Bank Conflict, Tensor Core가 2017년 GPU를 AI 가속기로 만든 이유, Stream과 CUDA Graph, 멀티 GPU(NCCL, P2P), Triton과 cutlass로의 추상화, 그리고 CUDA vs ROCm/SYCL/Metal 비교까지 — AI 인프라의 기반을 제대로 이해하고 싶은 엔지니어를 위한 종합 가이드입니다.
Published on
2026년 4월 15일
FlashAttention & Efficient Attention Deep Dive — Tiling, Online Softmax, PagedAttention, GQA 완전 정복 (2025)
flashattention attention llm transformer gpu cuda inference machine-learning
LLaMA 3, GPT-4, Claude 같은 대형 모델을 효율적으로 훈련하고 서빙 가능하게 만든 핵심 최적화, FlashAttention과 그 후속 기법들. 이 글은 efficient attention을 처음부터 해부합니다. Naive attention의 O(N²) 메모리 문제, Tri Dao의 2022년 IO-aware 통찰, Tiling과 Online Softmax, SRAM vs HBM 활용, FlashAttention-2/3의 진화, PagedAttention(vLLM)이 KV cache를 OS 가상 메모리처럼 다룬 이유, Multi-Query/Grouped-Query Attention, Sliding Window, Ring Attention까지 — 현대 LLM 인프라의 성능 비밀을 제대로 이해하고 싶은 엔지니어를 위한 종합 가이드입니다.
Published on
2026년 4월 11일
반도체 심화 — CPU, GPU, RAM, ASIC, CUDA 구조 완전 가이드
ai semiconductor cpu gpu cuda asic ram hardware 2026-04
CPU는 어떻게 명령어를 실행하고, RAM은 어떻게 데이터를 저장하며, GPU/CUDA는 왜 AI에 필수인가? 반도체의 원리부터 ASIC 주문형 반도체까지 깊이 파헤칩니다.
Published on
2026년 3월 23일
GPU Software Engineer 합격 가이드: CUDA 아키텍처부터 vGPU/MIG, InfiniBand, K8s GPU 스케줄링까지 시스템 최적화 완전 정복
gpu cuda system-software virtualization vgpu mig infiniband rdma kubernetes gpu-scheduling performance-optimization lg-uplus career 2026-03
LG유플러스 GPU Software Engineer JD를 완전 분석합니다. GPU 연산 구조, 메모리 계층, CUDA 프로그래밍, vGPU/MIG 가상화, InfiniBand/RDMA 네트워킹, K8s GPU Device Plugin, 대규모 클러스터 최적화까지 — 희소한 GPU 시스템 엔지니어가 되기 위한 딥다이브 + 면접 질문 30선 + 10개월 학습 로드맵.
Published on
2026년 3월 18일
NVIDIA GPU와 CUDA 완전 해부: 왜 GPU가 AI를 지배하는가
cuda gpu nvidia 행렬연산 병렬컴퓨팅 LLM서빙 딥러닝 hpc
H100 스펙부터 Tensor Core WMMA API까지. SIMT 실행 모델, 공유 메모리 타일링, Warp divergence를 실제 CUDA 코드와 함께 완전 해부한다.
Published on
2026년 3월 17일
CUDA GPU 프로그래밍 심화: Warp 최적화, Tensor Core, Triton 커널 작성까지
cuda gpu-programming tensorcore triton flash-attention nccl 2026-03
CUDA 메모리 계층, Warp 최적화, Tensor Core WMMA API, Flash Attention 구현, Triton 커스텀 커널 작성까지 AI 모델 학습 가속화를 위한 GPU 프로그래밍 심화 가이드입니다.
Published on
2026년 3월 17일
CUDA 프로그래밍 완전 정복: GPU 병렬 컴퓨팅 Zero to Hero
cuda gpu gpu-cuda parallel-computing nvidia deep-learning 2026-03
CUDA 프로그래밍의 기초부터 고급 최적화까지 완전히 마스터하는 가이드. GPU 아키텍처 이해, 커널 작성, 메모리 최적화, 혼합 정밀도 학습, cuDNN/cuBLAS 활용까지 실전 예제와 함께 배웁니다.
Published on
2026년 3월 17일
AI를 위한 GPU 하드웨어 완전 가이드: 아키텍처부터 선택 기준까지
gpu hardware nvidia cuda gpu-cuda ai-infrastructure 2026-03
AI 연구와 학습을 위한 GPU 하드웨어 완전 가이드. NVIDIA GPU 아키텍처(Hopper, Blackwell), Tensor Core, NVLink, HBM 메모리, A100/H100/H200/B200 비교, 클라우드 GPU 옵션까지 상세히 다룹니다.
Published on
2026년 3월 1일
자율주행/로보틱스 기술 스택 완전 정복: C++, ROS2, CUDA, TensorRT부터 VLM/VLA, 시뮬레이션까지
autonomous-driving robotics ros2 cuda tensorrt self-driving computer-vision sensor-fusion vla vlm carla simulation cpp deep-learning
자율주행과 로보틱스의 핵심 기술 스택을 총정리한다. Modern C++, ROS/ROS2, CUDA 병렬 프로그래밍, TensorRT 최적화, 모델 경량화(양자화/프루닝), 센서 퓨전(GPS/IMU/카메라/LiDAR), VLM/VLA 모델, SIL/HIL 테스팅, 시뮬레이션(CARLA/Isaac Sim), 자율주행 풀 스택, VR/AR 디지털 트윈, 클라우드 인프라까지 13개 핵심 영역을 실전 관점에서 정리한다.
Published on
2026년 3월 1일
CUDA Hands-on 완벽 가이드: GPU 컴퓨팅의 모든 것
cuda gpu nvidia deep-learning machine-learning python pytorch hpc parallel-computing devops
NVIDIA CUDA의 기초 개념부터 GPU 아키텍처, C/C++ 커널 프로그래밍, 메모리 최적화, Python 연동(PyTorch, Numba, CuPy), Multi-GPU 학습, 프로파일링, 트러블슈팅까지 실전 중심으로 다루는 종합 가이드.
Published on
2026년 3월 1일
Slurm 완전 정복: HPC/AI 클러스터 워크로드 매니저 실전 가이드
slurm hpc gpu distributed-training cluster job-scheduler cuda pytorch deepspeed tensorrt mlops ai-infrastructure
Slurm 워크로드 매니저를 완전 정복한다. 아키텍처(slurmctld/slurmd/slurmdbd), 핵심 개념(파티션/QoS/Fairshare), 필수 명령어(sbatch/srun/salloc), GPU 스케줄링(GRES/MIG/MPS), 다중 노드 분산 학습(PyTorch DDP/DeepSpeed/Horovod), 컨테이너 통합(Singularity/Enroot+Pyxis), 설정·모니터링·트러블슈팅까지 실전 관점에서 총정리한다.
Published on
2026년 3월 1일
GPU 메모리 최적화와 Mixed Precision Training 완전 가이드
gpu cuda mixed-precision optimization deep-learning
NVIDIA 공식 문서 기반으로 GPU 메모리 구성 요소를 분석하고, Mixed Precision Training, Gradient Checkpointing 등 메모리 최적화 기법을 정리한다.
Published on
2026년 3월 1일
CUDA 프로그래밍 기초: GPU 병렬 컴퓨팅 완전 가이드
gpu cuda parallel-computing nvidia
NVIDIA 공식 문서 기반으로 CUDA 프로그래밍의 핵심 개념인 Thread 계층 구조, 메모리 모델, Kernel 작성법을 체계적으로 분석한다.
Published on
2026년 3월 1일
Multi-GPU 분산 학습 완전 가이드: DDP, FSDP, DeepSpeed
gpu cuda distributed-training deep-learning pytorch
PyTorch 공식 문서 기반으로 Multi-GPU 분산 학습의 핵심인 DDP, FSDP, DeepSpeed ZeRO를 체계적으로 분석하고 실전 설정법을 정리한다.
Published on
2026년 3월 1일
NVIDIA GPU Operator 완벽 가이드: 구성요소, 설치, KubeVirt GPU 패스스루까지 총정리
gpu-operator nvidia kubernetes kubevirt gpu virtualization vgpu device-plugin mig cuda deep-learning mlops
NVIDIA GPU Operator의 아키텍처와 7대 핵심 구성요소(Driver, Container Toolkit, Device Plugin, DCGM, MIG Manager, Node Feature Discovery, GFD)의 역할을 상세히 분석하고, Helm 기반 설치, KubeVirt와의 GPU/vGPU 패스스루 통합, MIG 파티셔닝, 모니터링, 트러블슈팅까지 실전 가이드를 총정리한다.
Published on
2026년 3월 1일
딥러닝을 위한 Linux GPU 서버 완전 구축 가이드
linux gpu cuda nvidia-driver deep-learning docker
NVIDIA 공식 문서를 기반으로 딥러닝 개발을 위한 Linux GPU 서버를 NVIDIA 드라이버부터 Docker GPU 환경까지 단계별로 구축하는 가이드를 정리한다.

Cuda

cuda (21)