Nccl

All Posts

Published on
2026년 7월 17일
PyTorch 2.13의 torchcomms — c10d를 대체하러 온 새 분산 통신 백엔드
pytorch distributed-training nccl deep-learning
2026년 7월 8일 릴리스된 PyTorch 2.13의 하이라이트 가운데 가장 구조적인 변화는 torchcomms — PyTorch Distributed의 새 통신 백엔드가 코어의 CI와 DeviceMesh 경로에 통합되기 시작한 것입니다. torchcomms는 2025년 10월 Meta가 발표한 실험적 통신 API로, 전역 상태 기반 c10d ProcessGroup의 기술 부채(NCCL 중심 설계, lazy init, 관측성 부족)를 걷어내고 장기적으로 기존 백엔드 인터페이스를 대체하는 것이 공식 로드맵입니다. 함께 공개된 NCCLX는 Meta가 10만 GPU 이상 스케일을 위해 만들었다고 밝힌 NCCL 확장으로, Llama 3와 Llama 4 학습에 쓰였다는 것은 Meta 자체 서술입니다. 2.13에서는 all_gather_into_tensor가 all_gather_single로 개명되는 등 공개 API 이름이 torchcomms 네이밍에 맞춰 움직이기 시작했고, 기존 이름은 FutureWarning을 냅니다. 다만 torchcomms 자체는 여전히 API Unstable 상태 — 발표 9개월 만에 공식 예제 코드 표기가 달라졌을 정도로 이른 단계라, 이 글은 무엇이 실제로 바뀌었고 누가 지금 신경 써야 하는지를 1차 소스 기준으로 정리합니다.
Published on
2026년 5월 16일
분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리
distributed-training deepspeed fsdp megatron-lm ray jax lightning accelerate torchtitan cuda nccl blackwell tpu llm-training gpu-infrastructure
DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp4 정밀도, NCCL 튜닝, 체크포인팅, 실패 복구까지 LLM 학습 인프라 2026년 현재형.
Published on
2026년 4월 15일
RDMA 완전 가이드 2025: InfiniBand, RoCE, NCCL, GPU 통신 — AI 학습의 숨은 인프라
rdma infiniband roce nccl gpu hpc ai-training networking low-latency zero-copy
GPT-4가 10만 GPU로 학습될 수 있었던 비결. RDMA의 원리, InfiniBand와 RoCE, NVIDIA NCCL, GPU Direct까지 — AI 인프라의 숨은 기반을 720줄로 완전 분석한다.
Published on
2026년 3월 17일
분산 시스템 완전 정복: CAP theorem부터 분산 ML 학습, Kafka까지
distributed-systems kafka raft pytorchdistributed nccl distributed-training 2026-03
CAP theorem, Raft 합의 알고리즘, Kafka 메시지 큐부터 Ring-AllReduce 분산 ML 학습과 NCCL까지 AI 엔지니어를 위한 분산 시스템 완전 가이드입니다.
Published on
2026년 3월 17일
CUDA GPU 프로그래밍 심화: Warp 최적화, Tensor Core, Triton 커널 작성까지
cuda gpu-programming tensorcore triton flash-attention nccl 2026-03
CUDA 메모리 계층, Warp 최적화, Tensor Core WMMA API, Flash Attention 구현, Triton 커스텀 커널 작성까지 AI 모델 학습 가속화를 위한 GPU 프로그래밍 심화 가이드입니다.

Nccl

nccl (5)

PyTorch 2.13의 torchcomms — c10d를 대체하러 온 새 분산 통신 백엔드

분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리

RDMA 완전 가이드 2025: InfiniBand, RoCE, NCCL, GPU 통신 — AI 학습의 숨은 인프라

분산 시스템 완전 정복: CAP theorem부터 분산 ML 학습, Kafka까지

CUDA GPU 프로그래밍 심화: Warp 최적화, Tensor Core, Triton 커널 작성까지