Ray

All Posts

Published on
2026년 7월 17일
Ray 2.56의 레이블 로컬리티 스케줄링 — 배치 그룹이 노드가 아니라 NVLink 랙을 보기 시작했다
ray gpu scheduling distributed-systems
2026년 6월 29일 나온 Ray 2.56.0은 배치 그룹에 도메인 레벨 스케줄링 레이어를 알파로 추가했습니다. 지금까지 PACK·STRICT_PACK 같은 배치 전략은 전부 노드 단위로만 동작해서, GB200·GB300 NVL72처럼 NVLink 도메인이 노드 여러 개에 걸치는 랙에서는 "이 배치 그룹을 한 랙 안에 다 넣어 달라"를 표현할 방법이 없었습니다. 새 레이블 로컬리티 스케줄링은 ray.io/gpu-domain 라벨 값이 같은 노드 묶음을 하나의 도메인으로 보고, 배치 그룹 전체를 그 안에 STRICT_PACK합니다. 다만 알파 기능답게 제약이 뚜렷합니다 — GB200·GB300 가속기 타입에서만 발동하고, 도메인 레벨 전략은 STRICT_PACK 하나뿐이며, ray.io/gpu-domain 라벨은 Ray가 자동으로 달아 주지 않아 운영자가 직접 채워야 합니다. 부분 장애 시에는 같은 도메인 안에서만 복구를 시도하고, 다른 도메인으로 강제로 옮기는 유일한 방법이 배치 그룹을 지우고 다시 만드는 것(그 위의 액터 전부 강제 종료)이라는 점까지, 문서가 명시한 시맨틱과 한계를 그대로 정리합니다.
Published on
2026년 5월 16일
분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리
distributed-training deepspeed fsdp megatron-lm ray jax lightning accelerate torchtitan cuda nccl blackwell tpu llm-training gpu-infrastructure
DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp4 정밀도, NCCL 튜닝, 체크포인팅, 실패 복구까지 LLM 학습 인프라 2026년 현재형.
Published on
2026년 5월 16일
MLOps 플랫폼 2026 완전판 - MLflow · Kubeflow · W&B · Vertex AI · SageMaker · Databricks · BentoML · Ray · Modal · Hugging Face 심층 가이드
mlops mlflow kubeflow weights-and-biases vertex-ai sagemaker databricks bentoml ray modal huggingface model-serving experiment-tracking llm-ops
2026년 5월 기준 MLOps 30여 개 플랫폼을 한 번에 비교한다. MLflow 3, Kubeflow 1.10, Weights & Biases, Comet, Neptune.ai, ClearML, Vertex AI, SageMaker, Azure ML, Databricks ML + Mosaic AI, Hugging Face Inference Endpoints, Determined, Anyscale + Ray Train, BentoML, Modal, RunPod, Replicate, Fireworks AI, Together AI, Lamini, Predibase, Argilla, Galileo, Arize, WhyLabs, Fiddler, TruEra, DagsHub, DVC, lakeFS, ZenML, Metaflow, Flyte, Prefect ML, Airflow ML까지 — 실험 추적·모델 레지스트리·서빙·드리프트 모니터링·LLM eval·GPU 비용까지 한 글로 정리한다.
Published on
2026년 4월 15일
MLOps 완전 가이드 — 모델 서빙·Feature Store·Drift·A/B 테스트·GPU 경제학 (Season 2 Ep 7, 2025)
mlops model-serving feature-store drift-detection ab-testing gpu-economics vllm triton mlflow ray kubernetes season-2
모델을 학습하는 것과 프로덕션에서 운영하는 것은 완전히 다른 게임이다. Serving(TorchServe·Triton·vLLM·TGI), Feature Store(Feast·Tecton), Training Infra(Ray·Determined), Experiment Tracking(MLflow·W&B), Data/Concept Drift 감지, Model A/B 테스트와 Shadow Deployment, 그리고 GPU 경제학(on-demand·spot·자체 구매)까지 — "논문에서 프로덕션까지의 거리"를 메우는 실전 MLOps 한 편. Season 2의 일곱 번째.

Ray

ray (4)

Ray 2.56의 레이블 로컬리티 스케줄링 — 배치 그룹이 노드가 아니라 NVLink 랙을 보기 시작했다

분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리

MLOps 플랫폼 2026 완전판 - MLflow · Kubeflow · W&B · Vertex AI · SageMaker · Databricks · BentoML · Ray · Modal · Hugging Face 심층 가이드

MLOps 완전 가이드 — 모델 서빙·Feature Store·Drift·A/B 테스트·GPU 경제학 (Season 2 Ep 7, 2025)