Triton

All Posts

Published on
2026년 8월 2일
GPU 컴파일러와 프레임워크 지형 — 그래프를 받아 커널을 만드는 하나의 문제, 층마다 다른 답
gpu compiler mlir triton pytorch
NVCC와 PTX부터 LLVM, MLIR, Triton, torch.compile, XLA, IREE, TVM까지를 하나의 지도 위에 올렸습니다. 이름이 다르고 소속이 다르지만 이들은 전부 같은 문제를 풉니다. 연산 그래프를 받아 실행 가능한 커널을 만드는 일입니다. 각 층이 그 문제의 어느 부분을 잘라 가져갔는지, 왜 층이 이렇게 많아졌는지, 그리고 엔지니어가 어떤 상황에서 어느 층까지 내려가야 하는지를 정리했습니다. 2026년 8월 2일에 확인한 버전과 공식 문서를 근거로 적었고, 확인하지 못한 것은 그렇다고 밝혔습니다.
Published on
2026년 8월 2일
커널을 쓰는 세 가지 층위 — CUDA C++, Triton, CUTLASS를 같은 문제로 비교하기
triton cuda cutlass gpu-kernel compiler
같은 GPU 커널을 손으로 쓰는 CUDA C++, 파이썬으로 타일 단위로 쓰는 Triton, 템플릿으로 조립하는 CUTLASS와 CuTe로 각각 접근할 때 무엇이 달라지는지 비교합니다. 행 단위 softmax를 CUDA C++와 Triton으로 실제로 짜서 코드량과 성능을 나란히 재고, 그 차이가 어디서 오는지 컴파일 파이프라인 수준에서 설명합니다. Triton이 커스텀 어텐션 커널의 사실상 표준이 된 이유와 함께, Triton이 잘 못하는 영역도 구체적으로 정리합니다. Triton 3.7.1과 CUTLASS 4.6.1 기준으로 확인한 내용입니다.
Published on
2026년 7월 16일
Triton Gluon — 컴파일러가 숨기던 레이아웃을 손으로 쓰는 언어
gpu triton kernel compiler performance
Gluon은 Triton과 같은 컴파일러 스택 위에 올라간 하위 레벨 GPU 언어로, Triton이 감춰 두던 레이아웃·공유 메모리·워프 특수화를 커널 작성자에게 그대로 넘깁니다. 존재 이유는 명확합니다 — Triton 컴파일러가 잘 못 뽑는 코드를 만났을 때, 지금까지는 손쓸 방법이 없었기 때문입니다. 이 글은 Gluon이 무엇을 노출하는지, BlockedLayout이 실제로 무엇을 뜻하는지, 그리고 상류 튜토리얼이 GB200에서 기록한 측정치(같은 memcpy가 레이아웃 하나 때문에 0.774 TB/s에서 6.590 TB/s로 갈리는 과정)를 따라갑니다. AMD gfx950 지원과 ROCm 블로그의 벤더 자체 측정치도 함께 봅니다. 다만 Gluon은 아직 triton.experimental 아래에 있고, 요구하는 하드웨어 지식의 양이 Triton과 자릿수가 다릅니다 — 대부분의 커널에는 여전히 과잉입니다.
Published on
2026년 5월 16일
리버스 엔지니어링 도구 2026 — Ghidra / IDA Pro / Binary Ninja / radare2 / Frida / x64dbg / angr 심층 가이드
reverse-engineering ghidra ida-pro binary-ninja radare2 cutter x64dbg ollydbg hopper plasma angr frida cheat-engine wireshark pwntools pwndbg gef capstone keystone unicorn qemu klee triton deep-dive
2026년 리버스 엔지니어링 도구 지형도를 디스어셈블러(Ghidra/IDA Pro/Binary Ninja/radare2+Cutter/Hopper), 디버거(x64dbg/OllyDbg/WinDbg/Pwndbg/GEF), 동적 계측(Frida/Cheat Engine/Wireshark), 심볼릭 실행(angr/Triton/KLEE), 그리고 엔진 레이어(Capstone/Keystone/Unicorn/QEMU)로 정밀하게 분해한다. NSA가 2019년에 풀어버린 Ghidra가 어떻게 IDA Pro의 가격 독점을 무너뜨렸는지, Binary Ninja의 BNIL/HLIL이 왜 모던 RE의 표준이 되었는지, Frida가 모바일 RE를 어떻게 재정의했는지, angr와 KLEE의 심볼릭 실행이 실제로 어디까지 작동하는지, 그리고 LLM-assisted RE — Binary Ninja AI / IDA Pro Decompiler AI / Sidekick — 가 2026년에 어디까지 진짜로 작동하는지. CTF 도구 체인(Pwntools + Pwndbg + GEF)과 한국(KAIST 해킹동아리·KISA)·일본(AIST·JPCERT·FFRI セキュリティ) 보안 연구 생태계까지 한 번에 정리한다.
Published on
2026년 4월 15일
MLOps 완전 가이드 — 모델 서빙·Feature Store·Drift·A/B 테스트·GPU 경제학 (Season 2 Ep 7, 2025)
mlops model-serving feature-store drift-detection ab-testing gpu-economics vllm triton mlflow ray kubernetes season-2
모델을 학습하는 것과 프로덕션에서 운영하는 것은 완전히 다른 게임이다. Serving(TorchServe·Triton·vLLM·TGI), Feature Store(Feast·Tecton), Training Infra(Ray·Determined), Experiment Tracking(MLflow·W&B), Data/Concept Drift 감지, Model A/B 테스트와 Shadow Deployment, 그리고 GPU 경제학(on-demand·spot·자체 구매)까지 — "논문에서 프로덕션까지의 거리"를 메우는 실전 MLOps 한 편. Season 2의 일곱 번째.
Published on
2026년 3월 21일
토스뱅크 ML Engineer (MLOps) 합격 완벽 가이드: MLFlow부터 LLM 플랫폼까지 기술스택 총정리
mlops ml-platform tossbank kubernetes mlflow airflow kubeflow triton scylladb feature-store llm gpu career interview 2026-03
토스뱅크 ML Platform Team의 MLOps Engineer JD를 완전 분석합니다. MLFlow, Airflow, JupyterHub, Kubeflow, Triton Inference Server, ScyllaDB Feature Store, LLM 플랫폼까지 — 합격을 위한 기술스택 딥다이브, 면접 예상 질문 30선, 6개월 학습 로드맵.
Published on
2026년 3월 17일
PyTorch 내부 구조 & 고급 최적화: autograd, torch.compile, FSDP, Triton까지
pytorch torch-compile fsdp triton 혼합정밀도 distributed-training 2026-03
PyTorch autograd 엔진, torch.compile() TorchInductor 최적화, FSDP 분산 학습, gradient checkpointing, 커스텀 CUDA 연산까지 PyTorch 완전 정복 가이드입니다.
Published on
2026년 3월 17일
CUDA GPU 프로그래밍 심화: Warp 최적화, Tensor Core, Triton 커널 작성까지
cuda gpu-programming tensorcore triton flash-attention nccl 2026-03
CUDA 메모리 계층, Warp 최적화, Tensor Core WMMA API, Flash Attention 구현, Triton 커스텀 커널 작성까지 AI 모델 학습 가속화를 위한 GPU 프로그래밍 심화 가이드입니다.
Published on
2026년 3월 17일
AI 모델 배포 & 서빙 완전 가이드: Triton, vLLM, BentoML, Kubernetes까지
model-serving triton vllm bentoml kubernetes llm-deployment 2026-03
Docker GPU 컨테이너, Kubernetes HPA, NVIDIA Triton, vLLM LLM 서빙, BentoML, Ray Serve까지 AI 모델 프로덕션 배포 완전 가이드입니다.
Published on
2026년 3월 17일
AI 모델 서빙과 추론 최적화 완전 가이드: vLLM, TensorRT, Triton, Ollama
mlops model-serving vllm tensorrt triton inference optimization 2026-03
AI 모델을 프로덕션에서 효율적으로 서빙하는 완전 가이드. vLLM, TensorRT, NVIDIA Triton Inference Server, Ollama, 양자화(INT8/INT4), 배치 처리, 지연 최적화까지 실전 예제로 마스터합니다.
Published on
2026년 3월 8일
NVIDIA Triton Inference Server 프로덕션 가이드: GPU 모델 서빙 최적화 전략
ai-platform triton inference-server gpu model-serving nvidia 2026-03
NVIDIA Triton Inference Server를 활용한 GPU 모델 서빙 최적화 가이드. Dynamic Batching, Model Ensemble, TensorRT 통합, 멀티 모델 서빙, Kubernetes 배포, 성능 프로파일링과 프로덕션 트러블슈팅까지 다룹니다.
Published on
2026년 3월 1일
Kubernetes ML 모델 서빙: KServe와 NVIDIA Triton 완전 분석
mlops kubernetes model-serving kserve triton
KServe와 NVIDIA Triton 공식 문서를 기반으로 Kubernetes 환경에서의 ML 모델 서빙 아키텍처를 체계적으로 분석한다.

Triton

triton (12)