Pytorch

All Posts

Published on
2026년 7월 11일
RTX 5090 한 장으로 작은 모델들 직접 굴려보기 — microGPT·OCR·음악 생성
pytorch gpu llm ocr hands-on ai
RTX 5090(Blackwell, 32GB) 한 장에 SSH로 붙어 작은 모델 셋을 직접 돌려봤습니다. char-level GPT를 밑바닥부터 28초 만에 학습시키고(10.75M 파라미터, 117만 tokens/s), 전용 OCR(TrOCR)과 소형 VLM(Qwen2-VL-2B)을 같은 이미지에 붙여 CER로 대결시키고, MusicGen으로 8초짜리 음악을 1.9초(4.2배 실시간)에 생성했습니다. 그 과정에서 만난 정직한 함정들 — 워밍업 없는 벤치마크가 38배 거짓말을 한 사건, CER이라는 지표가 대문자 하나로 뻥튀기되는 이야기, Blackwell sm_120에 맞는 PyTorch를 찾는 삽질 — 까지 실측 수치와 함께 정리합니다.
Published on
2026년 7월 11일
RTX 5090 单卡亲手跑几个小模型 — microGPT·OCR·音乐生成
pytorch gpu llm ocr hands-on ai
用一张 RTX 5090（Blackwell，32GB），通过 SSH 连上去直接跑了三个小模型。从零开始用 28 秒训练出一个 char-level GPT（10.75M 参数，117 万 tokens/s），把专用 OCR（TrOCR）和小型 VLM（Qwen2-VL-2B）放到同一张图上用 CER 一决高下，再用 MusicGen 在 1.9 秒（实时的 4.2 倍）里生成一段 8 秒的音乐。连同过程中遇到的那些诚实的陷阱 — 没有预热的基准测试撒了 38 倍的谎、CER 这个指标被一个大写字母灌水、为 Blackwell sm_120 找到对得上的 PyTorch 的一番折腾 — 都用实测数字一并梳理。
Published on
2026년 5월 14일
비전 모델 개발·파인튜닝 완전 가이드 2026 — CNN, ViT, DETR, SAM 2, VLM 까지 실전 의사결정 트리
computer-vision vision-model cnn vit detr sam vlm fine-tuning pytorch ai-engineering
2026년 비전 모델 개발은 더 이상 ResNet 한 줄 가져다 학습하는 시대가 아니다. CNN, ViT, DETR, SAM 2, 그리고 LLaVA·Qwen-VL·Gemini Vision·Claude Vision 같은 VLM 까지 — 같은 사진 한 장에 대해서도 어떤 모델을 쓰느냐로 비용이 100배, 정확도가 30%p 갈린다. 이 글은 분류·탐지·세그멘테이션·OCR·캡셔닝·VQA 라는 6가지 태스크에 대해, 어떤 아키텍처를 어떤 데이터 규모로 어떤 도구체인으로 어떻게 학습/파인튜닝/프롬프팅할지 의사결정 트리로 정리한다. timm, Hugging Face transformers, Ultralytics YOLO, OpenMMLab, LoRA/QLoRA, Label Studio, CVAT, Roboflow, ONNX, TensorRT, Core ML, TFLite 까지 실전 도구체인 포함.
Published on
2026년 4월 15일
Python 3.13과 AI 시대의 부활 — GIL 제거, JIT, Typing, uv/ruff, PyTorch, Mojo까지 완전 정복 (2025)
python gil jit typing uv ruff pytorch ai language culture
Python은 어떻게 2008년 2 vs 3 분열 위기에서 2025년 "가장 많이 쓰이는 언어 1위"로 재기했나? CPython의 GIL 역사, 3.13의 실험적 Free-Threaded Python, 3.11의 35% 속도 향상, 3.13 JIT, 타입 힌트와 mypy/pyright/pyrefly, Astral의 uv/ruff가 연 Rust 혁명, PyTorch/JAX/Transformers 생태계, Mojo와 PyPy — AI가 올라탄 뱀의 부활 이야기.
Published on
2026년 3월 19일
[심층 강화학습] 03. PyTorch 딥러닝 기초: 텐서부터 신경망까지
reinforcement-learning deep-learning ai pytorch
PyTorch의 텐서 연산, 자동 미분, 신경망 구성 요소를 학습하고, TensorBoard 모니터링과 Atari 이미지를 활용한 GAN 예제를 구현합니다.
Published on
2026년 3월 17일
딥러닝 디버깅 완전 가이드: 학습 실패 진단부터 성능 최적화까지
deep-learning debugging pytorch training optimization ai 2026-03
딥러닝 모델 학습 실패를 체계적으로 진단하고 해결하는 완전 가이드. Loss NaN, 기울기 소실/폭발, 과적합, 느린 수렴, 메모리 부족 등 모든 일반적인 문제의 원인과 해결책을 실전 코드와 함께 배웁니다.
Published on
2026년 3월 17일
DeepSpeed 완전 가이드: ZeRO 최적화와 대규모 모델 학습
deepspeed zero-optimization distributed-training llm pytorch 2026-03
Microsoft DeepSpeed를 완전히 마스터하는 가이드. ZeRO-1/2/3 최적화, Offload, 파이프라인 병렬화, 혼합 정밀도, MoE, DeepSpeed Inference까지 실전 설정과 코드로 배웁니다.
Published on
2026년 3월 17일
PyTorch 고급 기법 완전 가이드: torch.compile, Custom Ops, Memory 최적화
pytorch advanced torch-compile memory-optimization custom-operators deep-learning 2026-03
PyTorch 고급 기법을 완전히 마스터하는 가이드. torch.compile, 커스텀 연산자, 메모리 최적화, Gradient Checkpointing, torch.vmap, functorch, PyTorch Profiler까지 실전 예제로 배웁니다.
Published on
2026년 3월 17일
PyTorch 내부 구조 & 고급 최적화: autograd, torch.compile, FSDP, Triton까지
pytorch torch-compile fsdp triton 혼합정밀도 distributed-training 2026-03
PyTorch autograd 엔진, torch.compile() TorchInductor 최적화, FSDP 분산 학습, gradient checkpointing, 커스텀 CUDA 연산까지 PyTorch 완전 정복 가이드입니다.
Published on
2026년 3월 17일
PyTorch 완전 정복 가이드: Zero to Hero — 텐서부터 분산 학습까지
pytorch deep-learning ai python neural-network 2026-03
PyTorch의 기초부터 고급 기법까지 완전히 정복하는 가이드. 텐서 연산, 자동 미분, CNN/RNN/Transformer 구현, 분산 학습까지 실전 예제와 함께 단계별로 학습합니다.
Published on
2026년 3월 17일
Torch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것
torch-titan distributed-training pytorch fsdp deep-learning llm 2026-03
PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.
Published on
2026년 3월 17일
LLM 처음부터 만들기: 코드로 이해하는 GPT 완전 구현 가이드
llm gpt transformer from-scratch deep-learning pytorch 2026-03
대규모 언어 모델(LLM)을 처음부터 직접 구현하며 완전히 이해하는 가이드. 토크나이저부터 Transformer 아키텍처, 사전학습, 파인튜닝까지 PyTorch로 작은 GPT를 완전히 구축합니다.
Published on
2026년 3월 3일
torchaudio 완전 가이드 — 오디오 처리부터 음성인식, TTS, 음악 분석까지
ai-platform pytorch torchaudio audio speech-recognition spectrogram mel tts music 2026-03
torchaudio로 오디오 로드, 스펙트로그램 변환, Mel 필터뱅크, MFCC, 음성인식(Wav2Vec2/Whisper), TTS, 화자 분리, 노이즈 제거까지. 오디오 AI의 모든 것을 PyTorch로 다룹니다.
Published on
2026년 3월 3일
torchvision 완전 가이드 — 이미지 분류부터 Object Detection, Segmentation까지
ai-platform pytorch torchvision computer-vision cnn object-detection segmentation transfer-learning 2026-03
torchvision의 transforms v2, 사전학습 모델(ResNet~ViT), 데이터셋, Object Detection(Faster R-CNN, YOLO), Segmentation, 그리고 실전 파인튜닝까지. 컴퓨터 비전 실무를 PyTorch로 정복합니다.
Published on
2026년 3월 1일
CUDA Hands-on 완벽 가이드: GPU 컴퓨팅의 모든 것
cuda gpu nvidia deep-learning machine-learning python pytorch hpc parallel-computing devops
NVIDIA CUDA의 기초 개념부터 GPU 아키텍처, C/C++ 커널 프로그래밍, 메모리 최적화, Python 연동(PyTorch, Numba, CuPy), Multi-GPU 학습, 프로파일링, 트러블슈팅까지 실전 중심으로 다루는 종합 가이드.
Published on
2026년 3월 1일
Slurm 완전 정복: HPC/AI 클러스터 워크로드 매니저 실전 가이드
slurm hpc gpu distributed-training cluster job-scheduler cuda pytorch deepspeed tensorrt mlops ai-infrastructure
Slurm 워크로드 매니저를 완전 정복한다. 아키텍처(slurmctld/slurmd/slurmdbd), 핵심 개념(파티션/QoS/Fairshare), 필수 명령어(sbatch/srun/salloc), GPU 스케줄링(GRES/MIG/MPS), 다중 노드 분산 학습(PyTorch DDP/DeepSpeed/Horovod), 컨테이너 통합(Singularity/Enroot+Pyxis), 설정·모니터링·트러블슈팅까지 실전 관점에서 총정리한다.
Published on
2026년 3월 1일
Multi-GPU 분산 학습 완전 가이드: DDP, FSDP, DeepSpeed
gpu cuda distributed-training deep-learning pytorch
PyTorch 공식 문서 기반으로 Multi-GPU 분산 학습의 핵심인 DDP, FSDP, DeepSpeed ZeRO를 체계적으로 분석하고 실전 설정법을 정리한다.

Pytorch

pytorch (17)