- 들어가며 — "3D를 만든다"는 두 개의 다른 문제
- 1부 — 복원: 사진에서 3D로
- 2부 — 생성: 텍스트·이미지에서 3D로
- 3부 — 표현 방식과 출력 포맷
- 4부 — 실전 파이프라인
- 5부 — 엔지니어의 진입 경로
- 마치며
- 참고 자료
들어가며 — "3D를 만든다"는 두 개의 다른 문제
"3D 모델을 만들어 줘"라는 한 문장 안에는 사실 완전히 다른 두 요청이 섞여 있습니다.
- 복원(Reconstruction): 실제로 존재하는 물체나 공간을, 여러 장의 사진(또는 영상)에서 3D로 되살립니다. 문화재 스캔, 부동산 3D 투어, 로봇의 공간 인식이 여기 속합니다. 정답은 현실에 있고, 목표는 그것을 충실히 재현하는 것입니다.
- 생성(Generation): 존재하지 않는 것을, 텍스트 한 줄이나 이미지 한 장에서 지어냅니다. 게임 에셋, 제품 컨셉, 아바타가 여기 속합니다. 정답이 없고, 목표는 그럴듯하고 쓸 만한 것을 창조하는 것입니다.
이 둘은 쓰는 기술도, 평가 기준도 다릅니다. 이 글은 두 계보를 각각 따라가며 "지금 어디에 서 있는지"의 좌표를 잡아 줍니다. 이미지·비전 모델의 기본기가 궁금하다면 신경망 아키텍처 탐색기와 함께 읽으면 좋습니다.
1부 — 복원: 사진에서 3D로
계보: SfM → NeRF → 가우시안 스플래팅
Structure-from-Motion (SfM) 여러 사진에서 카메라 위치 + 성긴 점구름 복원 (COLMAP)
│ — 고전 기하학. 지금도 카메라 포즈 추정의 필수 전처리
▼
NeRF (2020) 장면을 신경망(MLP)에 "암시적으로" 저장 —
│ 좌표를 넣으면 색·밀도를 뱉는 함수. 볼륨 렌더링으로 뷰 합성
▼
3D Gaussian Splatting (2023) 장면을 수백만 개의 "가우시안 방울"로 "명시적으로" 저장 —
래스터화로 실시간 렌더. NeRF의 판을 바꾼 전환점
SfM(Structure-from-Motion) 은 딥러닝 이전부터 있던 고전입니다. 겹치는 사진들에서 특징점을 매칭해 카메라가 어디서 찍었는지와 성긴 3D 점구름을 복원합니다. COLMAP이 사실상 표준이고, 아래의 NeRF·가우시안 스플래팅도 대부분 카메라 포즈 추정을 위해 SfM을 전처리로 먼저 돌립니다.
NeRF(Neural Radiance Fields, 2020) 는 장면을 신경망 하나에 통째로 욱여넣는 발상이었습니다. "공간의 이 좌표를 이 방향에서 보면 무슨 색이고 얼마나 불투명한가"를 답하는 작은 MLP를 장면마다 학습시키고, 광선을 따라 적분(볼륨 렌더링)해 새로운 시점의 이미지를 만듭니다. 품질은 경이로웠지만 대가가 컸습니다 — 학습에 몇 시간~며칠, 렌더링도 느렸습니다.
왜 3D 가우시안 스플래팅이 판을 바꿨나
3D Gaussian Splatting(3DGS, 2023) 은 표현 방식을 뒤집었습니다. 장면을 신경망에 암시적으로 넣는 대신, 위치·크기·색·불투명도를 가진 수백만 개의 가우시안(3D 타원 방울) 으로 명시적으로 표현하고, 이 방울들을 화면에 투영(splatting)해 래스터화로 그립니다. 발상의 방향도 반대입니다 — NeRF가 2D 이미지에서 3D를 역추적한다면, 3DGS는 3D 점에서 출발해 2D 이미지를 만듭니다.
결과는 극적입니다: 60+ FPS 실시간 렌더링, 학습은 몇 시간이 아니라 분 단위, 그리고 아티팩트도 더 적습니다. gsplat 같은 라이브러리가 이 속도를 뒷받침합니다. 다만 3DGS가 NeRF를 완전히 대체한 것은 아닙니다 — 정밀한 기하가 필요하면 SDF 계열이, 반사·투명 같은 뷰 의존 효과에는 NeRF 계열이 여전히 강합니다. EGGS(기하 정확도 개선), EVolSplat4D(동적 도시 장면) 같은 변종이 계속 나오고, 실무는 대개 하이브리드입니다.
feedforward 복원 — 장면마다 학습하지 않기
NeRF도 3DGS도 근본적으로 장면 하나당 한 번씩 최적화합니다. 2026년의 흐름은 이 "per-scene 학습"을 없애는 쪽입니다. Meta의 MapAnything(1B 파라미터, 2026년 1월, 3DV 2026 채택)은 통합 트랜스포머 하나로 12가지 이상의 3D 복원 과제를 한 번의 순전파(feedforward) 로 처리합니다. 사진을 넣으면 최적화 루프 없이 즉시 3D가 나오는 것 — 이것이 로봇·AR이 원하던 "실시간 공간 인식"의 방향입니다.
2부 — 생성: 텍스트·이미지에서 3D로
계보: SDS 증류 → 네이티브 3D 디퓨전
DreamFusion (2022) 2D 디퓨전(이미지 생성기)의 지식을 3D로 "증류"(SDS) —
│ 3D 데이터 없이 텍스트→3D. 느리고 결과가 흐릿했음
▼
네이티브 3D 디퓨전 3D 표현(복셀·삼면체·구조화 잠재)에서 직접 디퓨전 학습
│ — 3D 데이터셋으로 훈련. 빠르고 일관적
▼
TRELLIS · Hunyuan3D (2025~) rectified flow + 2단계(기하→텍스처) —
수십 초 만에 게임 레디 PBR 에셋
초기의 DreamFusion(2022) 은 영리한 우회로였습니다. 당시엔 대규모 3D 데이터가 없었으므로, 이미 강력한 2D 이미지 디퓨전 모델의 지식을 3D로 증류하는 SDS(Score Distillation Sampling)를 썼습니다. 3D 데이터 없이 텍스트에서 3D를 뽑는 마법 같은 접근이었지만, 최적화가 느리고 결과가 흐릿하며 "야누스 문제"(어느 각도에서 봐도 앞면이 보이는 오류)에 시달렸습니다.
지금의 주류는 네이티브 3D 디퓨전입니다 — 복셀·삼면체(triplane)·구조화 잠재(structured latent) 같은 3D 표현 위에서 디퓨전을 직접 학습합니다. 3D 데이터셋으로 훈련하니 빠르고 다각도 일관성이 좋습니다. 최신 모델들의 공통 레시피는 2단계 생성입니다: 먼저 기하(형태) 를 만들고, 그 위에 외형(텍스처) 을 입힙니다.
2026년의 지형
이미지·텍스트에서 3D를 뽑는 대표 모델들(HuggingFace 기준):
모델 강점 특징
────────────────── ─────────────────────────── ──────────────────────────────
TRELLIS.2 (4B) 프로덕션급 PBR 에셋 rectified flow DiT, 1536³ 해상도,
4K 텍스처, 복잡 토폴로지·투명 재질
Hunyuan3D 3.5 고품질 텍스처 flow 기반, 60초 이내, 최대 8K PBR
Hi3DGen 최고 기하 품질 형태 정확도 중심
Stable Fast 3D 속도 (1초 이내) 실시간 프리뷰·대량 생성에 적합
TRELLIS.2(4B 파라미터 DiT)는 rectified flow로 성긴 구조를 먼저 잡고 구조화 잠재로 디코딩하는 2단계 파이프라인을 쓰며, 1536³ 해상도·4K 텍스처로 프로덕션급 에셋을 냅니다. Tencent의 Hunyuan3D는 2.1에서 PBR·게임 레디 에셋을 약 10초에 뽑았고, 3.5에서 60초 이내·최대 8K PBR 텍스처까지 올라갔습니다. Hi3DGen은 기하 정확도, Stable Fast 3D는 1초 이내 속도로 각자 다른 축을 공략합니다. 고르는 기준은 단순합니다 — 게임/제품용이면 PBR 품질(TRELLIS.2·Hunyuan3D), 대량 프리뷰면 속도(Stable Fast 3D).
3부 — 표현 방식과 출력 포맷
3D는 "무엇으로 표현하느냐"가 곧 쓰임새를 결정합니다.
표현 무엇인가 어디에 쓰나
───────────── ───────────────────────────── ──────────────────────────────
점구름 위치+색을 가진 점들 SfM 결과, 라이다, 중간 산출물
메시(Mesh) 정점+면(삼각형) 게임·영화 — DCC 툴 표준. UV+PBR 텍스처
가우시안 위치+공분산+색+불투명도 실시간 뷰 합성(3DGS). 아직 메시 아님
암시적 필드 좌표→값 함수(SDF/NeRF) 정밀 기하·매끈한 표면
파이프라인의 현실적 목표는 대개 PBR 텍스처가 입혀진 메시입니다 — 게임 엔진(Unity·Unreal)과 3D 제작 툴(Blender)이 먹는 표준이기 때문입니다. PBR(Physically Based Rendering)은 알베도·러프니스·메탈릭·노멀 맵으로 재질의 물리를 기술해, 어떤 조명 아래서도 사실적으로 보이게 합니다. 그래서 최신 생성 모델의 세일즈 포인트가 "게임 레디 PBR"인 것 — 가우시안이나 NeRF는 보기엔 훌륭해도 아직 메시가 아니라, 게임에 넣으려면 메시로 변환하는 단계가 더 필요합니다.
4부 — 실전 파이프라인
복원(내 물건을 3D로):
① 촬영 물체를 겹치게 여러 각도로 (동영상도 가능). 흔들림·초점 주의
② 포즈 추정 COLMAP으로 카메라 위치 + 성긴 점구름 (SfM)
③ 학습 Nerfstudio에서 gsplat(3DGS) 또는 NeRF 방식 선택 — 분~시간
④ 렌더/추출 실시간 뷰어로 확인, 필요하면 메시로 추출
Nerfstudio는 NeRF와 3DGS를 모두 지원하는 가장 널리 쓰이는 오픈소스 프레임워크로, 여러 변종을 한 CLI로 실험하게 해 줍니다. 시작점으로 이만한 것이 없습니다.
생성(무에서 3D로): HuggingFace의 오픈 모델(TRELLIS·Hunyuan3D)을 직접 돌리거나, 상용 API(Meshy·Rodin·3DAI Studio 등)에 이미지 한 장을 던지면 수십 초 만에 메시+PBR이 나옵니다. 데이터 준비의 감각은 LLM 데이터 전처리 편과 통합니다 — 3D 생성 모델도 결국 Objaverse 같은 대규모 3D 데이터셋의 정제 품질이 결과를 좌우합니다.
5부 — 엔지니어의 진입 경로
"3D는 그래픽스 전공자만의 영역"이라는 인식은 낡았습니다. VLA 로봇(로봇 기업 지도 편)이 공간을 이해하려면 복원이 필요하고, 콘텐츠 파이프라인은 생성을 원합니다 — 둘 다 지금 사람이 모자랍니다. 현실적인 3단계:
- 가우시안 스플래팅 한 번 — 스마트폰으로 물체를 한 바퀴 찍고 Nerfstudio로 3DGS를 돌려 보세요. "내 책상 위 물건이 3D로 도는" 경험이 전체 그림을 잡아 줍니다.
- 생성 모델 한 번 — TRELLIS나 Hunyuan3D에 이미지 한 장을 넣어 메시를 뽑고 Blender에서 열어 보세요. 출력 포맷·PBR의 감각이 손에 붙습니다.
- 논문 두 편 — 3D Gaussian Splatting 원논문(복원)과 TRELLIS(생성). 이 두 편이면 지금 지형의 좌표계가 잡힙니다.
기존 ML 엔지니어에게 3D는 "새 분야"라기보다 출력이 이미지가 아니라 공간인 또 하나의 생성/복원 문제입니다 — 디퓨전·트랜스포머·데이터 정제라는 문법은 그대로입니다.
마치며
3D를 만드는 길은 둘입니다. 현실을 되살리는 복원은 SfM에서 NeRF를 거쳐 실시간의 가우시안 스플래팅으로, 그리고 장면마다 학습하지 않는 feedforward로 나아가고 있습니다. 무에서 짓는 생성은 2D 증류(DreamFusion)에서 네이티브 3D 디퓨전으로, 그리고 수십 초 만에 게임 레디 PBR을 뽑는 TRELLIS·Hunyuan3D로 성숙했습니다. 두 길 모두 결국 디퓨전과 트랜스포머라는 같은 엔진 위에 있고 — 그래서 LLM·이미지 모델을 다뤄 온 엔지니어라면, 여러분의 기술은 이미 절반쯤 3D 기술입니다.
참고 자료
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering (Kerbl et al., 2023)
- NeRF: Representing Scenes as Neural Radiance Fields (Mildenhall et al., 2020)
- Nerfstudio — NeRF·가우시안 스플래팅 통합 프레임워크 · gsplat 라이브러리
- TRELLIS — Structured 3D Latents for Scalable 3D Generation (Microsoft)
- Hunyuan3D 2.1: High-Fidelity 3D Assets with Production-Ready PBR (Tencent, arXiv)
- DreamFusion: Text-to-3D using 2D Diffusion (Poole et al., 2022)
- Best Image-to-3D Models on HuggingFace (2026) · Meta MapAnything
현재 단락 (1/64)
"3D 모델을 만들어 줘"라는 한 문장 안에는 사실 완전히 다른 두 요청이 섞여 있습니다.