Skip to content
←

필사 모드: 3Dを作る2つの道 — 復元(NeRF・ガウシアンスプラッティング)と生成(TRELLIS・Hunyuan3D)

日本語
0%
정확도 0%
💡 왼쪽 원문을 읽으면서 오른쪽에 따라 써보세요. Tab 키로 힌트를 받을 수 있습니다.

はじめに — 「3Dを作る」という2つの異なる問題

「3Dモデルを作って」という一文の中には、実はまったく異なる2つの要求が混ざっています。

  • 復元(Reconstruction): 実際に存在する 物体や空間を、複数枚の写真(または映像)から3Dによみがえらせます。文化財スキャン、不動産の3Dツアー、ロボットの空間認識がここに含まれます。正解は現実にあり、目標はそれを忠実に再現することです。
  • 生成(Generation): 存在しない ものを、テキスト1行や画像1枚から作り出します。ゲームアセット、製品コンセプト、アバターがここに含まれます。正解はなく、目標はもっともらしく使えるものを創造することです。

この2つは、使う技術も評価基準も異なります。この記事は2つの系譜をそれぞれ追いながら、「いま自分がどこに立っているか」の座標をつかませてくれます。画像・ビジョンモデルの基礎が気になるなら、ニューラルネットワークアーキテクチャ探索ツールと併せて読むとよいでしょう。

第1部 — 復元: 写真から3Dへ

系譜: SfM → NeRF → ガウシアンスプラッティング

Structure-from-Motion (SfM)   複数枚の写真からカメラ位置 + 疎な点群を復元 (COLMAP)
  │                            — 古典幾何学。いまもカメラポーズ推定の必須の前処理
  ▼
NeRF (2020)                    シーンをニューラルネットワーク(MLP)に「暗黙的に」保存 —
  │                            座標を入れると色・密度を返す関数。ボリュームレンダリングで視点合成
  ▼
3D Gaussian Splatting (2023)   シーンを数百万個の「ガウシアンの雫」で「明示的に」保存 —
                               ラスタライズでリアルタイムレンダー。NeRFの流れを変えた転換点

SfM(Structure-from-Motion) はディープラーニング以前からある古典です。重なり合う写真から特徴点をマッチングし、カメラがどこから撮ったかと疎な3D点群を復元します。COLMAPが事実上の標準であり、下記のNeRF・ガウシアンスプラッティングもたいてい カメラポーズ推定のためにSfMを前処理として先に回します。

NeRF(Neural Radiance Fields, 2020) は、シーンを1つのニューラルネットワークに丸ごと詰め込む発想でした。「空間のこの座標をこの方向から見ると何色で、どれくらい不透明か」に答える小さなMLPをシーンごとに学習させ、光線に沿って積分(ボリュームレンダリング)して新しい視点の画像を作ります。品質は驚異的でしたが、代償は大きく — 学習に数時間〜数日、レンダリングも遅かったのです。

なぜ3Dガウシアンスプラッティングが流れを変えたのか

3D Gaussian Splatting(3DGS, 2023) は表現方式をひっくり返しました。シーンをニューラルネットワークに 暗黙的に 入れる代わりに、位置・大きさ・色・不透明度を持つ数百万個の ガウシアン(3Dの楕円の雫) で 明示的に 表現し、この雫を画面に投影(splatting)してラスタライズで描きます。発想の向きも逆です — NeRFが2D画像から3Dを逆算するなら、3DGSは3Dの点から出発して2D画像を作ります。

結果は劇的です: 60+ FPSのリアルタイムレンダリング 、学習は数時間ではなく 分単位 、そしてアーティファクトも少ないのです。 gsplat のようなライブラリがこの速度を支えています。ただし3DGSがNeRFを完全に置き換えたわけではありません — 精密な幾何が必要ならSDF系が、反射・透明のような視点依存効果にはNeRF系がいまだに強いのです。EGGS(幾何精度の改善)、EVolSplat4D(動的な都市シーン)のような変種が次々に出ており、実務はたいていハイブリッドです。

feedforward復元 — シーンごとに学習しない

NeRFも3DGSも、根本的には シーン1つにつき1回ずつ最適化 します。2026年の流れは、この「per-scene学習」をなくす方向です。Metaの MapAnything (10億パラメータ、2026年1月、3DV 2026採択)は、統合トランスフォーマー1つで12種類以上の3D復元タスクを 一度の順伝播(feedforward) で処理します。写真を入れると最適化ループなしで即座に3Dが出てくる — これがロボット・ARが求めていた「リアルタイム空間認識」の方向です。

第2部 — 生成: テキスト・画像から3Dへ

系譜: SDS蒸留 → ネイティブ3Dディフュージョン

DreamFusion (2022)         2Dディフュージョン(画像生成器)の知識を3Dに「蒸留」(SDS) —
  │                        3Dデータなしでテキスト→3D。遅く、結果がぼやけていた
  ▼
ネイティブ3Dディフュージョン   3D表現(ボクセル・トライプレーン・構造化潜在)で直接ディフュージョン学習
  │                        — 3Dデータセットで訓練。速く一貫的
  ▼
TRELLIS · Hunyuan3D (2025~) rectified flow + 2段階(幾何→テクスチャ) —
                           数十秒でゲームレディなPBRアセット

初期の DreamFusion(2022) は賢い迂回路でした。当時は大規模な3Dデータがなかったため、すでに強力な 2D画像ディフュージョンモデルの知識を3Dに蒸留 するSDS(Score Distillation Sampling)を使いました。3Dデータなしでテキストから3Dを取り出す魔法のようなアプローチでしたが、最適化が遅く、結果がぼやけ、「ヤヌス問題」(どの角度から見ても正面が見えてしまう誤り)に悩まされました。

いまの主流は ネイティブ3Dディフュージョン です — ボクセル・トライプレーン(triplane)・構造化潜在(structured latent)のような3D表現の上でディフュージョンを直接学習します。3Dデータセットで訓練するので速く、多角度の一貫性がよいのです。最新モデルに共通するレシピは 2段階生成 です: まず 幾何(形) を作り、その上に 外形(テクスチャ) をかぶせます。

2026年の地形

画像・テキストから3Dを取り出す代表的なモデル(HuggingFace基準):

モデル               強み                          特徴
──────────────────  ───────────────────────────  ──────────────────────────────
TRELLIS.2 (4B)       プロダクション級PBRアセット    rectified flow DiT、1536³解像度、
                                                    4Kテクスチャ、複雑トポロジー・透明素材
Hunyuan3D 3.5        高品質テクスチャ              flowベース、60秒以内、最大8K PBR
Hi3DGen              最高の幾何品質                形状精度中心
Stable Fast 3D       速度 (1秒以内)                リアルタイムプレビュー・大量生成に適する

TRELLIS.2 (4BパラメータDiT)は、rectified flowで疎な構造を先に捉え、構造化潜在にデコードする2段階パイプラインを使い、1536³解像度・4Kテクスチャでプロダクション級のアセットを出します。Tencentの Hunyuan3D は2.1でPBR・ゲームレディなアセットを約10秒で取り出し、3.5で60秒以内・最大8K PBRテクスチャまで上がりました。 Hi3DGen は幾何精度、 Stable Fast 3D は1秒以内の速度で、それぞれ異なる軸を攻めます。選ぶ基準は単純です — ゲーム/製品用ならPBR品質(TRELLIS.2・Hunyuan3D)、大量プレビューなら速度(Stable Fast 3D) 。

第3部 — 表現方式と出力フォーマット

3Dは「何で表現するか」がそのまま用途を決めます。

表現            何であるか                      どこに使うか
─────────────  ─────────────────────────────  ──────────────────────────────
点群            位置+色を持つ点              SfM結果、ライダー、中間産出物
メッシュ(Mesh)  頂点+面(三角形)             ゲーム・映画 — DCCツール標準。UV+PBRテクスチャ
ガウシアン       位置+共分散+色+不透明度       リアルタイム視点合成(3DGS)。まだメッシュではない
暗黙的フィールド  座標→値の関数(SDF/NeRF)       精密な幾何・滑らかな表面

パイプラインの現実的な目標は、たいてい PBRテクスチャが貼られたメッシュ です — ゲームエンジン(Unity・Unreal)と3D制作ツール(Blender)が受け付ける標準だからです。PBR(Physically Based Rendering)は、アルベド・ラフネス・メタリック・ノーマルマップで素材の物理を記述し、どんな照明の下でもリアルに見えるようにします。だから最新の生成モデルのセールスポイントが「ゲームレディなPBR」なのです — ガウシアンやNeRFは見た目は素晴らしくても、まだメッシュではないため、ゲームに入れるにはメッシュに変換する段階がもう1つ必要です。

第4部 — 実践パイプライン

復元(自分の物を3Dに):

① 撮影        物体を重なるように複数の角度で(動画も可能)。ブレ・ピントに注意
② ポーズ推定  COLMAPでカメラ位置 + 疎な点群 (SfM)
③ 学習        Nerfstudioでgsplat(3DGS)またはNeRF方式を選択 — 分〜時間
④ レンダー/抽出  リアルタイムビューアで確認、必要ならメッシュに抽出

Nerfstudioは、NeRFと3DGSの両方をサポートする最も広く使われるオープンソースフレームワークで、複数の変種を1つのCLIで実験させてくれます。出発点としてこれ以上のものはありません。

生成(無から3Dへ): HuggingFaceのオープンモデル(TRELLIS・Hunyuan3D)を自分で回すか、商用API(Meshy・Rodin・3DAI Studioなど)に画像1枚を投げれば、数十秒でメッシュ+PBRが出てきます。データ準備の感覚はLLMデータ前処理編と通じます — 3D生成モデルも結局は、Objaverseのような大規模3Dデータセットの精製品質が結果を左右します。

第5部 — エンジニアの入口

「3Dはグラフィックス専攻者だけの領域」という認識は古くなりました。VLAロボット(ロボット企業地図編)が空間を理解するには復元が必要で、コンテンツパイプラインは生成を求めます — どちらもいま人が足りません。現実的な3ステップ:

  1. ガウシアンスプラッティングを一度 — スマートフォンで物体をぐるっと1周撮り、Nerfstudioで3DGSを回してみてください。「自分の机の上の物が3Dで回る」体験が全体像をつかませてくれます。
  2. 生成モデルを一度 — TRELLISやHunyuan3Dに画像1枚を入れてメッシュを取り出し、Blenderで開いてみてください。出力フォーマット・PBRの感覚が手になじみます。
  3. 論文2本 — 3D Gaussian Splattingの原論文(復元)とTRELLIS(生成)。この2本があれば、いまの地形の座標系がつかめます。

既存のMLエンジニアにとって3Dは「新分野」というより 出力が画像ではなく空間である、もう1つの生成/復元問題 です — ディフュージョン・トランスフォーマー・データ精製という文法はそのままです。

おわりに

3Dを作る道は2つです。現実をよみがえらせる 復元 は、SfMからNeRFを経てリアルタイムのガウシアンスプラッティングへ、そしてシーンごとに学習しないfeedforwardへと進んでいます。無から築く 生成 は、2D蒸留(DreamFusion)からネイティブ3Dディフュージョンへ、そして数十秒でゲームレディなPBRを取り出すTRELLIS・Hunyuan3Dへと成熟しました。2つの道はどちらも結局、ディフュージョンとトランスフォーマーという同じエンジンの上にあり — だからLLM・画像モデルを扱ってきたエンジニアなら、あなたの技術はすでに半分ほど3Dの技術です。

参考資料

현재 단락 (1/64)

「3Dモデルを作って」という一文の中には、実はまったく異なる2つの要求が混ざっています。

작성 글자: 0자원문 글자: 5,997자작성 단락: 0/64