Seed3D 1.0 — 画像から3Dアセット生成
ByteDance Seedが開発した基盤モデル。生成モデリングのスケーラビリティと明示的物理シミュレーションの信頼性を統合し、多様で高品質な物理シミュレーション対応3Dアセットを生成。
とは Seed3D 1.0
Seed3D 1.0は3D生成における3つの主要課題に取り組みます：高忠実度アセット生成、物理エンジン互換性、スケーラブルなシーン構成。これらの機能は、具現化AIが必要とするワールドシミュレーターの実現に向けた重要な一歩です。
主要 機能
高忠実度ジオメトリ＆テクスチャ
詳細なPBRマテリアルによる正確な3D再構築。精細な表面ディテールを保持しリアルなレンダリングを実現。
シミュレーション対応アセット
水密マニフォールドジオメトリで衝突メッシュを自動生成。Isaac Simや物理エンジンに直接統合。
スケーラブルなシーン生成
VLM駆動のレイアウトがシーンをオブジェクトに分解し、各アセットを合成して複雑な室内・都市環境を構築。
パフォーマンス 評価
人間評価
43枚の入力画像に対し、6つの主要次元で評価。すべての次元で非常に競争力のある性能を達成し、精細なディテールの生成と複雑な特徴の正確な再構築において高い忠実度を示す。
ジオメトリ生成
すべてのベースライン手法を一貫して上回り、より高いULIP-IおよびUni3D-Iスコアを達成。生成されたジオメトリと入力画像間のより良い整合性を示す。
テクスチャ生成
マルチビュー画像とPBRマテリアル生成において優れた能力を発揮。PBR推定能力を実証するため、グラウンドトゥルースのマルチビュー画像を使用した結果を報告。
シミュレーション対応 生成
アセットはIsaac Simに直接統合され、物理ベースのシミュレーションとロボット操作テストに使用可能。物理エンジンは接触力、物体ダイナミクス、操作結果のリアルタイムフィードバックを提供。
シーン 生成
分解アプローチにより、オブジェクト生成からシーン生成へ拡張。VLMがオブジェクトインスタンスと空間関係を抽出し、Seed3Dが各オブジェクトのジオメトリとマテリアルを合成。最終シーンは予測された空間レイアウトに従って組み立てられ、室内オフィスから大規模都市シーンまで対応。
ユース ケース
具現化AIトレーニング
多様な操作シナリオを通じて、視覚-言語-行動モデルのスケーラブルなトレーニングデータを生成。
ゲーム＆コンテンツ制作
仮想環境やゲーム開発向けの高品質3Dプロップとシーンを迅速に生成。
ロボティクスシミュレーション
ロボットの把持、ナビゲーション、マルチオブジェクトインタラクションをテストするリアルな環境を構築。