Seed3D 1.0 — 이미지에서 3D 에셋 생성
ByteDance Seed가 개발한 파운데이션 모델. 생성 모델링의 확장성과 명시적 물리 시뮬레이션의 신뢰성을 결합하여 다양하고 고품질의 물리 시뮬레이션 대응 3D 에셋을 생성.
소개 Seed3D 1.0
Seed3D 1.0은 3D 생성의 세 가지 핵심 과제를 해결합니다: 고충실도 에셋 생성, 물리 엔진 호환성, 확장 가능한 씬 구성. 이러한 기능은 구현 AI가 필요로 하는 월드 시뮬레이터 실현을 향한 중요한 한 걸음입니다.
핵심 기능
고충실도 지오메트리 & 텍스처
상세한 PBR 머티리얼로 정확한 3D 재구성. 정밀한 표면 디테일을 보존하여 사실적 렌더링 구현.
시뮬레이션 대응 에셋
수밀 매니폴드 지오메트리로 충돌 메시 자동 생성. Isaac Sim 및 물리 엔진에 직접 통합.
확장 가능한 씬 생성
VLM 기반 레이아웃이 씬을 오브젝트로 분해하고, 각 에셋을 합성하여 복잡한 실내 및 도시 환경을 구성.
성능 평가
인간 평가
43개 입력 이미지에 대해 6가지 핵심 차원에서 평가. 모든 차원에서 매우 경쟁력 있는 성능을 달성하며, 정밀한 디테일 생성과 복잡한 특징의 정확한 재구성에서 높은 충실도를 보임.
지오메트리 생성
모든 베이스라인 방법을 일관되게 능가하며, 더 높은 ULIP-I 및 Uni3D-I 점수를 달성. 생성된 지오메트리와 입력 이미지 간의 더 나은 정렬을 나타냄.
텍스처 생성
멀티뷰 이미지 및 PBR 머티리얼 생성에서 뛰어난 능력을 발휘. PBR 추정 능력을 입증하기 위해 그라운드 트루스 멀티뷰 이미지를 사용한 결과를 보고.
시뮬레이션 대응 생성
에셋은 Isaac Sim에 직접 통합되어 물리 기반 시뮬레이션 및 로봇 조작 테스트에 사용 가능. 물리 엔진은 접촉력, 오브젝트 역학 및 조작 결과에 대한 실시간 피드백을 제공.
씬 생성
분해 접근 방식을 통해 오브젝트 생성에서 씬 생성으로 확장. VLM이 오브젝트 인스턴스와 공간 관계를 추출한 후, Seed3D가 각 오브젝트의 지오메트리와 머티리얼을 합성. 최종 씬은 예측된 공간 레이아웃에 따라 조립 — 실내 사무실부터 대규모 도시 씬까지.
활용 사례
구현 AI 훈련
다양한 조작 시나리오를 통해 비전-언어-행동 모델의 확장 가능한 훈련 데이터 생성.
게임 & 콘텐츠 제작
가상 환경 및 게임 개발을 위한 고품질 3D 프롭과 씬을 빠르게 생성.
로보틱스 시뮬레이션
로봇 파지, 내비게이션, 다중 오브젝트 상호작용을 테스트하기 위한 사실적 환경 구축.