Pixal3D는 칭화대학교, Tencent ARC, Victoria University of Wellington의 SIGGRAPH 2026 연구입니다. 현재 구현은 TRELLIS.2 기반이며 PBR 텍스처와 2026년 9월 공개된 다중 시점 추론을 지원합니다.
픽셀 정렬이 중요한 이유
일반적인 생성기는 표준 물체 공간에 어텐션으로 이미지 특징을 주입합니다. Pixal3D는 특징을 3D로 역투영하여 입력 시점과 명확한 대응을 만듭니다.
목표는 충실한 윤곽과 국소 세부입니다. 예제에는 생물, 기계 부품, 건축물이 있습니다. 텍스처뿐 아니라 기하만 표시한 결과도 함께 평가하세요.
단일 이미지와 다중 시점 입력
단일 이미지 추론은 GLB를 출력합니다. 다중 시점은 전용 가중치를 사용하며 이미지 폴더와 카메라 정보를 담은 transforms.json이 필요합니다.
이미지를 자르거나 크기를 조정하지 않으므로 프레이밍이 카메라 정보와 맞아야 합니다. 첫 프레임은 표준 정면입니다. 제공 예제는 90° 간격의 네 시점, 고도 0°, 시야각 20°를 가정합니다.
GLB 생성과 내보내기
TRELLIS.2 환경을 구성한 뒤 NATTEN과 지정 utils3d wheel 등의 추가 의존성을 설치합니다. 로컬 설치 없이 시험하려면 공식 Hugging Face 데모를 사용할 수 있습니다.
아래 명령은 두 입력 경로를 보여 줍니다. 표준 해상도는 1536이고 --low_vram은 필요할 때 모델을 로드하며 1024를 사용합니다. --resolution으로 변경할 수 있습니다. FlashAttention이 없으면 ATTN_BACKEND=sdpa를 선택하세요.
python inference.py \
--image assets/images/0_img.png \
--output output.glb --low_vram
python inference_mv.py \
--views_dir assets/mv_images/example \
--output output_mv.glb --low_vramComfyUI에서 사용
ComfyUI는 공유 템플릿으로 Pixal3D와 TRELLIS.2를 기본 지원합니다. 기본값은 Pixal3D이며 스위치로 TRELLIS.2를 선택합니다. 관련 가이드에서 메시 정리, UV, PBR 베이킹과 내보내기를 설명합니다.
논문 실험 재현에는 Direct3D-S2 기반 paper 버전을 사용합니다. 현재 구현은 TRELLIS.2 기반입니다. 두 버전의 환경과 가중치를 섞지 마세요.
Pixal3D 워크플로 선택
| 흐름 | 입력 또는 기반 | 용도 |
|---|---|---|
| 현재 단일 이미지 | 이미지 한 장·TRELLIS.2 | PBR 텍스처를 포함한 정교한 에셋 |
| 현재 다중 시점 | 이미지와 카메라·전용 가중치 | 동일 물체의 알려진 시점 결합 |
| paper 버전 | Direct3D-S2 | 논문 실험 재현 |
| ComfyUI 템플릿 | 노드형 단일 이미지 처리 | 메시 처리와 재질 베이킹 |
자주 묻는 질문
카메라 정보 없이 여러 이미지를 쓸 수 있나요?
로컬 경로는 transforms.json이 필요합니다. 예제의 네 시점 배치와 일치할 때만 카메라 파일을 재사용하세요. 다른 배치는 맞는 변환과 시야각을 제공해야 합니다.
저VRAM 모드에서 무엇이 달라지나요?
필요할 때 모델을 로드하고 기본 해상도를 1536에서 1024로 낮춥니다. --resolution으로 변경할 수 있지만 고해상도에는 더 많은 메모리가 필요합니다.
GLB를 게임 엔진에 바로 사용할 수 있나요?
통합 전 폴리곤 수, UV, 재질과 기하 품질을 확인하세요. ComfyUI에는 메시 단순화와 재질 베이킹 과정이 있습니다.