Pixal3D ist ein SIGGRAPH-2026-Projekt von Tsinghua, Tencent ARC und Victoria University of Wellington. Die aktuelle TRELLIS.2-Version unterstützt Einzelbilder, PBR-Texturen und seit September 2026 Mehransichtsinferenz.
Warum Pixelausrichtung wichtig ist
Viele Generatoren übertragen Bildmerkmale per Attention in einen kanonischen Objektraum. Pixal3D projiziert sie zurück in 3D und stellt eine eindeutige Beziehung zur Eingabeansicht her.
Ziel sind treue Konturen und lokale Details. Beispiele umfassen Kreaturen, mechanische Teile und Gebäude. Beurteile die Geometrie ebenso wie die texturierten Ansichten.
Einzelbild oder mehrere Ansichten
Einzelbildinferenz exportiert GLB. Die Mehransichtsvariante nutzt eigene Gewichte und benötigt einen Bilderordner mit transforms.json für die Kameras.
Der Bildausschnitt muss den Kameras entsprechen; Ansichten werden weder zugeschnitten noch skaliert. Die erste Aufnahme ist die kanonische Vorderansicht. Das Beispiel setzt vier Ansichten im 90°-Abstand, 0° Höhe und 20° Sichtfeld voraus.
GLB erzeugen und exportieren
Richte TRELLIS.2 und die Pixal3D-Zusatzabhängigkeiten einschließlich NATTEN und des angegebenen utils3d-Wheels ein. Die offizielle Hugging-Face-Demo funktioniert ohne lokale Installation.
Die Befehle zeigen beide Eingabewege. Standardauflösung ist 1536; --low_vram lädt Modelle bei Bedarf und verwendet 1024. --resolution überschreibt dies. Ohne FlashAttention ist ATTN_BACKEND=sdpa verfügbar.
python inference.py \
--image assets/images/0_img.png \
--output output.glb --low_vram
python inference_mv.py \
--views_dir assets/mv_images/example \
--output output_mv.glb --low_vramMit ComfyUI arbeiten
ComfyUI unterstützt Pixal3D und TRELLIS.2 nativ in derselben Vorlage. Pixal3D ist voreingestellt; ein Schalter aktiviert TRELLIS.2. Der verlinkte Leitfaden behandelt Mesh-Bereinigung, UVs, PBR-Baking und Export.
Die paper-Version basiert auf Direct3D-S2 und dient zur Reproduktion der Publikation. Die aktuelle Version nutzt TRELLIS.2. Vermische ihre Umgebungen und Gewichte nicht.
Welcher Pixal3D-Workflow passt?
| Workflow | Eingabe oder Basis | Einsatz |
|---|---|---|
| Aktuelles Einzelbild | Ein Bild; TRELLIS.2 | Detailliertes Asset mit PBR-Texturen |
| Aktuelle Mehransicht | Bilder und Kameras; eigene Gewichte | Bekannte Ansichten desselben Objekts kombinieren |
| paper-Version | Direct3D-S2 | Publizierte Experimente reproduzieren |
| ComfyUI-Vorlage | Node-basierter Einzelbildworkflow | Mesh-Bearbeitung und Material-Baking |
Häufige Fragen
Gehen mehrere Bilder ohne Kameraparameter?
Lokal wird transforms.json erwartet. Verwende die Beispielkameras nur bei der passenden Vier-Ansichten-Umlaufbahn; sonst sind korrekte Transformationen und Sichtfelder nötig.
Was verändert der Low-VRAM-Modus?
Modelle werden bei Bedarf geladen und die Standardauflösung sinkt von 1536 auf 1024. --resolution lässt sich ändern, höhere Werte brauchen jedoch mehr Speicher.
Ist GLB direkt spielbereit?
Prüfe Polygonzahl, UVs, Materialien und Geometrie vor dem Import. ComfyUI bietet Vereinfachung und Material-Baking.