Zweiter Durchlauf für Geometrie und Outfit: Referenzbild per Tripo-Image-Edit auf ein petrolfarbenes Kürkleid umgestellt (20 Credits), daraus ein Ultra-Image→3D (geometry_quality=detailed, 50 Credits). - v008: 59.488 Dreiecke, 1,7 m, 222 Control-/30 Deform-Bones, Glide unverändert per Rotations-Retargeting - Lider, Ohren und Haaransatz deutlich besser als v007; Finger bleiben verschmolzen - Manifest-Eintrag auf Version 2 (v008), Skater3D-Fallback und check_export.sh nachgezogen - tools/blender/build_skater.py: Rig, Retarget und Export in einem Befehl, reproduziert die manuelle GLB byte-identisch - Lizenz-Log um Bild-Edit und Ultra-Lauf ergänzt, Doku und AGENTS.md aktualisiert
157 lines
7.7 KiB
Markdown
157 lines
7.7 KiB
Markdown
# Findings – Tripo-Skater riggen und Glide retargeten (2026-11-12)
|
||
|
||
## Ziel
|
||
|
||
Aus dem Tripo-Mesh einen Spielcharakter machen: riggen, den bestehenden
|
||
`Glide`-Clip übernehmen, als GLB exportieren und in `Skater3D` anbinden.
|
||
Kostenrahmen: nur ein Tripo-Lauf, kein fal.
|
||
|
||
## Ausgangslage
|
||
|
||
- Mesh: `tripo3d/h3.1/image-to-3d` über die Tripo-Pay-as-you-go-API
|
||
(Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff`), 60.000-Face-Budget,
|
||
Textur v3.5, Referenz `flux2pro_reference_front.png`, 30 Credits.
|
||
- Ergebnis: 59.350 Dreiecke, 34.103 Vertices, 1,70 m, Pivot in der
|
||
Körpermitte, Blick +X, A-Pose mit leicht geöffneten Armen.
|
||
- Vergleich zur Produktionsfigur (`skater_figure_glide_v006.glb`): 1,898 m,
|
||
13.956 Dreiecke, 30 Deform-Bones, `Glide` als 2-s-Loop.
|
||
|
||
## Stolperstein 1: Rig-Transfer von der Produktionsfigur scheitert
|
||
|
||
Erster Versuch war, die 30-Bone-Armatur der Produktionsfigur zu behalten, das
|
||
neue Mesh auf 1,898 m zu skalieren und mit `ARMATURE_AUTO` (Bone-Heat) zu
|
||
binden. Der Bind lief ohne Fehler durch, das Ergebnis war aber unbrauchbar:
|
||
Ärmelstücke, Rockfragmente und Handpartien hingen als freie Inseln im Raum,
|
||
weil die Gelenkpositionen des alten Rigs nicht zu den Proportionen des neuen
|
||
Meshes passen und die Tripo-Topologie aus vielen Inseln besteht. Bone-Heat
|
||
scheitert hier still, nicht mit einer Fehlermeldung.
|
||
|
||
**Konsequenz:** Rig muss zum Mesh passen. Also AutoRigPro.
|
||
|
||
## Stolperstein 2: AutoRigPro headless
|
||
|
||
ARP ist ein UI-Addon. Die relevanten Stellen:
|
||
|
||
- `arp.append_arp(rig_preset='human')` bricht in `blender -b` ab, weil
|
||
`bpy.context.space_data.overlay` in der Konsole `None` ist. Der Abbruch
|
||
passiert **nach** dem Anlegen der Referenzknochen, aber **vor** Treiber- und
|
||
Layer-Konvertierung – einfaches Abfangen reicht deshalb nicht.
|
||
- Lösung: Blender mit GUI starten (`DISPLAY=:0`), den Aufruf in
|
||
`bpy.context.temp_override(window=…, screen=…, area=…, region=…)` legen und
|
||
die Arbeit aus einem `bpy.app.timers`-Callback starten. Direkt beim
|
||
Skriptstart ist `bpy.context.window_manager.windows` noch leer.
|
||
- `bpy.ops.wm.quit_blender()` am Ende, sonst hängt der Prozess.
|
||
|
||
## Ablauf, der funktioniert
|
||
|
||
1. **Mesh vorbereiten** – Transformationen direkt in die Mesh-Daten backen
|
||
(`mesh.data.transform(...)`), nicht per `transform_apply`: der Operator lief
|
||
im Timer-Kontext still ins Leere, sodass Skalierung und Rotation nie
|
||
ankamen. Danach: Drehung um −90° um Z (Blick −Y, ARP-Vorne), auf 1,70 m
|
||
skalieren, Füße auf Z = 0, in X/Y zentrieren.
|
||
2. **Smart-Modus** – `bpy.ops.id.get_selected_objects('EXEC_DEFAULT')` mit
|
||
ausgewähltem Mesh. Legt `body_temp` und die Marker-Sammlung an,
|
||
`scene.arp_body_name` zeigt danach auf die Kopie.
|
||
3. **Marker setzen** – `bpy.ops.id.add_marker('EXEC_DEFAULT', body_part=…)`
|
||
für `root`, `neck`, `chin`, `head_tip`, `shoulder`, `elbow`, `hand`,
|
||
`hand_tip`, `thigh`, `knee`, `foot`. Die rechte Seite entsteht automatisch
|
||
als `_loc_sym` mit gespiegelter Copy-Location. `arp_fingers_enable = False`,
|
||
`arp_smart_sym = True`, `arp_bind_engine = 'PSEUDO_VOXELS'`.
|
||
4. **Erkennen** – `bpy.ops.id.go_detect('EXEC_DEFAULT')`. Meldet
|
||
„Could not find wrist/shoulder, marker out of mesh“, wenn ein Marker neben
|
||
dem Mesh liegt; dann Marker nachjustieren, nicht das Rig.
|
||
5. **Match to Rig + Bind** – `bpy.ops.arp.match_to_rig()` und
|
||
`bpy.ops.arp.bind_to_rig()` mit Mesh plus Armatur ausgewählt (Armatur
|
||
aktiv). Ergebnis: 222 Control-Bones, 30 gewichtete Deform-Bones,
|
||
4 Einflüsse pro Vertex.
|
||
6. **Glide retargeten** – Produktions-GLB zusätzlich importieren, pro Frame
|
||
die Weltrotation jedes Quell-Bones relativ zu seiner Ruhepose berechnen
|
||
(`delta = pose_src · rest_src⁻¹`) und daraus die lokale Basis des
|
||
Ziel-Bones ableiten. Nur Rotationen, keine Translationen – sonst wandert
|
||
die Figur wegen der unterschiedlichen Hüfthöhe nach oben. Die Namen sind
|
||
zwischen beiden Rigs identisch (`thigh_stretch.l`, `leg_stretch.l`,
|
||
`arm_stretch.l`, …), weil die Produktionsfigur ebenfalls aus ARP stammt.
|
||
7. **Export** – `use_deform` nur für die 30 gewichteten Bones, alle anderen
|
||
Aktionen löschen, damit der Clip exakt `Glide` heißt (sonst exportiert
|
||
Blender `Glide.001` und `Skater3D` findet ihn nicht).
|
||
|
||
## Messwerte
|
||
|
||
| Wert | Produktion (v006) | Neu (v007) |
|
||
| :--- | ---: | ---: |
|
||
| Dreiecke | 13.956 | 59.350 |
|
||
| Höhe | 1,898 m | 1,700 m |
|
||
| Deform-Bones | 30 | 30 |
|
||
| Einflüsse/Vertex | 8 | 4 |
|
||
| `Glide` | 48 Frames / 2 s | 48 Frames / 2 s (retargetet) |
|
||
| Klingen x | ±0,065 m | ±0,154 m |
|
||
| Dateigröße | 8,59 MB | 2,71 MB |
|
||
|
||
Der Klingenabstand steht als `BLADE_LATERAL_OFFSET_M` in `skater_3d.gd` und
|
||
muss bei einem Figurenwechsel mitgezogen werden, sonst liegt die Kufenspur
|
||
neben den Schlittschuhen.
|
||
|
||
## Bewertung
|
||
|
||
- Der Bind ist stabil: Arme über Kopf, Knie angehoben und `Glide` hinterlassen
|
||
keine Risse oder abgerissenen Inseln.
|
||
- Der Rock bleibt starr am Becken; ein angehobenes Bein kann den
|
||
Schlittschuh durch den Rock schieben. Für die Vorschau akzeptabel, für
|
||
Sprünge nicht.
|
||
- Gesicht und Hände bleiben die Schwachstellen des Meshes (geschlossene
|
||
Lider, spitz zulaufende Ohren, verschmolzene Finger). In der
|
||
Vorschau-Distanz unsichtbar, in Nahaufnahmen sichtbar.
|
||
- `Glide` ist ein subtiler Loop; das Retargeting validiert die Zuordnung,
|
||
nicht die Deformation unter starker Bewegung. Ein Stresstest mit echten
|
||
Clips (Pirouette, Sprung) steht aus.
|
||
|
||
## Artefakte
|
||
|
||
- Rig-Quelle: `source/characters/skater/skater_rig_v007.blend` (Workbench)
|
||
- GLB: `library/characters/skater_figure_glide_v007.glb` →
|
||
`rinkplanner/assets/external/characters/skater_figure_glide_v007.glb`
|
||
- Zwischenschritte und Vergleichsrender:
|
||
`~/Downloads/rinkplanner_skater_tripo_v002/`
|
||
(`arp_markers_v2.blend`, `arp_matched.blend`, `arp_bound.blend`,
|
||
`arp_glide.blend`, `glide_new_sheet.png`, `arp_ik_test.png`)
|
||
|
||
## Nachtrag: Ultra-Lauf mit Kürkleid (v008)
|
||
|
||
Zweiter Durchlauf am selben Tag, zwei Wünsche auf einmal: bessere Geometrie
|
||
und ein Kürkleid statt des Trainingsdresses.
|
||
|
||
**Referenzbild.** Statt neu zu text→image ging ein Image-Edit auf die
|
||
bestehende FLUX-Referenz (`chat_image_2.5_sunburst`, quality `high`, Größe
|
||
768×1024). Der Prompt hielt Gesicht, Pose, Bildausschnitt und Beleuchtung fest
|
||
und tauschte nur das Outfit: langärmliges Kürkleid, Paillettenverlauf von
|
||
Türkis nach Petrol, kurzer Rock, blickdichte Strumpfhose, dieselben weißen
|
||
Schlittschuhe. Task `316752d8-16e7-49c8-beb1-d2223afc9f79`, **20 Credits**.
|
||
Ergebnis war direkt brauchbar: gleiche Läuferin, gleiche Pose.
|
||
|
||
**Mesh.** `tripo_image_to_3d` mit `geometry_quality=detailed` (Ultra),
|
||
face_limit 60.000, Textur v3.5, Task
|
||
`834f0e29-65db-49d2-a02b-7a6239a4d07a`, **50 Credits**. Ergebnis: 59.488
|
||
Dreiecke, 1,70 m.
|
||
|
||
**Was Ultra gebracht hat:**
|
||
|
||
- Lider haben jetzt Form und eine Lidfalte – vorher eine glatte Fläche.
|
||
- Ohren sind normale Ohren, keine Elfenohren.
|
||
- Haaransatz und Dutt zeigen Strähnen statt einer Naht.
|
||
- Finger bleiben verschmolzene Blobs; die Trennung ist im Mesh angelegt,
|
||
aber nicht durchgezogen.
|
||
|
||
**Rig und Clip** liefen unverändert: gleiche Marker-Kalibrierung, gleiche
|
||
Erkennung, gleicher Bind (`PSEUDO_VOXELS`, 30 Deform-Bones), gleiches
|
||
Rotations-Retargeting. Der Klingenabstand bleibt bei ±0,154 m.
|
||
|
||
**Werkzeug.** Der Ablauf steckt jetzt in `tools/blender/build_skater.py`:
|
||
ein Aufruf riggt, retargetet und exportiert. Das Skript startet nach dem Bind
|
||
einen zweiten, headless Blender-Prozess für Retarget und Export, weil der
|
||
glTF-Importer in derselben Datei an der zweiten Armatur namens `rig`
|
||
scheitert (`KeyError: 'arm_stretch.l'`). Mit der Trennung ist der Lauf
|
||
deterministisch: das Werkzeug erzeugt byte-identisch dieselbe GLB wie der
|
||
manuelle Lauf.
|
||
|
||
**Kosten gesamt:** 30 Credits (v007) + 20 (Bild-Edit) + 50 (Ultra) = 100
|
||
Credits von 1.000; Rest 900.
|