rinkplanner/docs/findings-2026-11-12-tripo-skater-rig.md

158 lines
7.7 KiB
Markdown
Raw Normal View History

# Findings – Tripo-Skater riggen und Glide retargeten (2026-11-12)
## Ziel
Aus dem Tripo-Mesh einen Spielcharakter machen: riggen, den bestehenden
`Glide`-Clip übernehmen, als GLB exportieren und in `Skater3D` anbinden.
Kostenrahmen: nur ein Tripo-Lauf, kein fal.
## Ausgangslage
- Mesh: `tripo3d/h3.1/image-to-3d` über die Tripo-Pay-as-you-go-API
(Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff`), 60.000-Face-Budget,
Textur v3.5, Referenz `flux2pro_reference_front.png`, 30 Credits.
- Ergebnis: 59.350 Dreiecke, 34.103 Vertices, 1,70 m, Pivot in der
Körpermitte, Blick +X, A-Pose mit leicht geöffneten Armen.
- Vergleich zur Produktionsfigur (`skater_figure_glide_v006.glb`): 1,898 m,
13.956 Dreiecke, 30 Deform-Bones, `Glide` als 2-s-Loop.
## Stolperstein 1: Rig-Transfer von der Produktionsfigur scheitert
Erster Versuch war, die 30-Bone-Armatur der Produktionsfigur zu behalten, das
neue Mesh auf 1,898 m zu skalieren und mit `ARMATURE_AUTO` (Bone-Heat) zu
binden. Der Bind lief ohne Fehler durch, das Ergebnis war aber unbrauchbar:
Ärmelstücke, Rockfragmente und Handpartien hingen als freie Inseln im Raum,
weil die Gelenkpositionen des alten Rigs nicht zu den Proportionen des neuen
Meshes passen und die Tripo-Topologie aus vielen Inseln besteht. Bone-Heat
scheitert hier still, nicht mit einer Fehlermeldung.
**Konsequenz:** Rig muss zum Mesh passen. Also AutoRigPro.
## Stolperstein 2: AutoRigPro headless
ARP ist ein UI-Addon. Die relevanten Stellen:
- `arp.append_arp(rig_preset='human')` bricht in `blender -b` ab, weil
`bpy.context.space_data.overlay` in der Konsole `None` ist. Der Abbruch
passiert **nach** dem Anlegen der Referenzknochen, aber **vor** Treiber- und
Layer-Konvertierung – einfaches Abfangen reicht deshalb nicht.
- Lösung: Blender mit GUI starten (`DISPLAY=:0`), den Aufruf in
`bpy.context.temp_override(window=…, screen=…, area=…, region=…)` legen und
die Arbeit aus einem `bpy.app.timers`-Callback starten. Direkt beim
Skriptstart ist `bpy.context.window_manager.windows` noch leer.
- `bpy.ops.wm.quit_blender()` am Ende, sonst hängt der Prozess.
## Ablauf, der funktioniert
1. **Mesh vorbereiten** – Transformationen direkt in die Mesh-Daten backen
(`mesh.data.transform(...)`), nicht per `transform_apply`: der Operator lief
im Timer-Kontext still ins Leere, sodass Skalierung und Rotation nie
ankamen. Danach: Drehung um −90° um Z (Blick −Y, ARP-Vorne), auf 1,70 m
skalieren, Füße auf Z = 0, in X/Y zentrieren.
2. **Smart-Modus** – `bpy.ops.id.get_selected_objects('EXEC_DEFAULT')` mit
ausgewähltem Mesh. Legt `body_temp` und die Marker-Sammlung an,
`scene.arp_body_name` zeigt danach auf die Kopie.
3. **Marker setzen** – `bpy.ops.id.add_marker('EXEC_DEFAULT', body_part=…)`
für `root`, `neck`, `chin`, `head_tip`, `shoulder`, `elbow`, `hand`,
`hand_tip`, `thigh`, `knee`, `foot`. Die rechte Seite entsteht automatisch
als `_loc_sym` mit gespiegelter Copy-Location. `arp_fingers_enable = False`,
`arp_smart_sym = True`, `arp_bind_engine = 'PSEUDO_VOXELS'`.
4. **Erkennen** – `bpy.ops.id.go_detect('EXEC_DEFAULT')`. Meldet
„Could not find wrist/shoulder, marker out of mesh“, wenn ein Marker neben
dem Mesh liegt; dann Marker nachjustieren, nicht das Rig.
5. **Match to Rig + Bind** – `bpy.ops.arp.match_to_rig()` und
`bpy.ops.arp.bind_to_rig()` mit Mesh plus Armatur ausgewählt (Armatur
aktiv). Ergebnis: 222 Control-Bones, 30 gewichtete Deform-Bones,
4 Einflüsse pro Vertex.
6. **Glide retargeten** – Produktions-GLB zusätzlich importieren, pro Frame
die Weltrotation jedes Quell-Bones relativ zu seiner Ruhepose berechnen
(`delta = pose_src · rest_src⁻¹`) und daraus die lokale Basis des
Ziel-Bones ableiten. Nur Rotationen, keine Translationen – sonst wandert
die Figur wegen der unterschiedlichen Hüfthöhe nach oben. Die Namen sind
zwischen beiden Rigs identisch (`thigh_stretch.l`, `leg_stretch.l`,
`arm_stretch.l`, …), weil die Produktionsfigur ebenfalls aus ARP stammt.
7. **Export** – `use_deform` nur für die 30 gewichteten Bones, alle anderen
Aktionen löschen, damit der Clip exakt `Glide` heißt (sonst exportiert
Blender `Glide.001` und `Skater3D` findet ihn nicht).
## Messwerte
| Wert | Produktion (v006) | Neu (v007) |
| :--- | ---: | ---: |
| Dreiecke | 13.956 | 59.350 |
| Höhe | 1,898 m | 1,700 m |
| Deform-Bones | 30 | 30 |
| Einflüsse/Vertex | 8 | 4 |
| `Glide` | 48 Frames / 2 s | 48 Frames / 2 s (retargetet) |
| Klingen x | ±0,065 m | ±0,154 m |
| Dateigröße | 8,59 MB | 2,71 MB |
Der Klingenabstand steht als `BLADE_LATERAL_OFFSET_M` in `skater_3d.gd` und
muss bei einem Figurenwechsel mitgezogen werden, sonst liegt die Kufenspur
neben den Schlittschuhen.
## Bewertung
- Der Bind ist stabil: Arme über Kopf, Knie angehoben und `Glide` hinterlassen
keine Risse oder abgerissenen Inseln.
- Der Rock bleibt starr am Becken; ein angehobenes Bein kann den
Schlittschuh durch den Rock schieben. Für die Vorschau akzeptabel, für
Sprünge nicht.
- Gesicht und Hände bleiben die Schwachstellen des Meshes (geschlossene
Lider, spitz zulaufende Ohren, verschmolzene Finger). In der
Vorschau-Distanz unsichtbar, in Nahaufnahmen sichtbar.
- `Glide` ist ein subtiler Loop; das Retargeting validiert die Zuordnung,
nicht die Deformation unter starker Bewegung. Ein Stresstest mit echten
Clips (Pirouette, Sprung) steht aus.
## Artefakte
- Rig-Quelle: `source/characters/skater/skater_rig_v007.blend` (Workbench)
- GLB: `library/characters/skater_figure_glide_v007.glb` →
`rinkplanner/assets/external/characters/skater_figure_glide_v007.glb`
- Zwischenschritte und Vergleichsrender:
`~/Downloads/rinkplanner_skater_tripo_v002/`
(`arp_markers_v2.blend`, `arp_matched.blend`, `arp_bound.blend`,
`arp_glide.blend`, `glide_new_sheet.png`, `arp_ik_test.png`)
## Nachtrag: Ultra-Lauf mit Kürkleid (v008)
Zweiter Durchlauf am selben Tag, zwei Wünsche auf einmal: bessere Geometrie
und ein Kürkleid statt des Trainingsdresses.
**Referenzbild.** Statt neu zu text→image ging ein Image-Edit auf die
bestehende FLUX-Referenz (`chat_image_2.5_sunburst`, quality `high`, Größe
768×1024). Der Prompt hielt Gesicht, Pose, Bildausschnitt und Beleuchtung fest
und tauschte nur das Outfit: langärmliges Kürkleid, Paillettenverlauf von
Türkis nach Petrol, kurzer Rock, blickdichte Strumpfhose, dieselben weißen
Schlittschuhe. Task `316752d8-16e7-49c8-beb1-d2223afc9f79`, **20 Credits**.
Ergebnis war direkt brauchbar: gleiche Läuferin, gleiche Pose.
**Mesh.** `tripo_image_to_3d` mit `geometry_quality=detailed` (Ultra),
face_limit 60.000, Textur v3.5, Task
`834f0e29-65db-49d2-a02b-7a6239a4d07a`, **50 Credits**. Ergebnis: 59.488
Dreiecke, 1,70 m.
**Was Ultra gebracht hat:**
- Lider haben jetzt Form und eine Lidfalte – vorher eine glatte Fläche.
- Ohren sind normale Ohren, keine Elfenohren.
- Haaransatz und Dutt zeigen Strähnen statt einer Naht.
- Finger bleiben verschmolzene Blobs; die Trennung ist im Mesh angelegt,
aber nicht durchgezogen.
**Rig und Clip** liefen unverändert: gleiche Marker-Kalibrierung, gleiche
Erkennung, gleicher Bind (`PSEUDO_VOXELS`, 30 Deform-Bones), gleiches
Rotations-Retargeting. Der Klingenabstand bleibt bei ±0,154 m.
**Werkzeug.** Der Ablauf steckt jetzt in `tools/blender/build_skater.py`:
ein Aufruf riggt, retargetet und exportiert. Das Skript startet nach dem Bind
einen zweiten, headless Blender-Prozess für Retarget und Export, weil der
glTF-Importer in derselben Datei an der zweiten Armatur namens `rig`
scheitert (`KeyError: 'arm_stretch.l'`). Mit der Trennung ist der Lauf
deterministisch: das Werkzeug erzeugt byte-identisch dieselbe GLB wie der
manuelle Lauf.
**Kosten gesamt:** 30 Credits (v007) + 20 (Bild-Edit) + 50 (Ultra) = 100
Credits von 1.000; Rest 900.