rinkplanner/docs/findings-2026-11-12-tripo-skater-rig.md
torsten 135f4ce040 feat: Ultra-Skater im Kürkleid und Rig-Werkzeug
Zweiter Durchlauf für Geometrie und Outfit: Referenzbild per Tripo-Image-Edit
auf ein petrolfarbenes Kürkleid umgestellt (20 Credits), daraus ein
Ultra-Image→3D (geometry_quality=detailed, 50 Credits).

- v008: 59.488 Dreiecke, 1,7 m, 222 Control-/30 Deform-Bones, Glide
  unverändert per Rotations-Retargeting
- Lider, Ohren und Haaransatz deutlich besser als v007; Finger bleiben
  verschmolzen
- Manifest-Eintrag auf Version 2 (v008), Skater3D-Fallback und
  check_export.sh nachgezogen
- tools/blender/build_skater.py: Rig, Retarget und Export in einem Befehl,
  reproduziert die manuelle GLB byte-identisch
- Lizenz-Log um Bild-Edit und Ultra-Lauf ergänzt, Doku und AGENTS.md aktualisiert
2026-11-12 06:04:47 +01:00

157 lines
7.7 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# Findings – Tripo-Skater riggen und Glide retargeten (2026-11-12)
## Ziel
Aus dem Tripo-Mesh einen Spielcharakter machen: riggen, den bestehenden
`Glide`-Clip übernehmen, als GLB exportieren und in `Skater3D` anbinden.
Kostenrahmen: nur ein Tripo-Lauf, kein fal.
## Ausgangslage
- Mesh: `tripo3d/h3.1/image-to-3d` über die Tripo-Pay-as-you-go-API
(Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff`), 60.000-Face-Budget,
Textur v3.5, Referenz `flux2pro_reference_front.png`, 30 Credits.
- Ergebnis: 59.350 Dreiecke, 34.103 Vertices, 1,70 m, Pivot in der
Körpermitte, Blick +X, A-Pose mit leicht geöffneten Armen.
- Vergleich zur Produktionsfigur (`skater_figure_glide_v006.glb`): 1,898 m,
13.956 Dreiecke, 30 Deform-Bones, `Glide` als 2-s-Loop.
## Stolperstein 1: Rig-Transfer von der Produktionsfigur scheitert
Erster Versuch war, die 30-Bone-Armatur der Produktionsfigur zu behalten, das
neue Mesh auf 1,898 m zu skalieren und mit `ARMATURE_AUTO` (Bone-Heat) zu
binden. Der Bind lief ohne Fehler durch, das Ergebnis war aber unbrauchbar:
Ärmelstücke, Rockfragmente und Handpartien hingen als freie Inseln im Raum,
weil die Gelenkpositionen des alten Rigs nicht zu den Proportionen des neuen
Meshes passen und die Tripo-Topologie aus vielen Inseln besteht. Bone-Heat
scheitert hier still, nicht mit einer Fehlermeldung.
**Konsequenz:** Rig muss zum Mesh passen. Also AutoRigPro.
## Stolperstein 2: AutoRigPro headless
ARP ist ein UI-Addon. Die relevanten Stellen:
- `arp.append_arp(rig_preset='human')` bricht in `blender -b` ab, weil
`bpy.context.space_data.overlay` in der Konsole `None` ist. Der Abbruch
passiert **nach** dem Anlegen der Referenzknochen, aber **vor** Treiber- und
Layer-Konvertierung – einfaches Abfangen reicht deshalb nicht.
- Lösung: Blender mit GUI starten (`DISPLAY=:0`), den Aufruf in
`bpy.context.temp_override(window=…, screen=…, area=…, region=…)` legen und
die Arbeit aus einem `bpy.app.timers`-Callback starten. Direkt beim
Skriptstart ist `bpy.context.window_manager.windows` noch leer.
- `bpy.ops.wm.quit_blender()` am Ende, sonst hängt der Prozess.
## Ablauf, der funktioniert
1. **Mesh vorbereiten** – Transformationen direkt in die Mesh-Daten backen
(`mesh.data.transform(...)`), nicht per `transform_apply`: der Operator lief
im Timer-Kontext still ins Leere, sodass Skalierung und Rotation nie
ankamen. Danach: Drehung um −90° um Z (Blick −Y, ARP-Vorne), auf 1,70 m
skalieren, Füße auf Z = 0, in X/Y zentrieren.
2. **Smart-Modus** – `bpy.ops.id.get_selected_objects('EXEC_DEFAULT')` mit
ausgewähltem Mesh. Legt `body_temp` und die Marker-Sammlung an,
`scene.arp_body_name` zeigt danach auf die Kopie.
3. **Marker setzen** – `bpy.ops.id.add_marker('EXEC_DEFAULT', body_part=…)`
für `root`, `neck`, `chin`, `head_tip`, `shoulder`, `elbow`, `hand`,
`hand_tip`, `thigh`, `knee`, `foot`. Die rechte Seite entsteht automatisch
als `_loc_sym` mit gespiegelter Copy-Location. `arp_fingers_enable = False`,
`arp_smart_sym = True`, `arp_bind_engine = 'PSEUDO_VOXELS'`.
4. **Erkennen** – `bpy.ops.id.go_detect('EXEC_DEFAULT')`. Meldet
„Could not find wrist/shoulder, marker out of mesh“, wenn ein Marker neben
dem Mesh liegt; dann Marker nachjustieren, nicht das Rig.
5. **Match to Rig + Bind** – `bpy.ops.arp.match_to_rig()` und
`bpy.ops.arp.bind_to_rig()` mit Mesh plus Armatur ausgewählt (Armatur
aktiv). Ergebnis: 222 Control-Bones, 30 gewichtete Deform-Bones,
4 Einflüsse pro Vertex.
6. **Glide retargeten** – Produktions-GLB zusätzlich importieren, pro Frame
die Weltrotation jedes Quell-Bones relativ zu seiner Ruhepose berechnen
(`delta = pose_src · rest_src⁻¹`) und daraus die lokale Basis des
Ziel-Bones ableiten. Nur Rotationen, keine Translationen – sonst wandert
die Figur wegen der unterschiedlichen Hüfthöhe nach oben. Die Namen sind
zwischen beiden Rigs identisch (`thigh_stretch.l`, `leg_stretch.l`,
`arm_stretch.l`, …), weil die Produktionsfigur ebenfalls aus ARP stammt.
7. **Export** – `use_deform` nur für die 30 gewichteten Bones, alle anderen
Aktionen löschen, damit der Clip exakt `Glide` heißt (sonst exportiert
Blender `Glide.001` und `Skater3D` findet ihn nicht).
## Messwerte
| Wert | Produktion (v006) | Neu (v007) |
| :--- | ---: | ---: |
| Dreiecke | 13.956 | 59.350 |
| Höhe | 1,898 m | 1,700 m |
| Deform-Bones | 30 | 30 |
| Einflüsse/Vertex | 8 | 4 |
| `Glide` | 48 Frames / 2 s | 48 Frames / 2 s (retargetet) |
| Klingen x | ±0,065 m | ±0,154 m |
| Dateigröße | 8,59 MB | 2,71 MB |
Der Klingenabstand steht als `BLADE_LATERAL_OFFSET_M` in `skater_3d.gd` und
muss bei einem Figurenwechsel mitgezogen werden, sonst liegt die Kufenspur
neben den Schlittschuhen.
## Bewertung
- Der Bind ist stabil: Arme über Kopf, Knie angehoben und `Glide` hinterlassen
keine Risse oder abgerissenen Inseln.
- Der Rock bleibt starr am Becken; ein angehobenes Bein kann den
Schlittschuh durch den Rock schieben. Für die Vorschau akzeptabel, für
Sprünge nicht.
- Gesicht und Hände bleiben die Schwachstellen des Meshes (geschlossene
Lider, spitz zulaufende Ohren, verschmolzene Finger). In der
Vorschau-Distanz unsichtbar, in Nahaufnahmen sichtbar.
- `Glide` ist ein subtiler Loop; das Retargeting validiert die Zuordnung,
nicht die Deformation unter starker Bewegung. Ein Stresstest mit echten
Clips (Pirouette, Sprung) steht aus.
## Artefakte
- Rig-Quelle: `source/characters/skater/skater_rig_v007.blend` (Workbench)
- GLB: `library/characters/skater_figure_glide_v007.glb` →
`rinkplanner/assets/external/characters/skater_figure_glide_v007.glb`
- Zwischenschritte und Vergleichsrender:
`~/Downloads/rinkplanner_skater_tripo_v002/`
(`arp_markers_v2.blend`, `arp_matched.blend`, `arp_bound.blend`,
`arp_glide.blend`, `glide_new_sheet.png`, `arp_ik_test.png`)
## Nachtrag: Ultra-Lauf mit Kürkleid (v008)
Zweiter Durchlauf am selben Tag, zwei Wünsche auf einmal: bessere Geometrie
und ein Kürkleid statt des Trainingsdresses.
**Referenzbild.** Statt neu zu text→image ging ein Image-Edit auf die
bestehende FLUX-Referenz (`chat_image_2.5_sunburst`, quality `high`, Größe
768×1024). Der Prompt hielt Gesicht, Pose, Bildausschnitt und Beleuchtung fest
und tauschte nur das Outfit: langärmliges Kürkleid, Paillettenverlauf von
Türkis nach Petrol, kurzer Rock, blickdichte Strumpfhose, dieselben weißen
Schlittschuhe. Task `316752d8-16e7-49c8-beb1-d2223afc9f79`, **20 Credits**.
Ergebnis war direkt brauchbar: gleiche Läuferin, gleiche Pose.
**Mesh.** `tripo_image_to_3d` mit `geometry_quality=detailed` (Ultra),
face_limit 60.000, Textur v3.5, Task
`834f0e29-65db-49d2-a02b-7a6239a4d07a`, **50 Credits**. Ergebnis: 59.488
Dreiecke, 1,70 m.
**Was Ultra gebracht hat:**
- Lider haben jetzt Form und eine Lidfalte – vorher eine glatte Fläche.
- Ohren sind normale Ohren, keine Elfenohren.
- Haaransatz und Dutt zeigen Strähnen statt einer Naht.
- Finger bleiben verschmolzene Blobs; die Trennung ist im Mesh angelegt,
aber nicht durchgezogen.
**Rig und Clip** liefen unverändert: gleiche Marker-Kalibrierung, gleiche
Erkennung, gleicher Bind (`PSEUDO_VOXELS`, 30 Deform-Bones), gleiches
Rotations-Retargeting. Der Klingenabstand bleibt bei ±0,154 m.
**Werkzeug.** Der Ablauf steckt jetzt in `tools/blender/build_skater.py`:
ein Aufruf riggt, retargetet und exportiert. Das Skript startet nach dem Bind
einen zweiten, headless Blender-Prozess für Retarget und Export, weil der
glTF-Importer in derselben Datei an der zweiten Armatur namens `rig`
scheitert (`KeyError: 'arm_stretch.l'`). Mit der Trennung ist der Lauf
deterministisch: das Werkzeug erzeugt byte-identisch dieselbe GLB wie der
manuelle Lauf.
**Kosten gesamt:** 30 Credits (v007) + 20 (Bild-Edit) + 50 (Ultra) = 100
Credits von 1.000; Rest 900.