diff --git a/AGENTS.md b/AGENTS.md index f1af4ed..d64018e 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -68,7 +68,19 @@ „6 ObjectDB instances leaked at exit". - **Blender:** `mcp-for-blender` über `uvx`, Addon in `~/.config/blender/5.2/scripts/addons/blender_mcp.py` (Port 9876). -- **fal:** Remote-Server `https://mcp.fal.ai/mcp-relay` (Streamable HTTP) mit +- **Tripo:** `tripo`-MCP (Toolset `full`) und CLI `/home/torsten/.local/bin/tripo` + sind die Quelle für 3D-Meshes. Der MCP-Wrapper in + `~/.config/opencode/opencode.jsonc` sourct selbst + `~/.config/environment.d/91-tripo.conf`; ohne das bekommt der Dienst + `TRIPO_API_KEY` nicht, weil OpenCode aus einem Terminal ohne die Variable + startet. Jeder generierende Aufruf kostet Credits – vorher `tripo_plan` bzw. + `dry_run` zeigen lassen, Kosten nennen, Zustimmung abwarten; danach + `tripo_usage` und `assets/license-log.csv` pflegen. +- **fal:** wird für 3D **nicht mehr** verwendet (Kosten), die Rechteklärung + vom 2026-11-12 bleibt dokumentiert in + `docs/findings-2026-11-11-ai-skater-model-comparison.md`. Die unten + beschriebene Anbindung bleibt nur für bestehende Bild-Endpunkte bestehen: + Remote-Server `https://mcp.fal.ai/mcp-relay` (Streamable HTTP) mit `Authorization: Bearer {env:FAL_KEY}` in `opencode.jsonc`. Kein OAuth nötig – der Relay akzeptiert den API-Key als Bearer, der Browser-Login scheitert dagegen oft am lokalen Callback-Port. diff --git a/assets/license-log.csv b/assets/license-log.csv index e640854..c16f580 100644 --- a/assets/license-log.csv +++ b/assets/license-log.csv @@ -10,3 +10,4 @@ datum,endpoint_id,request_id,prompt,seed,lizenz 2026-11-11,tripo3d/h3.1/image-to-3d,01a1c9d7-cfcc-7a32-85f5-af6dbb125f3d,"Image-to-3D from flux2pro_reference_front_1024x1536.png, seed 101",101,Tripo H3.1 via fal; commercial use confirmed by fal Support 2026-11-12; fal terms and no IP indemnity 2026-11-11,tripo3d/h3.1/image-to-3d,01a1c9d7-d014-77d3-89ff-1b4052294b75,"Image-to-3D from flux2pro_reference_front_1024x1536.png, seed 202",202,Tripo H3.1 via fal; commercial use confirmed by fal Support 2026-11-12; fal terms and no IP indemnity 2026-11-11,tripo3d/h3.1/image-to-3d,01a1c9d7-cf93-7612-be5c-37d303004632,"Image-to-3D from flux2pro_reference_front_1024x1536.png, seed 303",303,Tripo H3.1 via fal; commercial use confirmed by fal Support 2026-11-12; fal terms and no IP indemnity +2026-11-12,tripo/v3.1-20260211/image-to-3d,d8ee7a30-c1dc-4873-8770-4747d98a62ff,"Image-to-3D from flux2pro_reference_front.png, face_limit=60000, texture v3.5",,Tripo pay-as-you-go API; commercial use covered by paid API access diff --git a/docs/assets.md b/docs/assets.md index d58c8c1..4c7b26e 100644 --- a/docs/assets.md +++ b/docs/assets.md @@ -180,46 +180,69 @@ eine still veränderte Workbench-Datei wird nicht kopiert, sondern gemeldet. - `assets/external/` ist gitignored und wird nach dem Sync importiert. - `asset_manifest.json` wird über `include_filter="*.json"` mit exportiert. - Die Export-Presets schließen Test- und Gewichts-Assets - (`weights_rings*`), das noch nicht angebundene Tripo-Asset - (`skater_figure_tripo*`) sowie `assets/models/*` aus, nehmen aber die - Skater-GLB samt ihren Quelltexturen - (`assets/external/characters/skater_figure_glide_v006*`) mit. Fehlt die - GLB auf einem frischen Checkout, baut `Skater3D` weiterhin den Platzhalter; - `tools/check_export.sh` weist darauf hin und prüft die Texturen im Build. + (`weights_rings*`) und das ungenutzte, unrigged Tripo-Mesh + (`skater_figure_tripo*`) sowie `assets/models/*` aus, nehmen aber beide + Skater-GLB samt Quelltexturen mit + (`assets/external/characters/skater_figure_glide_v006*` und + `skater_figure_glide_v007*`). Fehlt die GLB auf einem frischen Checkout, + baut `Skater3D` weiterhin den Platzhalter; `tools/check_export.sh` weist + darauf hin und prüft die Texturen im Build. - Phase 1 bleibt unberührt: Der 2D-Code lädt keine 3D-Ressourcen. ## Aktueller Bestand | ID | Datei | Größe | Rig | Clips | | :--- | :--- | ---: | :--- | :--- | +| `character.skater.figure_tripo_glide` | `skater_figure_glide_v007.glb` | 2,71 MB | 222 Control / 30 Deform, 4 Einflüsse | `Glide` (2-s-Loop) | | `character.skater.figure` | `skater_figure_glide_v006.glb` | 8,59 MB | 222 Control / 30 Deform, 8 Einflüsse | `Glide` (2-s-Loop) | | `character.skater.figure_tripo` | `skater_figure_tripo_v001_30k.glb` | 7,19 MB | keins (unrigged) | – | -Die 3D-Vorschau lädt `character.skater.figure` über die Manifest-ID. -Fehlt sie, erscheint ein Platzhalter aus Kapsel und Kopf, damit ein frischer -Checkout und die Tests laufen. +Die 3D-Vorschau lädt `character.skater.figure_tripo_glide` über die +Manifest-ID. Fehlt sie, erscheint ein Platzhalter aus Kapsel und Kopf, damit +ein frischer Checkout und die Tests laufen. -### Tripo-Asset +### Tripo-Skater mit Glide (v007, aktiv) -`character.skater.figure_tripo` ist der Gewinner des Modellvergleichs vom -2026-11-11 (Tripo H3.1 Image→3D, Request `01a1c9c3-ce93-7cb1-8eb1-ca12dfa66c88`). -Es ist bewusst **nicht** an `Skater3D` angebunden und **nicht** in den -Export-Presets enthalten: +`character.skater.figure_tripo_glide` ist die erste geriggte Fassung des +Tripo-Meshes und seit 2026-11-12 die Figur, die `Skater3D` lädt: + +- 59.350 Dreiecke, Textur v3.5, Höhe 1,7 m, Blickrichtung `+Z`, Pivot Füße. +- Tripo-Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff` (Image→3D aus + `flux2pro_reference_front.png`, Modell v3.1, 60k-Face-Budget, 30 Credits, + über die Tripo-Pay-as-you-go-API statt fal). +- Rig lokal in Blender mit AutoRigPro: 222 Control-Bones, 30 Deform-Bones, + Bind `PSEUDO_VOXELS`, 4 Einflüsse pro Vertex. +- `Glide` per reinem Rotations-Retargeting von `skater_figure_glide_v006` + übernommen (2-s-Loop, 48 Frames bei 24 fps). +- Klingenabstand in der Vorschau: ±0,154 m (Konstante + `BLADE_LATERAL_OFFSET_M` in `skater_3d.gd`). +- Bekannte Schwächen: Lider ohne Augengeometrie, spitz zulaufende Ohren, + Finger als verschmolzene Blobs. Bei der Vorschau-Distanz unsichtbar, bei + Nahaufnahmen sichtbar. + +Ablauf, Stolpersteine und Messwerte: +`docs/findings-2026-11-12-tripo-skater-rig.md`. + +### Tripo-Mesh ohne Rig + +`character.skater.figure_tripo` bleibt als unrigged Zwischenstand im Manifest +(Gewinner des Modellvergleichs vom 2026-11-11, Request +`01a1c9c3-ce93-7cb1-8eb1-ca12dfa66c88`), ist aber **nicht** an `Skater3D` +angebunden und **nicht** in den Export-Presets enthalten: - 30k-Decimation (`skater_figure_tripo_v001_30k.glb`, 29.999 Dreiecke) ist die Projektfassung; die 116k-Quelle liegt nur in der Workbench (`library/characters/skater_figure_tripo_v001.glb`). - Unrigged (`rig.type: "none"`), Blickrichtung `+X`, Höhe 1,7 m. Der Manifest-Test akzeptiert `type: "none"` mit null Bones/Einflüssen. -- **Lizenz geklärt (2026-11-12):** fal Support hat bestätigt, dass für - `tripo3d/h3.1/image-to-3d` der Vertrag mit fal besteht, nicht mit Tripo; - Tripos Free-/Paid-User-AGB gelten nicht. Das Modell ist bei fal für - kommerzielle Nutzung freigegeben; die GLB darf in der kommerziellen - Desktop-/Mobile-App genutzt, verändert und weitergegeben werden. fal erhebt - keine Rechte an den Outputs, garantiert aber keine Originalität oder - Nichtrechtsverletzung. Es gelten die fal-ToS (Links und Details in - `docs/findings-2026-11-11-ai-skater-model-comparison.md`). Aus den - Export-Presets bleibt das Asset ausgeschlossen, solange es nicht an +- **Lizenz:** Erzeugt über fal (`tripo3d/h3.1/image-to-3d`); fal Support + hat am 2026-11-12 bestätigt, dass der Vertrag mit fal besteht und Tripos + Free-/Paid-User-AGB nicht greifen. Seit der Umstellung auf die + Tripo-Pay-as-you-go-API (siehe v007) gilt: kommerzielle Nutzung ist über + den bezahlten API-Zugang abgedeckt; fal erhebt keine Rechte an Outputs, + garantiert aber keine Originalität oder Nichtrechtsverletzung. Details in + `docs/findings-2026-11-11-ai-skater-model-comparison.md`. Aus den + Export-Presets bleibt das unrigged Asset ausgeschlossen, weil es nicht an `Skater3D` angebunden ist. Details und verworfene Kandidaten: diff --git a/docs/findings-2026-11-11-ai-skater-model-comparison.md b/docs/findings-2026-11-11-ai-skater-model-comparison.md index 4672803..756c787 100644 --- a/docs/findings-2026-11-11-ai-skater-model-comparison.md +++ b/docs/findings-2026-11-11-ai-skater-model-comparison.md @@ -97,7 +97,6 @@ die Produktionsempfehlung. ## Projektintegration (2026-11-11) Der Gewinner der ersten Runde ist als Manifest-Asset im Projekt registriert: - - ID `character.skater.figure_tripo` - Datei `rinkplanner/assets/external/characters/skater_figure_tripo_v001_30k.glb` (6,9 MB, SHA-256 `580491956c85e0709ff1cdb15b25ab0bc3920e6ce4a4df805275e530c6077e23`) @@ -111,3 +110,17 @@ Der Gewinner der ersten Runde ist als Manifest-Asset im Projekt registriert: 2026-11-12 bestätigt (siehe Abschnitt „Lizenz“) - Import und Manifest-Test laufen: `tools/sync_assets.sh --check` und `tests/run_asset_manifest_tests.gd` sind grün + +## Ablösung durch die geriggte Fassung (2026-11-12) + +Das unrigged 30k-Mesh ist nicht mehr der aktive Skater. Ein neuer Lauf über +die Tripo-Pay-as-you-go-API (Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff`, +Modell v3.1, 60k Faces, Textur v3.5) wurde in Blender mit AutoRigPro geriggt +und mit dem retargeteten `Glide`-Clip als +`character.skater.figure_tripo_glide` (`skater_figure_glide_v007.glb`) an +`Skater3D` angebunden. Details: +`docs/findings-2026-11-12-tripo-skater-rig.md`. + +Der Eintrag `character.skater.figure_tripo` bleibt als unrigged +Zwischenstand dokumentiert, wird aber nicht mehr geladen und nicht +exportiert. diff --git a/docs/findings-2026-11-12-tripo-skater-rig.md b/docs/findings-2026-11-12-tripo-skater-rig.md new file mode 100644 index 0000000..8ab62d8 --- /dev/null +++ b/docs/findings-2026-11-12-tripo-skater-rig.md @@ -0,0 +1,116 @@ +# Findings – Tripo-Skater riggen und Glide retargeten (2026-11-12) + +## Ziel + +Aus dem Tripo-Mesh einen Spielcharakter machen: riggen, den bestehenden +`Glide`-Clip übernehmen, als GLB exportieren und in `Skater3D` anbinden. +Kostenrahmen: nur ein Tripo-Lauf, kein fal. + +## Ausgangslage + +- Mesh: `tripo3d/h3.1/image-to-3d` über die Tripo-Pay-as-you-go-API + (Task `d8ee7a30-c1dc-4873-8770-4747d98a62ff`), 60.000-Face-Budget, + Textur v3.5, Referenz `flux2pro_reference_front.png`, 30 Credits. +- Ergebnis: 59.350 Dreiecke, 34.103 Vertices, 1,70 m, Pivot in der + Körpermitte, Blick +X, A-Pose mit leicht geöffneten Armen. +- Vergleich zur Produktionsfigur (`skater_figure_glide_v006.glb`): 1,898 m, + 13.956 Dreiecke, 30 Deform-Bones, `Glide` als 2-s-Loop. + +## Stolperstein 1: Rig-Transfer von der Produktionsfigur scheitert + +Erster Versuch war, die 30-Bone-Armatur der Produktionsfigur zu behalten, das +neue Mesh auf 1,898 m zu skalieren und mit `ARMATURE_AUTO` (Bone-Heat) zu +binden. Der Bind lief ohne Fehler durch, das Ergebnis war aber unbrauchbar: +Ärmelstücke, Rockfragmente und Handpartien hingen als freie Inseln im Raum, +weil die Gelenkpositionen des alten Rigs nicht zu den Proportionen des neuen +Meshes passen und die Tripo-Topologie aus vielen Inseln besteht. Bone-Heat +scheitert hier still, nicht mit einer Fehlermeldung. + +**Konsequenz:** Rig muss zum Mesh passen. Also AutoRigPro. + +## Stolperstein 2: AutoRigPro headless + +ARP ist ein UI-Addon. Die relevanten Stellen: + +- `arp.append_arp(rig_preset='human')` bricht in `blender -b` ab, weil + `bpy.context.space_data.overlay` in der Konsole `None` ist. Der Abbruch + passiert **nach** dem Anlegen der Referenzknochen, aber **vor** Treiber- und + Layer-Konvertierung – einfaches Abfangen reicht deshalb nicht. +- Lösung: Blender mit GUI starten (`DISPLAY=:0`), den Aufruf in + `bpy.context.temp_override(window=…, screen=…, area=…, region=…)` legen und + die Arbeit aus einem `bpy.app.timers`-Callback starten. Direkt beim + Skriptstart ist `bpy.context.window_manager.windows` noch leer. +- `bpy.ops.wm.quit_blender()` am Ende, sonst hängt der Prozess. + +## Ablauf, der funktioniert + +1. **Mesh vorbereiten** – Transformationen direkt in die Mesh-Daten backen + (`mesh.data.transform(...)`), nicht per `transform_apply`: der Operator lief + im Timer-Kontext still ins Leere, sodass Skalierung und Rotation nie + ankamen. Danach: Drehung um −90° um Z (Blick −Y, ARP-Vorne), auf 1,70 m + skalieren, Füße auf Z = 0, in X/Y zentrieren. +2. **Smart-Modus** – `bpy.ops.id.get_selected_objects('EXEC_DEFAULT')` mit + ausgewähltem Mesh. Legt `body_temp` und die Marker-Sammlung an, + `scene.arp_body_name` zeigt danach auf die Kopie. +3. **Marker setzen** – `bpy.ops.id.add_marker('EXEC_DEFAULT', body_part=…)` + für `root`, `neck`, `chin`, `head_tip`, `shoulder`, `elbow`, `hand`, + `hand_tip`, `thigh`, `knee`, `foot`. Die rechte Seite entsteht automatisch + als `_loc_sym` mit gespiegelter Copy-Location. `arp_fingers_enable = False`, + `arp_smart_sym = True`, `arp_bind_engine = 'PSEUDO_VOXELS'`. +4. **Erkennen** – `bpy.ops.id.go_detect('EXEC_DEFAULT')`. Meldet + „Could not find wrist/shoulder, marker out of mesh“, wenn ein Marker neben + dem Mesh liegt; dann Marker nachjustieren, nicht das Rig. +5. **Match to Rig + Bind** – `bpy.ops.arp.match_to_rig()` und + `bpy.ops.arp.bind_to_rig()` mit Mesh plus Armatur ausgewählt (Armatur + aktiv). Ergebnis: 222 Control-Bones, 30 gewichtete Deform-Bones, + 4 Einflüsse pro Vertex. +6. **Glide retargeten** – Produktions-GLB zusätzlich importieren, pro Frame + die Weltrotation jedes Quell-Bones relativ zu seiner Ruhepose berechnen + (`delta = pose_src · rest_src⁻¹`) und daraus die lokale Basis des + Ziel-Bones ableiten. Nur Rotationen, keine Translationen – sonst wandert + die Figur wegen der unterschiedlichen Hüfthöhe nach oben. Die Namen sind + zwischen beiden Rigs identisch (`thigh_stretch.l`, `leg_stretch.l`, + `arm_stretch.l`, …), weil die Produktionsfigur ebenfalls aus ARP stammt. +7. **Export** – `use_deform` nur für die 30 gewichteten Bones, alle anderen + Aktionen löschen, damit der Clip exakt `Glide` heißt (sonst exportiert + Blender `Glide.001` und `Skater3D` findet ihn nicht). + +## Messwerte + +| Wert | Produktion (v006) | Neu (v007) | +| :--- | ---: | ---: | +| Dreiecke | 13.956 | 59.350 | +| Höhe | 1,898 m | 1,700 m | +| Deform-Bones | 30 | 30 | +| Einflüsse/Vertex | 8 | 4 | +| `Glide` | 48 Frames / 2 s | 48 Frames / 2 s (retargetet) | +| Klingen x | ±0,065 m | ±0,154 m | +| Dateigröße | 8,59 MB | 2,71 MB | + +Der Klingenabstand steht als `BLADE_LATERAL_OFFSET_M` in `skater_3d.gd` und +muss bei einem Figurenwechsel mitgezogen werden, sonst liegt die Kufenspur +neben den Schlittschuhen. + +## Bewertung + +- Der Bind ist stabil: Arme über Kopf, Knie angehoben und `Glide` hinterlassen + keine Risse oder abgerissenen Inseln. +- Der Rock bleibt starr am Becken; ein angehobenes Bein kann den + Schlittschuh durch den Rock schieben. Für die Vorschau akzeptabel, für + Sprünge nicht. +- Gesicht und Hände bleiben die Schwachstellen des Meshes (geschlossene + Lider, spitz zulaufende Ohren, verschmolzene Finger). In der + Vorschau-Distanz unsichtbar, in Nahaufnahmen sichtbar. +- `Glide` ist ein subtiler Loop; das Retargeting validiert die Zuordnung, + nicht die Deformation unter starker Bewegung. Ein Stresstest mit echten + Clips (Pirouette, Sprung) steht aus. + +## Artefakte + +- Rig-Quelle: `source/characters/skater/skater_rig_v007.blend` (Workbench) +- GLB: `library/characters/skater_figure_glide_v007.glb` → + `rinkplanner/assets/external/characters/skater_figure_glide_v007.glb` +- Zwischenschritte und Vergleichsrender: + `~/Downloads/rinkplanner_skater_tripo_v002/` + (`arp_markers_v2.blend`, `arp_matched.blend`, `arp_bound.blend`, + `arp_glide.blend`, `glide_new_sheet.png`, `arp_ik_test.png`) diff --git a/rinkplanner/assets/asset_manifest.json b/rinkplanner/assets/asset_manifest.json index 4f7b453..9612389 100644 --- a/rinkplanner/assets/asset_manifest.json +++ b/rinkplanner/assets/asset_manifest.json @@ -34,6 +34,38 @@ ], "notes": "T-Pose als Rest, Glide als 2-s-Loop. 8 Bone-Influences pro Vertex; Armregion gelenkgenau (Ellbogen x≈0,37, Handgelenk x≈0,65) ringweise gewichtet." }, + { + "id": "character.skater.figure_tripo_glide", + "version": 1, + "kind": "character", + "format": "glb", + "source": "library/characters/skater_figure_glide_v007.glb", + "target": "assets/external/characters/skater_figure_glide_v007.glb", + "remote": "characters/skater_figure_glide_v007.glb", + "sha256": "be3cf6bb864f1ca6390d919d29ea122f83f6378865d38d2fdafbfe2889e8d45c", + "bytes": 2712248, + "source_scene": "source/characters/skater/skater_rig_v007.blend", + "created": "2026-11-12", + "license": "Tripo H3.1 via Tripo pay-as-you-go API (task d8ee7a30-c1dc-4873-8770-4747d98a62ff); rig and Glide retarget built locally with AutoRigPro, own work.", + "placement": { + "up_axis": "Y", + "facing": "+Z", + "pivot": "feet", + "height_m": 1.7, + "ground_offset_m": 0.0 + }, + "rig": { + "type": "humanoid", + "control_bones": 222, + "deform_bones": 30, + "vertex_influences": 4, + "bind": "PSEUDO_VOXELS" + }, + "animations": [ + "Glide" + ], + "notes": "Tripo-Mesh (59.350 Dreiecke, 60k-Budget, Textur v3.5) mit AutoRigPro geriggt; Glide per Rotations-Retargeting von skater_figure_glide_v006 übernommen. Klingen bei x=±0,154 m." + }, { "id": "character.skater.figure_tripo", "version": 1, diff --git a/rinkplanner/src/presentation3d/skater_3d.gd b/rinkplanner/src/presentation3d/skater_3d.gd index 0201f0b..583454d 100644 --- a/rinkplanner/src/presentation3d/skater_3d.gd +++ b/rinkplanner/src/presentation3d/skater_3d.gd @@ -5,10 +5,10 @@ extends Node3D ## oder auf einem frischen Checkout ohne Sync), wird ein Platzhalter gebaut. const MANIFEST_PATH := "res://assets/asset_manifest.json" -const ASSET_ID := "character.skater.figure" -const FALLBACK_MODEL_PATH := "res://assets/external/characters/skater_figure_glide_v006.glb" +const ASSET_ID := "character.skater.figure_tripo_glide" +const FALLBACK_MODEL_PATH := "res://assets/external/characters/skater_figure_glide_v007.glb" const IDLE_ANIMATION := "Glide" -const BLADE_LATERAL_OFFSET_M := 0.065 +const BLADE_LATERAL_OFFSET_M := 0.154 const BLADE_HEIGHT_M := 0.015 var _model: Node3D diff --git a/tools/check_export.sh b/tools/check_export.sh index 3beddfe..d74c55b 100755 --- a/tools/check_export.sh +++ b/tools/check_export.sh @@ -25,7 +25,7 @@ trap 'rm -rf "$TMP_DIR"' EXIT BINARY="$TMP_DIR/rinkplanner.x86_64" LOG="$TMP_DIR/run.log" -GLB="$PROJECT_DIR/assets/external/characters/skater_figure_glide_v006.glb" +GLB="$PROJECT_DIR/assets/external/characters/skater_figure_glide_v007.glb" echo "Exportiere Linux-Release nach $TMP_DIR …" build_preset "Linux" release "$BINARY" @@ -63,11 +63,11 @@ if grep -q "skater_figure_tripo_v001_30k_" "$STRINGS_FILE"; then fi if [[ -f "$GLB" ]]; then - if ! grep -q "skater_figure_glide_v006.glb-" "$STRINGS_FILE"; then + if ! grep -q "skater_figure_glide_v007.glb-" "$STRINGS_FILE"; then echo "FEHLER: Die Skater-Szene fehlt im Export." >&2 exit 1 fi - if ! grep -q "skater_figure_glide_v006_Image" "$STRINGS_FILE"; then + if ! grep -q "skater_figure_glide_v007_Color" "$STRINGS_FILE"; then echo "FEHLER: Die Skater-Texturen fehlen im Export." >&2 exit 1 fi