Simple 2D und 3D Animationen

Als ich den Faden begann, ging es mir nicht allein um KI, sondern allgemein um Animationen. Diese sind älter als KI und älter als 3D. Hier ist ein sehr kurzer von 1908.

Vorher gab es aber bereits das sogenannte Daumenkino, kleine Kartenhefte, die beim schnellen Durchblättern Bewegung simulierten, und unter dem Namen Kineograph im Jahre 1868 zum Patent angemeldet wurde. Ein sogenanntes Mutoskop ab 1894, wie ich gerade las, das kannte ich bisher selbst noch nicht.

In den 1980er Jahren hatte ich ein Buch über Animationen im Amateurfilm, da war noch noch kein Wort von 3D enthalten. Dafür Anleitungen, wie man Modelle baut, Figuren zu Leben erweckt und anderes, falls ich mich richtig erinnere.
Über die Animationen in der Serie Raumpatrouille mit dem Raumschiff Orion hatte ich schon einmal etwas geschrieben, was die Macher für tolle und dabei teilweise simple Einfälle hatten.

Dann 3D, dann KI und beides kann sich gut ergänzen.

Aktuell kommt voraussichtlich im Dezember der Film Gods Don’t Give Gifts in die Kinos, der mit KI erstellt wurde. Das US-Studio strebt eine Oscar Nominierung an, die aber bisher noch alles andere als sicher zu sein scheint. Ein anderer Beitrag geht noch mehr darauf ein, z.B. dass die Synchronsprecher für den Film eingestellt wurden. Praktisch alles andere als billiger KI Slop. Wenn ich mir die Trailer ansehe, gefallen mir jedoch nur die ersten Sekunden, den Rest finde ich bisher eher hässlich.

Zitat von Alex

Gibt es eine neue Forenregel, dass man vor einem Kommentar zu einem Thread-Beitrag zuerst den TO um Erlaubnis fragen muss?

Nein, gibt es nicht und stört mich nur dann, wenn keine Hinweise oder Tipps zu angesprochenen Problemen kommen. Ohne Tipps und Hinweise ist es weiter nichts als Off Topic. Etwas stört auch da nicht, doch es kommt immer darauf an, es sollte nicht zu viel werden.

So, hatte dieses Video zwar bereits vor 10 Tagen eingebunden, doch das müsste man sich ja anschauen, um etwas sinnvolles dazu zu schreiben. Für seine Ausführungen etwa ab 14:45 hatte ich mir seine Beispieldateien heruntergeladen und von Claude analysieren lassen. Nicht nur mit Blender kann man 3D Referenzvideos rendern, sondern auch mit Python. Claude beschreibt es so:

... Zitat Anfang ...

Die Dateien erklären den Ablauf gut. Gelesen habe ich sie, ausgeführt noch nicht.

Was zur Animation gehört und was nicht

• Blocking-Animation: blocking.py ist die eigentliche Mini-3D-Engine. Sie zeichnet Würfel, Zylinder und Gliederpuppen, bewegt sie per Keyframes, lässt eine Kamera fahren und braucht nur numpy und Pillow. render_blocking.py rendert daraus das MP4. example_scene.py ist eine fertige Beispielszene zum Abschauen. blocking.md ist die Anleitung dazu.
• Prompts für die KI-Seite: assets.md beschreibt, wie man Bilder von Figuren, Fahrzeugen und Orten erzeugt. video.md beschreibt, wie man daraus den Videoprompt baut.
• Nur für Bildschirminhalte: screen_comp.py, ui_overlay.md und modnet_fp16.onnx setzen nachträglich Oberflächen auf leere Monitore im fertigen Video. Das brauchst du nur, wenn in deinen Videos Bildschirme vorkommen.
• SKILL.md: Das ist nur die Steuerdatei, die Claude sagt, welche der anderen Dateien es wann liest.

Der allgemeine Ablauf

1. Idee und Shotliste. Du legst fest, wie lang das Video wird und welche Einstellungen es hat. Pro Einstellung notierst du Länge, Bildausschnitt und Handlung. Die Vorlage empfiehlt für Intros 20 bis 30 Sekunden, mit meist ein bis drei Sekunden pro Einstellung.
2. Referenzbilder (optional, aber wichtig). Mit einer Bild-KI erzeugst du Figuren, Orte und Fahrzeuge einmal sauber. Im Video sorgen sie dafür, dass alles durchgehend gleich aussieht.
3. Blocking-Clip. Du baust die Szene aus groben Formen: Kapselpuppen, Boxen als Möbel, eine Kamera mit Bewegung. Das rendert zu einem hässlichen, aber exakt getimten Video. Es legt Bildausschnitt, Kamerafahrt, Tempo und Positionen fest.
4. Video-KI. Du lädst den Blocking-Clip und die Referenzbilder hoch und schreibst einen Prompt mit Zeitangaben, etwa “0–3 s: Nahaufnahme von …”. Die KI übernimmt Kamera und Bewegung aus dem Clip und legt nur die realistische Optik darüber. Das Tutorial begründet es so: Allein per Prompt folgte die KI einer komplizierten Kamerafahrt nicht, mit dem Blocking-Clip als Vorlage klappte es.
5. Optional: Bildschirminhalte und Schnitt. Das ist die Nachbearbeitung mit den UI-Dateien und deinem Schnittprogramm.

Was das für deinen Rechner bedeutet

Der Blocking-Teil rechnet nur auf dem Prozessor, ohne Grafikkarte, Browser oder Internet. Laut Anleitung dauert ein Bild bei 960×540 etwa 0,4 Sekunden, also ein 10-Sekunden-Clip rund zwei Minuten. Das habe ich nicht selbst gemessen, auf einem alten Rechner dürfte es länger dauern. Du brauchst dafür kein Blender.

Die schwere Rechenarbeit passiert beim Videoteil, und der läuft im Tutorial online bei OpenArt (mit Seedream für Bilder und Seedance für Video). Dein Rechner wird dadurch nicht belastet, aber ich weiß nicht, was das kostet. Das solltest du dort prüfen.

Zwei Wege für dich

• Selbst mit Python: Du lässt dir von Claude (mit aktivierter Codeausführung) eine eigene Szene in blocking.py bauen. Die Dateien sind dafür gedacht.
• Ich übernehme den Blocking-Teil: Du beschreibst mir einen kurzen Ablauf, zum Beispiel “Figur läuft in einen Raum, Kamera fährt mit”. Ich baue ihn hier mit diesem Renderer, zeige dir zuerst ein Standbild und schicke dir dann das MP4. Für den Videoteil bräuchtest du danach ein Tool, das ein Referenzvideo annimmt.

Soll ich es an einem kleinen Beispiel von dir ausprobieren?

... Zitat Ende ...

Selbst ausprobiert habe ich es noch nicht, den ersten Weg nicht, weil ich zwar Python mit Pillow auf dem Rechner habe, nicht aber die "numpy" installierte, werde es aber vielleicht später einmal nachholen.
Den zweiten Weg, für diesen scheint Python nicht benötigt zu werden, sollte ich vielleicht einmal mit dem Waldweg ausbrobieren.