Simple 2D und 3D Animationen
-
- Anderes
-
Melegrian -
4. Juni 2023 um 04:08 -
Unerledigt
Es gibt 438 Antworten in diesem Thema, welches 46.101 mal aufgerufen wurde. Der letzte Beitrag (
-
-
Und das kann Blender leider nicht 🤪
The fastest way to build worlds in UE5The fastest way to build worlds in UE5.World Designer teaches you a complete workflow for creating massive open worlds in Unreal Engine 5, from high-quality ...www.youtube.com -
Ein kleiner Anstoß von mir: Das Thema »Verhältnis 3D zu KI« ist hochinteressant. Und hochaktuell.
Aber wir sollten nicht diesen Threat von Melegrian damit kapern. (Wobei ich einräume, dass ich mit meinem Beitrag vorhin auch selbst daran beteiligt war
.)Sprich: Wer will, kann sich gerne in den entsprechenden Foren-Threats zum Thema KI und 3D äußern. Einverstanden?
-
Hier geht es wirklich nur um KI.
Ja, aber damit geht es aber eben doch auch um das BEGREIFEN der Verfahrensweise wie KI Objekte generiert.
Oder?
Wenn man nicht versucht, sich die theoretischen Grundlagen der Verfahrensweise der KI etwas transparent zu machen, wird man immer wieder vor denselben Rätseln und unbegreiflichen Problemen stehen.Ich habe in meinem Beitrag lediglich versucht einen informationstheoretischen Aspekt der KI-Programmierung zu thematisieren, nämlich den der Klassenbildung und Vererbung von Eigenschaften in der objektorientierten Programmierung (OOP).
Es ging mir also durchaus um KI.
-
-
Gibt es eine neue Forenregel, dass man vor einem Kommentar zu einem Thread-Beitrag zuerst den TO um Erlaubnis fragen muss?
Sorry, das hab ich dann leider verpasst - und ich habe mich als TO jedenfalls immer über spontane Antworten gefreut und nicht gleich unterstellt, dass man meinen Thread kapern will. -
Als ich den Faden begann, ging es mir nicht allein um KI, sondern allgemein um Animationen. Diese sind älter als KI und älter als 3D. Hier ist ein sehr kurzer von 1908.
Externer Inhalt www.youtube.comInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.Vorher gab es aber bereits das sogenannte Daumenkino, kleine Kartenhefte, die beim schnellen Durchblättern Bewegung simulierten, und unter dem Namen Kineograph im Jahre 1868 zum Patent angemeldet wurde. Ein sogenanntes Mutoskop ab 1894, wie ich gerade las, das kannte ich bisher selbst noch nicht.
In den 1980er Jahren hatte ich ein Buch über Animationen im Amateurfilm, da war noch noch kein Wort von 3D enthalten. Dafür Anleitungen, wie man Modelle baut, Figuren zu Leben erweckt und anderes, falls ich mich richtig erinnere.
Über die Animationen in der Serie Raumpatrouille mit dem Raumschiff Orion hatte ich schon einmal etwas geschrieben, was die Macher für tolle und dabei teilweise simple Einfälle hatten.
Dann 3D, dann KI und beides kann sich gut ergänzen.Aktuell kommt voraussichtlich im Dezember der Film Gods Don’t Give Gifts in die Kinos, der mit KI erstellt wurde. Das US-Studio strebt eine Oscar Nominierung an, die aber bisher noch alles andere als sicher zu sein scheint. Ein anderer Beitrag geht noch mehr darauf ein, z.B. dass die Synchronsprecher für den Film eingestellt wurden. Praktisch alles andere als billiger KI Slop. Wenn ich mir die Trailer ansehe, gefallen mir jedoch nur die ersten Sekunden, den Rest finde ich bisher eher hässlich.
Externer Inhalt www.youtube.comInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.Gibt es eine neue Forenregel, dass man vor einem Kommentar zu einem Thread-Beitrag zuerst den TO um Erlaubnis fragen muss?
Nein, gibt es nicht und stört mich nur dann, wenn keine Hinweise oder Tipps zu angesprochenen Problemen kommen. Ohne Tipps und Hinweise ist es weiter nichts als Off Topic. Etwas stört auch da nicht, doch es kommt immer darauf an, es sollte nicht zu viel werden.
-
Etwas stört auch da nicht, doch es kommt immer darauf an, es sollte nicht zu viel werden.
Genau darum geht es. Ich kenne Euch doch inzwischen. Also alles geklärt.
-
So, hatte dieses Video zwar bereits vor 10 Tagen eingebunden, doch das müsste man sich ja anschauen, um etwas sinnvolles dazu zu schreiben. Für seine Ausführungen etwa ab 14:45 hatte ich mir seine Beispieldateien heruntergeladen und von Claude analysieren lassen. Nicht nur mit Blender kann man 3D Referenzvideos rendern, sondern auch mit Python. Claude beschreibt es so:
... Zitat Anfang ...
Die Dateien erklären den Ablauf gut. Gelesen habe ich sie, ausgeführt noch nicht.Was zur Animation gehört und was nicht
- Blocking-Animation: blocking.py ist die eigentliche Mini-3D-Engine. Sie zeichnet Würfel, Zylinder und Gliederpuppen, bewegt sie per Keyframes, lässt eine Kamera fahren und braucht nur numpy und Pillow. render_blocking.py rendert daraus das MP4. example_scene.py ist eine fertige Beispielszene zum Abschauen. blocking.md ist die Anleitung dazu.
- Prompts für die KI-Seite: assets.md beschreibt, wie man Bilder von Figuren, Fahrzeugen und Orten erzeugt. video.md beschreibt, wie man daraus den Videoprompt baut.
- Nur für Bildschirminhalte: screen_comp.py, ui_overlay.md und modnet_fp16.onnx setzen nachträglich Oberflächen auf leere Monitore im fertigen Video. Das brauchst du nur, wenn in deinen Videos Bildschirme vorkommen.
- SKILL.md: Das ist nur die Steuerdatei, die Claude sagt, welche der anderen Dateien es wann liest.
Der allgemeine Ablauf
- Idee und Shotliste. Du legst fest, wie lang das Video wird und welche Einstellungen es hat. Pro Einstellung notierst du Länge, Bildausschnitt und Handlung. Die Vorlage empfiehlt für Intros 20 bis 30 Sekunden, mit meist ein bis drei Sekunden pro Einstellung.
- Referenzbilder (optional, aber wichtig). Mit einer Bild-KI erzeugst du Figuren, Orte und Fahrzeuge einmal sauber. Im Video sorgen sie dafür, dass alles durchgehend gleich aussieht.
- Blocking-Clip. Du baust die Szene aus groben Formen: Kapselpuppen, Boxen als Möbel, eine Kamera mit Bewegung. Das rendert zu einem hässlichen, aber exakt getimten Video. Es legt Bildausschnitt, Kamerafahrt, Tempo und Positionen fest.
- Video-KI. Du lädst den Blocking-Clip und die Referenzbilder hoch und schreibst einen Prompt mit Zeitangaben, etwa “0–3 s: Nahaufnahme von …”. Die KI übernimmt Kamera und Bewegung aus dem Clip und legt nur die realistische Optik darüber. Das Tutorial begründet es so: Allein per Prompt folgte die KI einer komplizierten Kamerafahrt nicht, mit dem Blocking-Clip als Vorlage klappte es.
- Optional: Bildschirminhalte und Schnitt. Das ist die Nachbearbeitung mit den UI-Dateien und deinem Schnittprogramm.
Was das für deinen Rechner bedeutet
Der Blocking-Teil rechnet nur auf dem Prozessor, ohne Grafikkarte, Browser oder Internet. Laut Anleitung dauert ein Bild bei 960×540 etwa 0,4 Sekunden, also ein 10-Sekunden-Clip rund zwei Minuten. Das habe ich nicht selbst gemessen, auf einem alten Rechner dürfte es länger dauern. Du brauchst dafür kein Blender.
Die schwere Rechenarbeit passiert beim Videoteil, und der läuft im Tutorial online bei OpenArt (mit Seedream für Bilder und Seedance für Video). Dein Rechner wird dadurch nicht belastet, aber ich weiß nicht, was das kostet. Das solltest du dort prüfen.
Zwei Wege für dich
- Selbst mit Python: Du lässt dir von Claude (mit aktivierter Codeausführung) eine eigene Szene in blocking.py bauen. Die Dateien sind dafür gedacht.
- Ich übernehme den Blocking-Teil: Du beschreibst mir einen kurzen Ablauf, zum Beispiel “Figur läuft in einen Raum, Kamera fährt mit”. Ich baue ihn hier mit diesem Renderer, zeige dir zuerst ein Standbild und schicke dir dann das MP4. Für den Videoteil bräuchtest du danach ein Tool, das ein Referenzvideo annimmt.
Soll ich es an einem kleinen Beispiel von dir ausprobieren?
... Zitat Ende ...
Selbst ausprobiert habe ich es noch nicht, den ersten Weg nicht, weil ich zwar Python mit Pillow auf dem Rechner habe, nicht aber die "numpy" installierte, werde es aber vielleicht später einmal nachholen.
Den zweiten Weg, für diesen scheint Python nicht benötigt zu werden, sollte ich vielleicht einmal mit dem Waldweg ausbrobieren. -
So, den zweiten Weg habe ich ausprobiert. Der Clip könnte nun praktisch als Referenzvideo für die Bewegungsrichtung in Kling verwendet werden, an den Korb dachte ich nicht, war ja nur ein Test.
Externer Inhalt www.youtube.comInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt. -
Interessant: So ein Video überzeugend zu machen ist mit einer KI dann wohl doch stressiger, als ich dachte. Danke für den Einblick.
-
Sagen wir einmal so, Kling hätte nicht Ausschuss geliefert und statt das Haus ins Bild gleiten zu lassen, den Weg bis zum Haus fortgesetzt, wenn ein Referenzvideo vorhanden gewesen wäre. Ob dieses bereits genügen würde, ist dabei eine andere Frage, weil kein Korb vorhanden und die Schrittlänge für ein Mädchen zu groß. Beides lässt mich noch zögern, weil dadurch ebenfalls Credits versemmelt werden könnten.
Alles was zum Beispiel mit Tieren zusammenhängt, geht nicht ohne Referenzvideos. Aber ob jemand eine Animation dafür nimmt, oder z.B. sich unerlaubt eine Choreografie von einem Ballet oder von TikTok kopiert, oder selbst tanzt und sich dabei filmt, muss jeder für sich entscheiden. Mit kopieren könnte es auch Folgen haben, falls keine Erlaubnis vorhanden und Bewegungsmuster eindeutig wiedererkennbar. Ähnlich verhält es sich mit den vielen Shorts von Kleinkindern.
Also unmöglich so ein Short ohne richtig gute Referenzvideos für alle Einzelszenen zu erstellen. Ob diese mit einer 3D Anwendung erstellt wurden, bleibt fraglich, denn schneller würde es wohl gehen, echte Aufnahmen von und mit Menschen als Referenzen zu verwenden. Somit zuerst die Referenzen aufnehmen, davon dann Animationen erstellen:Externer Inhalt www.youtube.comInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.Dann die Kameraeinstellungen und Kamerafahrten, die Begriffe kommen nicht von KI, sondern von der Filmindustrie. Eine erste Liste hatte ich mir von ChatGPT erstellen lassen, in den letzten Wochen weitere gefunden, 20 bis 30 sollte man wenigsten kennen oder wissen, in welcher Liste man diese gespeichert hat. Aber damit nicht genug, man sollte nicht nur wissen, wo diese stehen oder zu finden sind, sondern ebenso, was diese bewirken. Ein Dolly In oder Dolly Out ist z.B. etwas anderes als ein Zoom In oder Zoom Out, weil Zoom immer mit einer Veränderung der Brennweite verbunden ist. Und ganz sicher sollte man wissen, welcher Brennweitenbereich der günstigste ist, wenn Porträts von Menschen erstellt werden. Oder, bei der Reiterin war ich mit der Vogelperspektive noch unzufrieden, mein Fehler, ich kannte die unterschiedlichen Dronenperspektiven noch nicht.
Nun gibt es praktisch zwei Gruppen von Anwendern. Die eine, die sich möglichst alles von einer Chat-KI schreiben lassen, und die andere Gruppe, die möglichst viel allein lernen möchten. Klar, ich unterhalte mich viel mit Chat-KIs, aber lasse mir Vorschläge nur zur Inspiration liefern.Lernkurven - meine Einschätzungen:
- Einzelne Bilder ohne spezielle Wünsche und Vorstellungen, Lernkurve sehr flach.
- Komplette Videos nach eigenen Vorstellungen, Lernkurve relativ hoch.
Terragen kommt mir rückblickend irgendwie einfacher vor. Beispiel, Veränderung der Position der Sonne plus Schattenwurf, in Terragen ein Kinderspiel. Und mit Nano Banana Pro?
Letzte Nacht boch einmal wiederholt, der entscheidende Satz übersetzt:
Warmes, flaches Sonnenlicht, das von hinten und von rechts von der Kamera einfällt, sanfte Lichtstrahlen zwischen den Baumstämmen, lange, weiche Schatten auf dem unbefestigten Weg.
Ergebnis, das Sonnenlicht kommt von der linken Bildhälfte und nicht von hinten, nach ihrem Schatten kommt es aber von der rechten Bildhälfte und von vorn. So etwas wäre mit Terragen nie passiert.
Ein Versuch der Nachbesserung führte zur Verschlimmbesserung.
-
Endlich ist der erste Clip zufriedenstellend gelungen, den ich vorher eigentlich auf zwei Clips aufteilen wollte, weil Flow im Gegensatz zu Kling die volle Länge in meinem Sparplan nicht ermögllicht. Dabei unterliefen mir noch zwei Fehler, von denen zeitversetzt betrachtet einer Bedeutung und der andere bei Beachtung kaum eine Bedeutung besitzt.
Also, das Bild für den Startframe hatte ich letzte Nacht versucht zu erneuern, minimal besser wurde es ja, nur nicht optimal vom Lichteinfall. Die Größe des Girls an der Haustür hatte ich in den Tagen zuvor korrigiert. So weit, so gut. Heute den Prompt optimiert, ganz sicher überließ ich das keiner KI, da es richtig stimmig werden sollte. Schreibe die Prompts immer auf Deutsch, mit anschließender Kontrolle, ob die Rückübersetzung noch das verständlich rüber bringt, was die KI auf Englisch lesen soll. Bei der Eingabe dann beides verwechselt, statt den Prompt auf Englisch einzufügen, die deutsche Übersetzung eingefügt. Aber Glück gehabt, Kling versteht seit einigen Wochen Deutsch.Dann stand ich vor der Wahl, ob Images als Frames oder als Referenzen. Ist auswählbar, beides hat Vor- und Nachteile. Entschied mich Keyframes und verzichtete dafür auf Referenzbilder und das Referenzvideo. Aber durch die Framebildern ließ sich das Format von 16:9 nicht mehr auswählen, weil meine nicht genau 16:9 sind, sondern 2K und keine Image KI sich genau an 16:9 hält. So wurde auch der Clip nicht genau 1920 x 1080, sondern 1924 x 1076, was oben und unter schwarze Ränder ergeben hätte. Lässt sich in Lightworks ausgleichen, wenn man daran denkt, und ich dachte daran. Besser, man bringt die Images vorher genau auf 16:9.
315 Credits für 21 Sekunden, 660 bekomme ich nur im Monat. Das wäre sehr ärgerlich gewesen, wenn der Clip nicht befriedigend geworden wäre.
Im Prompt könnte man noch die Sekunden angeben, von wann bis wann was, doch ich verzichtete darauf. Die Schritte und das Klopfen fand ich vom Ton her von Flow besser. In der Mitte klingt kurz etwas wie eine Harfe hindurch, ja am besten mal legt selbst noch eine Melodie darunter, und dämpft andere Geräusche dafür.
Der Uhu ist von Flow. Man beachte bei Zoom, wie ab einen Punkt die Unschärfe der Zweige zunimmt, was normal bei Tierfotos ist, weil durch den Zoom die Zunahme der Brennweite eine Abnahme des Tiefenschärfebereiches bedingt.
Externer Inhalt www.youtube.comInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.Das Video habe ich nun nicht nun vorab veröffentlicht, als nicht auf "nicht gelistet" gesetzt, damit sich im Kanal wenigstens etwas rührt. Es ging ja bisher rein gar nichts vorwärts und die ersten zwei Monate sind bald um. Etwa in einem Zeitraum von zwei Monaten fällt aber eine Überprüfung statt, ob sich im Kanal etwas tut oder nicht. Hatte ich bei meinem ersten Kanal ebenfalls erlebt.
-
Das mit den Charaktergrößen scheint ein allgemeines Problem zu sein. Hier ist ein Workflow für Google Flow, wobei ich das Video nur auf Zeitpunkt 16:26 verknüpft habe, da bei 16:27 ein Bild folgt, wo ich dachte, der Ersteller des Tutorials merkt doch wohl nichts mehr. Zwar sind die gerade an dem linken und rechten Haus vorbei, doch wie winzig sind denn von beiden Häusern die Eingangstüren gegenüber den Charakteren? Obwohl der Kamerastandpunkt ziemlich tief gewählt wurde, gibt es die Perspektive einfach nicht her, würde ich meinen. Dem Bild verleiht es zwar eine gewisse Wirkung, doch als Framebild, wofür es gedacht ist, völlig ungeeignet, denke ich.
Externer Inhalt youtu.beInhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt. -
Hier scheint den Fehler keiner gesehen zu haben, nun ja, den meisten wird es nicht interessieren, sehe ich ein. Also habe ich den Ersteller in einem Kommentar darauf aufmerksam gemacht, der hat positiv darauf reagiert. Der Kanal kommt nebenbei bemerkt aus Pakistan. In seinen Prompts gibt er zusätzlich die Größen in 5'7'' (170 cm) für die Mutter und 4'2'' (127 cm) für den Sohn an, die erste Zahl ist Fuß', die zweite für Zoll'' oder Inch''. Nun ja, dadurch scheint zwar das Größenverhältnis zwischen Mutter und Sohn zu stimmen (richtig aber auch nicht), nicht aber das Größenverhältnis zwischen den eingefügten Charakteren und den Gebäuden. Das könnte ein größeres Problem bleiben.
Weiter habe ich noch nicht gemacht, weil ich mir vorstellen könnte, dass jeder Beschreibung über das Auspacken des Korbes und auf dem Tisch Stellen der Flasche Wein und des Kuchens für eine Video-KI zu schwer werden könnte.
-