ComfyUI mit MiniMax H3 ausprobiert: Besser als Kling.AI, Seedance und andere Videogeneratoren im Free Tier?
Mein Sohn möchte ein eigenes, nunja, Klemmbausteinvideo über Lichtschwerter per KI generieren lassen, er ist gerade ganz begeistert von dem Thema. Da ich für seine Versuche aber nicht gleich Unmengen von Geld für ein teures Abo bei einer Video-KI springen lassen möchte, hat er zunächst versucht Kling.AI und Co kostenlos zu nutzen.
Bei den meisten KI-Videogeneratoren wird man mit einem freien Anfangskontingent gelockt, damit man sich einen Account erstellt. Aber schnell wird die Lockmasche sichtbar, will man dauerhaft mehr als ein oder zwei 3-Sekundenvideos pro Tag erstellen, wird man schnell zum teuren Abo gedrängt.
Aber selbst optisch sind die bis dahin erstellten Videos nur wenig zufriedenstellend. Konstante Umgebungen, Objekte und Charaktere sind ebenfalls meist eher schwierig hinzubekommen. Das unzufriedene Kind hat mich dazu veranlasst einmal eine lokale Lösung auszuprobieren.
Die lokalen Modelle und Lösungen setzen natürlich potente Hardware voraus. Wir machen den Test mit einem Razer Blade 16 (2025) samt RTX 5090 und 24 GB VRAM. Generell wird es erst ab 8 GB VRAM so halbwegs interessant mit dem Video-generieren, mehr ist hier tatsächlich mehr.
Oberflächen für das Modell (wir haben uns für MiniMax H3 entschieden) gibt es viele, es kann zum Beispiel in Ollama laufen, in Pinokio oder auch in Stability Matrix. Letztere beinhaltet auch ComfyUI, eine grafische Oberfläche für KI-Workflows, nicht nur für die Videogenerierung. In der Kombination hatte ich allerdings Probleme, sodass ich mich für ein pures ComfyUI (ComfyUI.org) entschieden haben, das kann man sich als Anwendung für Windows und Co herunterladen.
ComfyUI ist für Anfänger gewöhnungsbedürftig, eröffnet dafür aber eine Menge an Möglichkeiten bei der Videogenerierung. Man baut darin Workflows aus einzelnen Nodes zusammen, eine Art Baukasten aus mehreren Tools/Nodes. Jede Node hat einen Input und einen Output und kann mit anderen Nodes verbunden werden.
Alle Tools sind als eigenständige Nodes voneinander getrennt, beispielsweise gibt es einen Node für den Texprompt, mehrere Image-Nodes, die als Referenz oder Zwischenschritt vor der Videogenerierung dienen können oder andere Tools. Theoretisch könnte man in jeden Node ein eigenes KI-Modell laden, ein LLM für den Textprompt, eine Bildgenerierung für die Image-Nodes usw. Die KI-Modelle belegen natürlich sehr viel Platz auf dem Massenspeicher. Am Ende werden alle Nodes in die Videogenerierungs-Node gefüttert und man erhält einen Output.
Anfangs versuchen wir uns an Text to Video Presets, bald aber eher an Reference to Video.
Denn besonders ist, dass dadurch auch konsistente Umgebungen, Objekte und Personen möglich sind. Wir haben in unserem ersten Video beispielsweise ein Klemmbaustein-Schlachtschiff erstellt, das durchs Bild fliegt. Das hat in einer 480p-Auflösung ca. 5,5 Minuten gedauert, höhere Auflösungen sind bei entsprechender Hardware möglich. In einer der kommenden Szenen wollten wir genau dieses Schlachtschiff aber wieder verwenden. Also haben wir Screenshots von der Vorder- und Hinteransicht des Raumschiffs gemacht, die Bilder importiert, als Referenz Ship_front und Ship_rear mit der Hauptnode verknüpft und der KI angewiesen genau dieses Schiff in einer anderen Szene zu verwenden, sonst würde die KI einen neuen Look erzeugen.
Nach ein wenig Einarbeitungszeit und mit Hilfe von Professor Youtube haben wir recht schnell einen ersten Workflow für unsere Videoszenen ausgearbeitet und Videos erstellt mit denen wir beide sehr zufrieden waren. Ein LLM (in dem Fall ChatGPT) hat uns dabei geholfen die Textprompts unseren Wünschen nach speziell für MiniMax H3 präzise anzupassen und detailreich auszuformulieren.
Mein Workflow: In ChatGPT habe ich geschrieben welchen Look ich mir vorstelle, dass bestimmte Markennamen nicht auftauchen sollen, der Look aber angelehnt ist, dabei cineastisch sein soll, welche Referenzen (z.B. das Ship_front) auftauchen sollen etc. Dann erst habe ich die Szene beschrieben. Den von ChatGPT zugeschneiderten Prompt habe ich in ComfyUI in den Textnode eingefügt, eventuell noch Referenzbilder dazu und fertig.
Zusätzlich kann man ChatGPT bitten aus dem Look usw einen universellen Prompt zu generieren, den man sich speichern kann. Fügt man den später wieder einem LLM hinzu, so hat dieses alle nötigen Infos und man kann direkt die nächste Szene beschreiben.
Sohnemann und ich waren jedenfalls deutlich zufriedener mit dem Ergebnissen als im Free Tier von Kling.AI, Seedance und Co. Dazu laden die vielen Möglichkeiten zum Experimentieren ein und man wird endlich nicht mehr von nervigen Creditengpässen, Aboaufforderungen, Werbung und Problemen mit der Datensicherheit genervt. Problematisch ist derzeit noch die Auflösung. FullHD oder gar höher wird in den Optionen gar nicht erst angezeigt, die Hardwarevoraussetzungen wären wohl zu hoch. Zukünftige Modelle dürften hier noch effizienter werden. Zudem kann man auch aktuell seinen Workflow zusätzlich mit Upscalern ausbauen.
Wer die nötigen Hardwarevoraussetzungen und Interesse an Filmgenerierung hat, sollte sich ComfyUI und ein gutes lokales KI-Modell einmal anschauen. Gerade ComfyUI ermöglicht unglaublich komplexe, vielschichtige Workflows - wenn man es denn braucht. Für den ersten Einstieg ist das Wichtigste aber bereits vorhanden und schnell gelernt.
Als bevorzugte Quelle auf Google hinzufügen
