Ich probiere RefVid aus - Wie gut gelingen mir Werbevideos mit festem Produkt und konstanten Charakteren?

RefVid scheint sehr produktlastig zu sein, es richtet sich hauptsächlich an die Werbeindustrie und verspricht Werbeclips mit konsistenten Charakteren und Produktbildern zu erzeugen. Mein Videoscript von damals, das sich um einen fiktiven Laptoptester drehte, passt hier nicht so gut rein. Also erfinde ich ein Produkt - passenderweise einen Laptop - natürlich von Notebookcheck! Der Entwickler gibt uns Credits für 6 Clips a 5 Sekunden - am Ende können wir dank Neukontingent sogar 8 Clips erstellen - los geht's! 

1. Das Problem: LAN-Party. Chris zockt hochkonzentriert auf einem riesigen, schweren Gaming-Laptop. Die Lüfter heulen wie ein Staubsauger. Chris muss sich laut mit seinem Sitznachbarn verständigen. Der Nachbar schaut genervt herüber und hält sich die Ohren zu. Chris schreit gegen den Lüfterlärm an.
2. Der Traum: Chris schaut erschöpft auf sein monströses Gerät. Der Lärm verstummt schlagartig. Die Umgebung wird ruhig. Vor seinem inneren Auge erscheint ein wunderschöner, extrem dünner Laptop. Chris schaut ungläubig. Ein kleines, zufriedenes Lächeln.
3. Das Produkt: Ein luxuriöser Showroom. Chris bekommt den NBPC One präsentiert. 
4. Die Power: Zurück auf der LAN-Party. Chris spielt auf seinem eleganten weißen Laptop ein grafisch spektakuläres AAA-Game. Die Lüfter bleiben unhörbar. Hinter ihm versammelt sich eine kleine Menschentraube. Alle starren auf das Display. 
5. Keine Kompromisse: Chris sitzt im Business-Meeting. Der NBPC One liegt elegant auf dem Tisch. Er arbeitet völlig geräuschlos an einer lokalen KI-Videogenerierung. Auf dem Display läuft eine beeindruckende Videovorschau. Die Kollegen schauen interessiert herüber.
6. Optionaler Finalshot: Chris klappt das Gerät leicht zu. Einblendung: NOTEBOOKCHECK NBPC ONE - One Laptop. No Compromises. 

ChatGPT hilft mir beim Erstellen der Prompts, mit Gemini, Adobe Firefly und Co kreiere ich Bilder vom fiktiven Notebookcheck-Laptop. Ich logge mich ein, gehe auf Reference to Video, ziehe meine Bilder vom Laptop und dem Charakter ins Promptfenster und füge den Prompt für die erste Szene hinzu. Dann ändere ich auf 16:9 und das Modell Kling 4.0. Leider wird hier nicht angezeigt wie viele Credits ich dafür verbrauche (im Tab Studio wird es aber angezeigt). Schade ist auch, dass nur Sprünge in 5-s-Schritten unterstützt werden, ein 8-s-Video ist also bspw. nicht möglich. Ich klicke auf Generieren (290 Credits). 

Der Prompt akzeptiert insgesamt 1-10 Referenzbilder, man kann zwischen Charakteren, Produkten und Elementen unterscheiden. Das Generieren eines 5-s-Clips dauert 2 bis 10 Minuten, meine erste Szene ist nach 2,5 Minuten fertig.

Zufrieden bin ich aber nicht. Aus "Chris turns toward the gamer sitting right next to him and tries to communicate by shouting over the fan noise." generiert er, wie Chris seinen Kumpel-Gamer wütend anschreit. Bei einem der anderen Clips steckt der Körper des Charakters mitten im Tisch, typische KI-Fehler. Ein lautes Staubsaugergeräusch hört man auch nicht, Vertonung und Geräusche sollte man trotz Kling-4-Audio lieber später selbst hinzufügen.

Promtps werden auch nicht immer korrekt umgesetzt, aus "Chris working on the NBPC One during the meeting." wird eine Szene, in der Chris den Laptop einfach aufklappt anstatt daran zu arbeiten.

Also verbrauchen wir schon jetzt unseren 6. Backup-Clip. Beim zweiten Versuch wird der Clip etwas besser (im fertigen Video unten). 

Letztlich erstelle ich erfolgreich meine sechs Szenen, manchmal muss ich mehrfach ausbessern. Vermutlich sind meine Prompts auch nicht ideal. Wirklich vorzeigbar ist das Endergebnis aber nur sehr bedingt. Von der Marketing-Abteilung abgesegnet wird das folgende Video so sicher nicht, aber ich hatte auch nicht viele Versuche. 

Bis auf das Staubsaugergeräusch am Anfang habe ich mir nicht die Mühe gemacht Audio hinzuzufügen. Das Problem: Kling mischt Sprechtext und Musik in eine Audiospur. Möchte man eigene Musik einspielen, so müsste man auch alle Sprechtexte (z.B. "Your laptop is really loud", s. Video) neu selbst vertonen. Hier wären mehrere Audioausgabedateien sinnvoll, um in der Nachbearbeitung flexibler agieren zu können.

Ich habe RefVid nur recht kurz ausprobiert, 8 Clips konnte ich generieren. Das Gute: Der Charakter sah tatsächlich sehr konstant über die verschiedenen Clips aus, dabei habe ich nur ein einziges Foto als Referenz eingereicht. Abhängig vom Prompt war auch unser Laptop halbwegs konsistent. Insofern hält RefVid sein Versprechen von konsistenten Figuren und Produkten über die Clips.

Die dahinter liegende KI (in dem Fall Kling 4.0) produziert aber auch nach über einem Jahr weiter die typischen KI-Fehler: Körper stecken in Objekten fest, seltsame Zeitlupenbewegungen (siehe LAN-Szene 2), falsch umgesetzte Prompts usw. Man muss auch weiterhin viel Erfahrung, Expertise, gute Referenzbilder, Zeit (und Credits) investieren, um wirklich die Clips zu erhalten, die man sich so vorstellt.

Wichtig für jede Szene ist auch eine absolut korrekte Beschreibung, am besten auch mit negativen Prompts, um bekannte Fehler zu verhindern. Überlassen wir nur ein wenig der Kreativität der KI oder denken an irgend ein Detail nicht, dann entstehen oft seltsame Dinge. Ich bin aber schon gespannt wann diese Probleme endgültig der Vergangenheit angehören. Zuletzt habe ich schon über Forschung an einem allgemeinen KI-Physikmodell berichtet, das hier helfen könnte.