Mit Fish Audio Drama 3 können KI-Stimmen mitten im Satz ihre Emotionen ändern

Fish Audio hat Drama 3 veröffentlicht, ein Text-zu-Sprache-Modell, das KI-generierte Dialoge weniger wie das bloße Ablesen eines Skripts und mehr wie eine echte schauspielerische Darbietung klingen lassen soll. Das am 13. Oktober veröffentlichte Modell ermöglicht es Kreativen, Emotionen, Sprechtempo und stimmlichen Ausdruck mit ganz normalen sprachlichen Anweisungen zu steuern.
Statt sich auf einfache Stimmvoreinstellungen zu verlassen, können Nutzer Anweisungen direkt in ihre Skripte einfügen. Eine Figur könnte zunächst ruhig sprechen, zunehmend frustriert werden und einen Satz flüsternd beenden – ohne zwischen separaten Aufnahmen wechseln zu müssen. Selbst synthetische Schauspieler müssen nun also Regieanweisungen entgegennehmen.
Drama 3 unterstützt außerdem Gespräche mit mehreren Figuren sowie 83 Sprachen. Anweisungen lassen sich auf einzelne Wörter oder Passagen anwenden, sodass Kreative bestimmte Ausdrücke hervorheben können, ohne den Rest des Skripts zu verändern.
Laut Fish Audio erreichte das Modell im Benchmark „Pronunciation Robustness“ von Artificial Analysis eine Genauigkeit von 93,2 %, verglichen mit 88,1 % beim Vorgängermodell S2.1 Pro. Eine hohe Aussprachegenauigkeit garantiert allerdings nicht unbedingt überzeugende emotionale Darbietungen.
Das Unternehmen entwickelt außerdem zwei fortschrittliche Bearbeitungswerkzeuge. Mit Interactive Editing sollen Nutzer Darbietungen durch weitere Anweisungen verfeinern können, während Audio Inpainting einzelne Wörter ersetzen soll, ohne ganze Aufnahmen neu zu generieren. Beide Werkzeuge befinden sich weiterhin in einer eingeschränkten Testphase, die nur auf Einladung zugänglich ist.
Drama 3 ist über die Website, die mobilen Apps und die API von Fish Audio verfügbar. Auch die Modellgewichte können heruntergeladen werden, wobei die kommerzielle Nutzung Lizenzbeschränkungen unterliegt.
Bis zum 12. November kostet der API-Zugang 10 US-Dollar (umgerechnet etwa 9,20 Euro) pro Million Zeichen – ein Rabatt von 80 % gegenüber dem regulären Preis von 50 US-Dollar (umgerechnet etwa 46 Euro). Neue Abonnements für Kreative sind während des Aktionszeitraums ebenfalls um 50 % reduziert.




