Gebärdensprache statt tippen: Googles KI-Modell landet im Pixel 11

Google DeepMind hat am Mittwoch ein Übersetzungsmodell für Gebärdensprache vorgestellt, das nicht im Labor bleibt. SL2T, kurz für sign-language-to-text, steckt in der Tastatur Gboard und in der App Live Transcribe auf dem Pixel 11. Wer gebärdet, bekommt Text. Und zwar überall dort, wo sonst getippt wird: in der Websuche, in Nachrichten, in Dokumenten und in Anfragen an Gemini. Zusatzkosten verlangt Google dafür nicht.

Für Gehörlose ist das mehr als eine Bequemlichkeit. Weltweit gibt es über 200 Gebärdensprachen und geschätzt 70 Millionen Menschen, die sie als Hauptsprache nutzen. Eine Diktierfunktion, wie sie Hörende seit Jahren selbstverständlich verwenden, gab es für sie bisher nicht. In Live Transcribe lässt sich jetzt auch antworten, statt in einem Gespräch hin und her zu tippen.

Die Kamera schickt kein Video an Google

Der interessanteste Teil ist der Datenschutz. Das Modell bekommt das Kamerabild gar nicht zu sehen. Auf dem Gerät läuft MediaPipe Holistic, ein Verfahren, das die Aufnahme in Körperpunkte umrechnet, also in reine Koordinaten von Händen, Armen, Kopf und Gesicht. Nur diese Zahlenfolge geht an den Server. Das Video wird laut Google sofort verworfen.

Bemerkenswert ist auch, was Google weggelassen hat. Frühere Ansätze übersetzten über sogenannte Glossen, eine grobe Zwischennotation aus einzelnen Gebärden. Die schneidet allerdings weg, was Gebärdensprachen ausmacht, etwa Mimik und die Nutzung des Raums. SL2T übersetzt direkt von den Körperpunkten in Text. Trainiert wurde es auf mehr als 100.000 Stunden Material aus über 50 Gebärdensprachen, rund ein Viertel davon amerikanische Gebärdensprache (ASL, American Sign Language). Im Fachtest FLEURS-ASL erreicht das Modell 70 BLEURT, einen Messwert für Übersetzungsqualität, ohne vorheriges Training auf den Testdaten.

Deutsch fehlt, und die Fehler zeigt Google selbst

Für deutsche Nutzer ist der Haken groß. Zum Start übersetzt SL2T ausschließlich ASL nach Englisch. Die Deutsche Gebärdensprache (DGS) ist nicht dabei. Google kündigt weitere Sprachen und weitere Geräte an, nennt dafür aber keinen Termin.

Auch die Qualität ist nicht makellos, und das räumt Google in den eigenen Beispielen ein. Beim schnellen Fingeralphabet wird aus dem englischen prey ein grey, eine bildhafte Beschreibung fällt weg, eine Zeitform kippt ohne Kontext. Immerhin hat das Team an den praktischen Punkten gearbeitet: an der Verzögerung beim laufenden Übersetzen, an erfundenen Ausgaben wenn gerade niemand gebärdet, an Linkshändern und am einhändigen Gebärden, das nötig wird sobald die andere Hand das Handy hält.

Entwickelt wurde das Ganze unter Beteiligung gehörloser Fachleute. Ein Beirat namens AISLAC begleitet die Veröffentlichung, dazu gibt es einen gemeinsamen Bericht über Fähigkeiten und Grenzen des Modells.

Vorerst nur mit dem Pixel 11

Wer die Funktion ausprobieren will, braucht zunächst ein Pixel 11. Im deutschen Google Store steht das Gerät am 13. August noch auf Vorbestellung, ab 999 Euro. Ältere Modelle wie das Pixel 10 Pro gehen vorerst leer aus.