Im letzten Beitrag ging es darum, wie eqREADER mehrdeutige Wörter auseinanderhält. Heute geht es um die andere Hälfte des Projekts: die Gebärdenvideos selbst. Für jedes Wort, das eqREADER erklären soll, braucht es ein Video in Gebärdensprache. Diese Videos zu produzieren ist bisher der aufwendigste Teil des Vorhabens. In den letzten zwei Wochen haben wir in Wien an einem neuen Weg gearbeitet, der das ändern könnte.

Warum die Videos der Engpass sind

Unsere Gebärdenvideos zeigen einen 3D-Avatar. Damit der eine Gebärde vorführen kann, gebärdet zuerst eine gehörlose Fachkraft das Wort vor der Kamera. Danach überträgt ein Animationsteam die Bewegung von Hand auf die Computerfigur, samt Mimik und Mundbild. Das Ergebnis ist gut, aber teuer. Für ein einzelnes Wort können mehrere Arbeitsstunden zusammenkommen. Bei ein paar hundert Begriffen geht das noch, bei ganzen Büchern nicht mehr.

Deshalb testen wir gerade einen anderen Ansatz: Der Computer sieht sich die Aufnahme an und überträgt die Bewegung selbst auf den Avatar. Ohne Spezialanzug, ohne aufgeklebte Marker, nur aus dem Videobild.

Ein Studio, vier Kameras und ein Fußpedal

Dafür haben wir ein Aufnahmestudio eingerichtet. Vier Kameras filmen jede Gebärde gleichzeitig, von vorn, von der Seite, einmal der ganze Körper und eine eigene Kamera nur für das Gesicht, weil das Mundbild in der Gebärdensprache Bedeutung trägt. Dazu Studiolicht und ein Teleprompter, der das jeweils nächste Wort anzeigt.

Gesteuert wird die Aufnahme über ein Fußpedal, und zwar von unserer gehörlosen Darstellerin selbst. Sie gebärdet ein Wort, tritt aufs Pedal, der Prompter zeigt das nächste. Niemand muss dazwischenreden oder die Kamera stoppen, das Tempo bestimmt sie allein. So kommt sie auf mehrere hundert Gebärden pro Stunde.

Auf der Liste stehen knapp 12.000 Gebärden der Österreichischen Gebärdensprache.

Danach übernehmen die Rechner

In der Drehpause der letzten Woche lief die Auswertung. Zuerst schneidet eine selbst entwickelte Software die stundenlangen Aufnahmeblöcke in einzelne Clips. Sie erkennt dafür, wann die Hände in der Ruheposition liegen und wann gebärdet wird. Übrig bleiben rund 6.000 sauber geschnittene Einzelgebärden, jede mit dem richtigen Wort beschriftet und aus allen vier Kameraperspektiven synchron.

Dann berechnen Machine-Learning-Modelle aus jedem Clip die Bewegung in 3D: wo die Arme sind, wie stark jeder einzelne Finger gebeugt ist, was das Gesicht macht. Aus dem Video wird eine Art digitales Bewegungsskelett, und das lässt sich auf den Avatar übertragen. Die ersten Gebärden laufen bereits automatisch auf ihm. Was vorher Stunden an Handarbeit gebraucht hat, rechnet der Computer jetzt in wenigen Minuten durch.

Die Qualitätsfrage

Gebärdensprache verzeiht allerdings keine Ungenauigkeit. Eine leicht andere Handform kann eine andere Bedeutung ergeben, so wie ein Tippfehler aus „Haus" ein „Maus" macht. Ein Avatar, der nur ungefähr richtig gebärdet, hilft niemandem.

Ein großer Teil der zwei Wochen ging deshalb in die Qualitätskontrolle. Dabei hilft uns, dass wir über die Jahre mehrere tausend Gebärden professionell von Hand animiert haben. Zusammen mit einem Katalog der wichtigsten Handformen der ÖGS lässt sich damit für jeden automatisch erzeugten Clip nachprüfen, ob die Handform stimmt und ruhig gehalten wird, so wie es ein menschlicher Animator machen würde.

Dabei findet man auch Fehler, mit denen wir nicht gerechnet hatten. Sind beide Hände sehr nah beieinander, verwechselt der Computer manchmal, welcher Finger zu welcher Hand gehört, und erfindet etwa einen ausgestreckten Zeigefinger, den es in der Aufnahme nie gab. Solche Fälle automatisch aufzuspüren ist inzwischen eine eigene Baustelle geworden. Das letzte Wort haben ohnehin Menschen: Gehörlose Expert:innen sichten die Ergebnisse, denn ob eine Gebärde verständlich ist, kann nur beurteilen, wer die Sprache täglich verwendet.

Wie es weitergeht

Wenn der neue Produktionsweg hält, was die ersten Tests versprechen, können wir den Wortschatz von eqREADER deutlich schneller erweitern als bisher und irgendwann auch längere Texte durchgehend in Gebärdensprache anbieten. Im August folgt die nächste Aufnahmerunde, dann mit einer zweiten Darstellerin für die Deutsche Gebärdensprache und mit allem, was wir aus den ÖGS-Aufnahmen gelernt haben. Über die ersten Reaktionen gehörloser Nutzer:innen auf die automatisch erzeugten Gebärden berichten wir im nächsten Beitrag.