Ein Blick in unser Studio während der DGS-Aufnahmen. Diese Aufnahmen bilden die Grundlage für die kommenden Avatar-Animationen.

Im Juli haben wir hier von unserem Aufnahmestudio und den ersten Versuchen berichtet, Gebärden aus Videos auf einen Avatar zu übertragen. Damals standen die Aufnahmen in Deutscher Gebärdensprache noch bevor. Inzwischen sind die DGS-Drehtage abgeschlossen. Jetzt arbeiten wir daran, das aufgenommene Material für die Animationen vorzubereiten.

Für eqREADER brauchen wir diese Videos, damit Leser:innen beim Antippen eines Wortes die passende Gebärde sehen können. Mit den DGS-Aufnahmen schaffen wir die Grundlage, dieses Angebot um weitere Gebärden in Deutscher Gebärdensprache auszubauen.

Im Studio haben wir die Gebärden mit vier Kameras aus verschiedenen Perspektiven aufgenommen. So können wir die Bewegungen der Hände und des Körpers ebenso erfassen wie den Gesichtsausdruck. Die Fotos geben einen Einblick in diese Arbeit: Die Darstellerin gebärdet vor einem hellen Hintergrund, umgeben von Kameras und Studiolicht.

Jetzt bereiten wir die Aufnahmen für die Weiterverarbeitung vor. Dazu teilen wir die längeren Aufnahmeblöcke in einzelne Gebärdenclips auf und ordnen sie den jeweiligen Begriffen zu. Aus dem Studiomaterial entsteht so eine Sammlung, mit der unser Animationsteam weiterarbeiten kann.

Diese geprüften Ausschnitte bilden die Grundlage für die Animation. Der Ansatz, den wir mit den ÖGS-Aufnahmen erprobt haben, soll nun auch für das DGS-Material zum Einsatz kommen: Aus den Kamerabildern berechnen wir Bewegungsdaten und übertragen sie auf die digitale Figur. Anschließend müssen wir prüfen, welche Bewegungen der Avatar korrekt wiedergibt und wo Nacharbeit nötig ist.

Besonders genau geht es dabei um die Hände. Schon eine veränderte Fingerstellung kann die Verständlichkeit beeinträchtigen. Ebenso gehören Mimik und Mundbild zur Gebärde. Für die Beurteilung der fertigen Animationen brauchen wir deshalb gehörlose Expert:innen, die die Sprache beherrschen.

Gebärde für Gebärde entsteht im Studio die Vorlage für den Ausbau des DGS-Videobestands.

Auch Mimik und Mundbild gehören zur Gebärde. Sie müssen bei der Übertragung auf den Avatar berücksichtigt werden.

Unser nächster Schritt ist, aus dem vorbereiteten DGS-Material Animationen zu erstellen und sie mit den Originalaufnahmen zu vergleichen. So wollen wir herausfinden, wo die automatische Übertragung bereits trägt und wo das Animationsteam korrigieren muss. Auf dieser Grundlage können wir den DGS-Videobestand für eqREADER weiter ausbauen.