The American Society for Deaf Children

Eine neue Art, das Gebärdensprache-Alphabet zu lernen

Um dem Sprachverlust entgegenzuwirken und die Kommunikationsbarriere zwischen gehörlosen oder schwerhörigen Kindern und ihren (hörenden) Eltern und Gleichaltrigen zu überbrücken, hat sich das Kreativstudio Hello Monday mit der American Society for Deaf Children zusammengetan und Fingerspelling.xyz entwickelt – eine Hand-Tracking-Experience, die das Erlernen des Gebärdensprache-Alphabets mithilfe von Machine Learning vereinfacht.

Die Bedeutung des Gebärdensprache-Alphabets

Jedes Jahr werden in den USA 2 bis 3 von 1’000 Kindern gehörlos oder schwerhörig geboren. 90% dieser Kinder haben hörende Eltern und in vielen Fällen ist ihr Kind die erste gehörlose Person in ihrem Leben.

Wenn ein gehörloses Kind nicht frühzeitig mit der Gebärdensprache vertraut gemacht wird, kann die Sprachentwicklung beeinträchtigt werden. Dies kann zu einer Sprachverzögerung oder einem Sprachverlust führen, was sich langfristig negativ auf das Leben des Kindes auswirkt. Deshalb ist es so wichtig, dass Eltern von gehörlosen Kindern die Möglichkeit haben, so früh wie möglich die Amerikanische Gebärdensprache, American Sign Language (ASL), zu erlernen. Genau hier kommt Fingerspelling.xyz ins Spiel.

Eine spielerische Lernerfahrung

Fingerspelling.xyz ist eine browserbasierte Anwendung, die mithilfe einer Webcam und Machine Learning Ihre Handbewegungen analysiert, damit Sie lernen, das ASL-Alphabet richtig zu “buchstabieren”. Fingerspelling ist ein wesentlicher Bestandteil von ASL, der Hauptsprache der amerikanischen Gehörlosengemeinschaft. Es wird oft für Eigennamen verwendet oder um ein Wort zu buchstabieren, für welches man das Zeichen selbst nicht kennt.

Die App zeigt den Benutze:innen eine Reihe von Wörtern und verwendet ein 3D-Modell, um zu veranschaulichen, wie die Hand für jeden Buchstaben positioniert werden sollte. Wenn Sie das Wort bilden, verfolgt die Kamera Ihre Handbewegungen und gibt Ihnen ein Feedback, sodass Sie bei Bedarf Korrekturen vornehmen können. Auf diese Weise können Sie Ihre Fingerfertigkeiten schnell verbessern und die nächste Stufe des Programms erreichen.

Fingerspelling.xyz ist eine grossartige Möglichkeit, die Grundlagen der ASL auf spielerische Art zu vermitteln: Ein Online-Lehrmittel, das Schritt für Schritt erklärt, wie man das Fingerspelling meistert – hands on!

Anders Jessen, Founding Partner, Hello Monday

Das Design und die Technologie dahinter

Aus der Designperspektive war das Ziel, das Fingeralphabet auf möglichst klare und einfache Weise zu vermitteln. Deshalb wurde die 3D-Hand prominent in der Mitte der Website platziert und mit einer verspielten Schriftart kombiniert. Die abgewinkelten Glyphen haben eine dynamische Bewegung, die subtile visuelle Nuancen in den Handgesten widerspiegelt, wodurch auch das leicht schräge Erscheinungsbild fröhlich und ansprechend wirkt.

In Bezug auf die Farbauswahl war die Zielsetzung, eine Palette zu verwenden, die kräftig genug ist, um die Menschen anzusprechen und sie gleichzeitig dazu auffordert, das Gebärdensprache-Alphabet lernen zu wollen. Aufmerksamkeit zu erregen war der Schlüssel.

Die 3D-Hand wurde nutzerfreundlich gestaltet und mit genügend Details versehen, damit die User:innen leicht erkennen können, wie die Finger positioniert und gebogen sind. Eine Mischung aus Cartoon-Stil und Realismus war die perfekte Lösung.

Das technische Hauptmerkmal der Website ist das Hand-Tracking, für das MediaPipe Hands verwendet wurde. Es ist äusserst leistungsfähig und in der Lage, auch dann die Handstellung zu erkennen, wenn Teile der Finger hinter anderen Fingern verborgen sind.

Die zeitaufwändigste Aufgabe bestand darin, zu definieren, wann ein Fingerspelling-Buchstabe akzeptiert werden sollte und wann nicht. Das Team entwickelte für jeden Buchstaben ein regelbasiertes System, das die Drehung der Hand berücksichtigt, d. h. ob sie nach oben, unten, links oder rechts zeigt. Wenn die Ausrichtung der Hand korrekt ist, wird geprüft, wie jeder Finger positioniert wurde und wie stark er gebogen ist. Das Aufstellen der Regeln war ein manueller Prozess für jeden Buchstaben, der viel Ausprobieren erforderte. Um sicherzugehen, dass alle Zeichen auf die richtige Weise gelehrt werden, half uns ein ASL-Professor beim Testen der verschiedenen Buchstaben.

Ein nützliches Tool, von der Industrie gewürdigt

Das Ergebnis: Fingerspelling.xyz wurde für den Desktop entwickelt und ist in erster Linie für Eltern gehörloser Kinder gedacht, kann aber jedem und jeder helfen, sich mit dem ASL-Alphabet vertraut zu machen, indem es einen leichten und einfachen Einstieg ermöglicht.

Innerhalb von 10 Tagen nach dem Start der Website wurden 150’000 korrekte Gebärdenzeichen gemacht. 10 Monate später waren bereits mehr als 2,5 Millionen korrekte Handzeichen registriert worden. The American Society for Deaf Children verwendet Fingerspelling.xyz jetzt auch als Teil ihres eigenen Schulungsmaterials, was zeigt, wie nützlich das Tool ist.

Wir haben das Fingerspelling-Tool mit Hello Monday entwickelt, um Eltern dabei zu helfen, ihr Kind beim Erlernen der Gebärdensprache zu unterstützen. So können sie die Freude an der Kommunikation mit ihrem gehörlosen Kind teilen.

Cheri Dowling, Director of Outreach and Programs, American Society for Deaf Children

Fingerspelling.xyz hat zweifellos einen positiven Einfluss auf die Gehörlosengemeinschaft und wurde dafür mit renommierten internationalen Auszeichnungen gewürdigt: