Die weltweit größte Open-Source Bibliothek für Bilder von Händen, hilft KI dabei, die Gebärdensprache zu erschließen

Live-Audio-Transkriptions- und Übersetzungstools sind für Gehörlose und Schwerhörige aufgrund der komplexen Kombination von schnellen Handgesten, Gesichtsausdrücken und Ganzkörperbewegungen in der Gebärdensprache nur bedingt geeignet. Während Modelle des maschinellen Lernens Gesichtsausdrücke und Körperbewegungen verarbeiten können, bleibt die Erkennung von Hand- und Fingerbewegungen eine Herausforderung. Künstliche Intelligenz ist auf dem Vormarsch und demokratisiert den Zugang zu Daten, so dass diese auf unbegrenzte Weise genutzt werden können. Da die meisten verfügbaren Tools jedoch auf bereits vorhandenen Daten und Bildern trainiert werden, ist es schwierig, nützliche Modelle für maschinelles Lernen aus Quellen zu erstellen, die nicht ohne weiteres verfügbar sind. 

GiveAHand.ai, das anlässlich des American Sign Language Day (15. April) ins Leben gerufen wurde, setzt Technologie für den guten Zweck ein. Die auf der Plattform gesammelten Daten stammen zu hundert Prozent aus der Bevölkerung und generieren einen vielfältigen Datensatz von Händen: verschiedene Formen, Farben, Hintergründe und Gesten. Jetzt kann jeder seine Hände für einen guten Zweck einsetzen, indem er Bilder beisteuert und hochlädt und so dazu beiträgt, eine Bildbibliothek aufzubauen, die dabei helfen wird, die Gebärdensprache zu entschlüsseln. Forscher:innen können dann diese vollständig getaggten Bilder herunterladen und verwenden, um ihre Modelle für maschinelles Lernen zu verbessern, was die Erkennung und Übersetzung des gesamten Spektrums der Gebärdensprache ermöglicht.

“Es ist aufregend zu sehen, welches Potenzial diese Plattform für den Aufbau besserer, vielfältigerer Modelle im Dienste der Gebärdensprachgemeinschaft freisetzen kann. Dies ist ein perfektes Beispiel dafür, wie Technologie genutzt werden kann, um Fortschritt und Integration zu fördern“, sagt Cheri Dowling, Geschäftsführerin der American Society for Deaf Children. „Wir bitten nun jeden, einen Beitrag zu leisten, indem er uns – im wahrsten Sinne des Wortes – die Hand reicht”. 

GiveAHand.ai ist die zweite Zusammenarbeit zwischen Hello Monday/DEPT® und ASDC: 2021 brachten sie Fingerspelling.xyz auf den Markt, eine Handverfolgungsfunktion, die maschinelles Lernen nutzt, um das Gebärdensprache-Alphabet zu erlernen. Derzeit wurden mehr als 5,1 Millionen korrekte Handzeichen registriert und die American Society for Deaf Children verwendet Fingerspelling.xyz nun als Teil ihrer eigenen Schulungsmaterialien. 

„Es ist wirklich magisch, wenn wir unsere Liebe zur Technologie mit unserem Wunsch verbinden können, eine Welt zu schaffen, in der alle Zugang zu den gleichen Sprachwerkzeugen haben. Seitdem wir Fingerspelling.xyz entwickelt haben und den Unterschied sehen, den es macht, sind wir begeistert, diesen Datensatz aufzubauen und die KI in dieser Hinsicht voranzutreiben – damit wir helfen können, die Kommunikationsbarriere zwischen Gehörlosen und Hörenden zu überbrücken“, sagt Anders Jessen, CEO und Gründer von Hello Monday/DEPT®.

Besuchen Sie GiveAHand.ai um die Bibliothek der Handbilder zu erkunden und einen Beitrag zu leisten.