NVIDIA

Signs: Eine KI-gestützte Plattform zum Erlernen der Gebärdensprache

Transcript

Imagine being unable to tell your child, I love you. In the US 11 million people are deaf or have significant difficulty hearing. 90% of deaf children are born to hearing parents who can’t communicate with them. As a hearing mom, having a deaf-hearted hearing child, I just feel left out communicating with her. And it hurts me. Studies show that the earlier a child is exposed to sign language, the better their language development is overall, but it also impacts their cognitive development, their mental health, and overall educational success. It ripples out throughout their life. It’s that important, and parents are critical to that language learning because I want to talk to her about her wedding, her grandkids, you know, buying a house or being a lawyer or a doctor. I wanna be able to be in her life and I know that in order for me to do that, I have to learn that language and I have to learn that culture. That’s why we partnered with Nvidia, the world leader in AI computing, and the American Society for Deaf Children to build Signs, an AI-powered platform that revolutionizes sign language learning by blending advanced technology with an intuitive user-friendly approach through your camera and an interactive avatar. The platform provides step-by-step visual guidance, tracks your movements in real time, and offers instant feedback. This empowers users to learn sign language in a way that’s never been possible before. But Signs is more than a learning tool. It’s a resource for the future of ASL. This is a really wonderful system, could improve the lives of the deaf and hard of hearing community right away. Opportunities are just endless, and this is just the beginning. The more people who use Signs, the better it gets.

(  Services  )

  • AI Transformation
  • Customer Experience
  • Tech & Data

Für 11 Millionen gehörlose und schwerhörige Menschen in den USA ist der Zugang zu effektiver Kommunikation eine tägliche Herausforderung.

Für gehörlose Kinder ist die Situation noch herausfordernder. Neunzig Prozent von ihnen werden von hörenden Eltern geboren, die oft wenig bis keine Erfahrung mit Gebärdensprache haben.

Ohne frühen Zugang zur American Sign Language (ASL) riskieren diese Kinder einen Sprachmangel, der ihre kognitive Entwicklung, Bildung und emotionale Gesundheit beeinträchtigen kann.

a father teaching his son sign language

Doch ASL im Selbststudium zu lernen, war schon immer schwierig. Zwar bieten großartige Lehrer:innen, ASL-Programme und Schulen Unterricht an, aber viele Menschen haben keinen Zugang dazu. Traditionelle ASL-Kurse können teuer und geografisch begrenzt sein. Video-Tutorials existieren, aber ihnen fehlt, was Lernende am dringendsten brauchen: Feedback.

Sie sagen nicht, wenn die Handposition leicht falsch ist. Sie helfen auch nicht, Bewegungen in Echtzeit anzupassen.

Die ASL-Ausbildung brauchte eine Revolution – eine, die das Lernen interaktiver, zugänglicher und unmittelbarer machen könnte. Eine, die Lernende befähigt, die Lücke zwischen der gehörlosen und der hörenden Gemeinschaft überbrückt und das Meistern von ASL für jeden und überall intuitiver macht.

signs app
purple robot hand

Eine first-of-its-kind KI-Plattform

In Zusammenarbeit mit NVIDIA und der American Society for Deaf Children haben wir Signs entwickelt. Diese bahnbrechende, KI-gestützte Gebärdensprach-Plattform macht das Erlernen von ASL so natürlich wie ein Gespräch. 

Signs verwandelt jede Kamera mithilfe modernster KI, Computer Vision und maschinellem Lernen in einen interaktiven Gebärdensprach-Coach.

  • Step-by-Step Anleitung: Ein 3D-Avatar demonstriert jedes Zeichen aus mehreren Blickwinkeln
  • Echtzeit-Feedback: Die KI verfolgt die Handbewegungen der Nutzer:innen und liefert sofortige Korrekturen
  • Eine wachsende ASL-Datenbank: Nutzer:innen laden Videos von sich selbst beim Gebärden hoch, helfen so bei der Schulung der KI und bauen einen stetig wachsenden, open-source Datensatz auf

Zum ersten Mal schauen Lernende nicht nur zu – sie interagieren. Sie erhalten sofortiges, personalisiertes Feedback. Sie üben mit Selbstvertrauen, in dem Wissen, dass jede Korrektur sie der fließenden Beherrschung der ASL einen Schritt näher bringt.

Und es funktioniert.

screenshot of signs app

Signs launchte ohne Paid Media – und dennoch hörte die ganze Welt zu.

  • Präsentiert auf CNN, Axios, Venturebeat und in weiteren globalen Medien
  • Ein schnell wachsender Datensatz, der die Zukunft der KI-gestützten Gebärdenspracherkennung antreibt

Beeindruckende Stats

Aufbau einer globalen KI-Bewegung

Signs bringt Nutzer:innen nicht nur ASL bei – es gestaltet die Zukunft der KI-gestützten Barrierefreiheit:

  • Über 400.000 Videoclips und mehr als 1.000 Zeichen in Entwicklung.
  • Kontinuierliches KI-Training, das die Erkennung komplexer Gebärden und Ausdrücke verfeinert.
  • Ein von NVIDIA öffentlich zugänglich gemachter Datensatz, der Forscher:innen und Entwickler:innen ermöglicht, die nächste Generation KI-gesteuerter Accessibility Tools zu entwickeln – von Echtzeit Gebärdensprach-Übersetzung in Videokonferenzen bis hin zu einem KI-Assistenten, der Gebärdensprache versteht.

Indem dieser Datensatz geöffnet wird, hilft Signs nicht nur einzelnen Lernenden – es treibt eine Zukunft voran, in der KI Gebärdensprache nicht nur erkennt, sondern versteht.

Signs ist kostenlos, für alle offen und verbessert sich kontinuierlich.

  • Lernen – Beginnen Sie noch heute mit dem Gebärden auf signs-ai.com
  • Mitwirken – Nehmen Sie Gebärden auf und lade sie hoch, um den Datensatz zu erweitern
  • Teilen– Je mehr Menschen Signs nutzen, desto schlauer wird die Plattform
“

Unser Ziel ist es, Familien, Freunde und Gemeinschaften zu verbinden, indem wir das ASL-Lernen zugänglicher machen und gleichzeitig die Entwicklung inklusiverer KI-Technologien ermöglichen.


”

Michael Boone, NVIDIA

robot saluting

Next project

EverEstate

Targeting bringt Immobilien und Käufer:innen zusammen

View Work