The American Society for Deaf Children

Het alfabet in gebarentaal leren op een innovatieve manier

Om taalachterstand tegen te gaan en de communicatiebarrière tussen dove of slechthorende kinderen en hun goedhorende ouders en leeftijdsgenoten te helpen overbruggen, heeft de creatieve studio Hello Monday (onderdeel van DEPT®) in samenwerking met de Amerikaanse vereniging voor dove kinderen Fingerspelling.xyz gecreëerd – een platform dat de bewegingen van je handen volgt om gebruikers met behulp van machine learning het gebarentaal alfabet te leren.

Het belang van het alfabet in gebarentaal

Twee tot drie op de 1.000 kinderen die in de VS worden geboren zijn doof of slechthorend. 90% van de ouders van dove kinderen hebben zelf een goed gehoor. In veel gevallen is hun kind de eerste dove persoon die ze ooit hebben ontmoet. 

Als een doof kind niet in een vroeg stadium met gebarentaal in aanraking komt, heeft dit een negatief effect op de taalontwikkeling. Dit kan leiden tot een taalachterstand, wat op de lange termijn negatieve gevolgen heeft voor het leven van een kind. Daarom is het van groot belang dat ouders van dove kinderen de mogelijkheid krijgen om zo snel mogelijk American Sign Language (ASL) te leren. Dat is waar Fingerspelling.xyz om de hoek komt kijken.

Een speelse leerervaring

Fingerspelling.xyz is een applicatie in de webbrowser die gebruik maakt van een webcam en machine learning om de bewegingen van je handen te analyseren, zodat je het ASL alfabet op de juiste manier aanleert. Vingerspelling is een essentieel onderdeel van ASL, de primaire taal van de Amerikaanse dovengemeenschap. Het wordt vaak gebruikt voor zelfstandige naamwoorden of om een woord te spellen waarvan je het teken niet kent.

De app toont de gebruiker een reeks woorden en gebruikt een 3D-model om te laten zien hoe je hand moet worden geplaatst voor elke letter. Wanneer je het woord uitbeeldt, volgt de camera je handbewegingen en geeft je feedback, zodat je indien nodig je handgebaar kan corrigeren. 
Dit helpt je om snel je gebarentaalvaardigheden te ontwikkelen en naar het volgende niveau van het programma te gaan.

Het vingerspellingspel is een geweldige manier om de basistechnieken van ASL op een eenvoudige en speelse manier te introduceren. In plaats van het moeten lezen of bekijken van video’s over vingerspelling, bieden wij een online leermiddel dat je stap voor stap begeleidt bij het onder de knie krijgen van vingerspelling – steek die handen maar uit je mouwen!

Anders Jessen, oprichter en partner bij Hello Monday

Het ontwerp en de techniek erachter

Vanuit een ontwerpperspectief was het doel om vingerspelling op een minimalistische en eenvoudige manier over te brengen. Daarom is de 3D-hand prominent in het midden van de site geplaatst en gekoppeld aan een speels lettertype. De schuingedrukte letters hebben een dynamische beweging die subtiele visuele nuances in de handgebaren weerspiegelt, en het ietwat afwijkende uiterlijk voelt vrolijk en aangenaam aan.

Qua kleuren wilden we een palet gebruiken dat gedurfd genoeg was om mensen aan te trekken en hen tegelijkertijd te stimuleren om te beginnen met leren vingerspellen. De aandacht trekken was essentieel.

De 3D-hand is zo ontworpen dat hij vriendelijk aanvoelt, met voldoende details zodat gebruikers gemakkelijk kunnen zien hoe de vingers zijn geplaatst en gebogen. Een mix van cartoonstijl en realisme was de perfecte uitkomst.

Als we kijken naar de technologie, is het belangrijkste kenmerk van de site de handtracking, waarvoor MediaPipe Hands wordt gebruikt. Deze techniek werkt ontzettend goed en is, zelfs wanneer delen van de vingers verborgen zijn achter andere vingers, in staat om accurate detectie te doen.

De meest tijdrovende taak was het bepalen wanneer een uitgebeelde letter moet worden geaccepteerd of niet. Het team ontwikkelde een op regels gebaseerd systeem voor elk van de letters dat kijkt naar de rotatie van de hand; of deze naar boven, beneden, links of rechts is gericht. Als de oriëntatie van de hand correct is, wordt gekeken naar de positie van elke vinger en de mate waarin de vinger gebogen is. Het opstellen van de regels was voor elke letter een handmatig proces met veel vallen en opstaan. Om er zeker van te zijn dat de tekens allemaal op de juiste manier worden aangeleerd, hielp een ASL professor bij het testen van alle letters.

Een nuttig leermiddel, bekroond met diverse prijzen

Het eindresultaat, Fingerspelling.xyz, is ontworpen voor desktop en in de eerste plaats bedoeld voor ouders van dove kinderen, maar het kan iedereen helpen meer vertrouwd te raken met het ASL alfabet door de toegankelijke en eenvoudige manier om te beginnen.

Binnen tien dagen na de lancering van de site werden 150.000 correcte handgebaren gemaakt. Tien maanden later waren er maar liefst 2,5 miljoen correcte handgebaren geregistreerd. De Amerikaanse vereniging voor dove kinderen gebruikt het platform nu ook als onderdeel van hun eigen trainingsmateriaal, wat benadrukt hoe nuttig het is.

We hebben deze vingerspellingtool samen met Hello Monday (onderdeel van DEPT®) ontwikkeld om ouders te helpen hun kind gebarentaal te leren en om ouders het plezier te laten ervaren van communiceren en contact maken met hun dove kind.

Cheri Dowling, Director of Outreach and Programs, American Society for Deaf Children

Fingerspelling.xyz heeft absoluut een positieve impact gehad voor de dovengemeenschap en het innovatieve platform is erkend met prestigieuze internationale awards, waaronder:

Questions?

Founding Partner, Hello Monday (part of DEPT®)

Anders Jessen

Blijf op de hoogte

Personaliseer je ervaring

Wij gebruiken functionele cookies om de website beter te laten werken, analytische cookies om gedrag te meten en marketing cookies om advertenties- en content te personaliseren. Wij verzamelen gegevens over de manier waarop je onze website gebruikt om onze website makkelijker in gebruik te maken maar ook om communicatie in advertenties, op onze website of apps op jouw interesses kunnen afstemmen en personaliseren. Data verzameld via marketing cookies wordt ook gedeeld met derde partijen. Door op accepteren te klikken ga je hiermee akkoord. Meer informatie? Lees ons cookiebeleid.