Om taalachterstand tegen te gaan en de communicatiebarrière tussen dove of slechthorende kinderen en hun goedhorende ouders en leeftijdsgenoten te helpen overbruggen, heeft de creatieve studio Hello Monday (onderdeel van DEPT®) in samenwerking met de Amerikaanse vereniging voor dove kinderen Fingerspelling.xyz gecreëerd – een platform dat de bewegingen van je handen volgt om gebruikers met behulp van machine learning het gebarentaal alfabet te leren.
Het belang van het alfabet in gebarentaal
Twee tot drie op de 1.000 kinderen die in de VS worden geboren zijn doof of slechthorend. 90% van de ouders van dove kinderen hebben zelf een goed gehoor. In veel gevallen is hun kind de eerste dove persoon die ze ooit hebben ontmoet.
Als een doof kind niet in een vroeg stadium met gebarentaal in aanraking komt, heeft dit een negatief effect op de taalontwikkeling. Dit kan leiden tot een taalachterstand, wat op de lange termijn negatieve gevolgen heeft voor het leven van een kind. Daarom is het van groot belang dat ouders van dove kinderen de mogelijkheid krijgen om zo snel mogelijk American Sign Language (ASL) te leren. Dat is waar Fingerspelling.xyz om de hoek komt kijken.
Een speelse leerervaring
Fingerspelling.xyz is een applicatie in de webbrowser die gebruik maakt van een webcam en machine learning om de bewegingen van je handen te analyseren, zodat je het ASL alfabet op de juiste manier aanleert. Vingerspelling is een essentieel onderdeel van ASL, de primaire taal van de Amerikaanse dovengemeenschap. Het wordt vaak gebruikt voor zelfstandige naamwoorden of om een woord te spellen waarvan je het teken niet kent.
De app toont de gebruiker een reeks woorden en gebruikt een 3D-model om te laten zien hoe je hand moet worden geplaatst voor elke letter. Wanneer je het woord uitbeeldt, volgt de camera je handbewegingen en geeft je feedback, zodat je indien nodig je handgebaar kan corrigeren.
Dit helpt je om snel je gebarentaalvaardigheden te ontwikkelen en naar het volgende niveau van het programma te gaan.
Het vingerspellingspel is een geweldige manier om de basistechnieken van ASL op een eenvoudige en speelse manier te introduceren. In plaats van het moeten lezen of bekijken van video’s over vingerspelling, bieden wij een online leermiddel dat je stap voor stap begeleidt bij het onder de knie krijgen van vingerspelling – steek die handen maar uit je mouwen!
Anders Jessen, oprichter en partner bij Hello Monday
Het ontwerp en de techniek erachter
Vanuit een ontwerpperspectief was het doel om vingerspelling op een minimalistische en eenvoudige manier over te brengen. Daarom is de 3D-hand prominent in het midden van de site geplaatst en gekoppeld aan een speels lettertype. De schuingedrukte letters hebben een dynamische beweging die subtiele visuele nuances in de handgebaren weerspiegelt, en het ietwat afwijkende uiterlijk voelt vrolijk en aangenaam aan.
Qua kleuren wilden we een palet gebruiken dat gedurfd genoeg was om mensen aan te trekken en hen tegelijkertijd te stimuleren om te beginnen met leren vingerspellen. De aandacht trekken was essentieel.
De 3D-hand is zo ontworpen dat hij vriendelijk aanvoelt, met voldoende details zodat gebruikers gemakkelijk kunnen zien hoe de vingers zijn geplaatst en gebogen. Een mix van cartoonstijl en realisme was de perfecte uitkomst.
Als we kijken naar de technologie, is het belangrijkste kenmerk van de site de handtracking, waarvoor MediaPipe Hands wordt gebruikt. Deze techniek werkt ontzettend goed en is, zelfs wanneer delen van de vingers verborgen zijn achter andere vingers, in staat om accurate detectie te doen.
De meest tijdrovende taak was het bepalen wanneer een uitgebeelde letter moet worden geaccepteerd of niet. Het team ontwikkelde een op regels gebaseerd systeem voor elk van de letters dat kijkt naar de rotatie van de hand; of deze naar boven, beneden, links of rechts is gericht. Als de oriëntatie van de hand correct is, wordt gekeken naar de positie van elke vinger en de mate waarin de vinger gebogen is. Het opstellen van de regels was voor elke letter een handmatig proces met veel vallen en opstaan. Om er zeker van te zijn dat de tekens allemaal op de juiste manier worden aangeleerd, hielp een ASL professor bij het testen van alle letters.
Een nuttig leermiddel, bekroond met diverse prijzen
Het eindresultaat, Fingerspelling.xyz, is ontworpen voor desktop en in de eerste plaats bedoeld voor ouders van dove kinderen, maar het kan iedereen helpen meer vertrouwd te raken met het ASL alfabet door de toegankelijke en eenvoudige manier om te beginnen.
Binnen tien dagen na de lancering van de site werden 150.000 correcte handgebaren gemaakt. Tien maanden later waren er maar liefst 2,5 miljoen correcte handgebaren geregistreerd. De Amerikaanse vereniging voor dove kinderen gebruikt het platform nu ook als onderdeel van hun eigen trainingsmateriaal, wat benadrukt hoe nuttig het is.
We hebben deze vingerspellingtool samen met Hello Monday (onderdeel van DEPT®) ontwikkeld om ouders te helpen hun kind gebarentaal te leren en om ouders het plezier te laten ervaren van communiceren en contact maken met hun dove kind.
Cheri Dowling, Director of Outreach and Programs, American Society for Deaf Children
Fingerspelling.xyz heeft absoluut een positieve impact gehad voor de dovengemeenschap en het innovatieve platform is erkend met prestigieuze internationale awards, waaronder:
- Webby Awards 2022: twee Webby Award in de Diversity & Inclusion en Best User Interface categorieën, en de publieksprijs (People’s Voice) voor Technical Achievement, Diversity & Inclusion, en Best User Interface.
- Eurobest Awards: Innovation Eurobest Award, Gold award for Design, Silver award for Digital Craft
- Awwwards: Site of the Day
- FWA: Site of the Day & Site of the Month
- Cannes Lions: Gold in Design & Silver in Design, Silver in Digital Craft
- New York Design Awards 2021: Silver
- Anthem Awards: Gold – Education, Art & Culture, Gold – Responsible Technology in de categorie “Product, Innovation, or Service Categories (For Profit)”
Questions?
Founding Partner, HELLO MONDAY/DEPT®
