Voor de 50e verjaardag van hun paradepaardje, Sesamstraat, werkte Sesame Workshop samen met Weyo en DEPT® om hun personages tot leven te brengen. Samen hebben we een app ontwikkeld die augmented reality (AR) gebruikt om het trouwe publiek van Sesamstraat in hun favoriete muppets te veranderen.
Een bijzonder feestje
Sinds de baanbrekende lancering in 1969 is Sesamstraat uitgegroeid tot een internationaal baken in de opvoeding van kinderen. In de aanloop naar de viering van hun 50e verjaardag wilde Sesame Workshop graag hun vijf decennia durende reis vol innovatie in de schijnwerpers zetten. In 1969 waren ze pioniers op het gebied van educatieve televisieprogramma’s. Nu waren ze klaar om hun vooruitstrevende aanpak van spelenderwijs leren op digitale platforms te laten zien aan zowel kinderen als fans.
Gebruikmakend van een halve eeuw aan afleveringen, liedjes en clips, integreerden we AR om kinderen te laten transformeren in hun favoriete personages, zoals Elmo, Grover en Graaf Tel, en deel uit te laten maken van hun favoriete videoclips en liedjes.
Sesame Street Yourself
Weyo en DEPT® werkten samen met Sesame Workshop aan een AR-oplossing om deze droom werkelijkheid te laten worden met “Sesame Street Yourself”; een app die AR-technologie gebruikt om gezichten en gezichtsbewegingen van mensen te transformeren in geanimeerde versies van Sesamstraat-personages. Kinderen kunnen communiceren en spelen met Bert, Ernie, Elmo en Koekiemonster.
DEPT® bouwde de engine voor deze AR-maskers, net als een volledig aangepast contentmanagementsysteem waarmee Weyo alle aspecten van de app kan beheren, inclusief maskers, kostuums, liedjes en spelletjes.
De engine achter de app
Weyo en DEPT® werkten oorspronkelijk samen aan een AR-engine voor The Wiggles: Fun Time with Faces-app in januari 2019. Door Sesame Street Yourself werd de engine naar een hoger niveau getild. Met behulp van OpenCV en dlib begonnen de technici van DEPT® te experimenteren met geavanceerde benaderingen voor het detecteren van de positie van ogen, neuzen, oren en monden op gezichten uit video, om vervolgens dingen te renderen die in realtime op die plekken passen.
Het team wilde een snelle oplossing, dus probeerden ze SDK’s voor mobiele platforms te gebruiken, maar geen daarvan was snel genoeg. In plaats daarvan besloten ze hun eigen ML-model te maken, Kaiju genaamd, een cross-platform engine die werkt op iOS, Android, Linux, MacOS en Windows. Ze creëerden een EDL-indeling (Edit Decision List) voor het aansturen van interactieve inhoud, zoals een video-editor die tekstbeschrijvingen verwerkt om visuals te tonen.
Om alles soepel te laten werken op low-end telefoons, bouwde het team een speciale cross-platform runtime in Rust die de EDL-bestanden uitvoert, gezichten detecteert, augmentaties en dynamische elementen in real-time aan de video toevoegt.
Kaiju’s unieke functionaliteiten hebben geleid tot het innovatieve spel en de functies die de Sesame Street Yourself-app tot leven brengen. Gebruikers dragen een 3D-masker, zien hoe het masker zich aanpast aan de vorm van hun gezicht en kunnen acties starten door hun mond te openen. Om het nog leuker te maken, kunnen gebruikers ook opnames maken en opslaan in de app om ze later terug te kijken.
Een internationaal erkende impact
Met Sesame Street Yourself kunnen kinderen overal ter wereld – inclusief het kind in ons allemaal – deel uitmaken van de wereld waar we van zijn gaan houden en van hebben geleerd.
De app werd erkend als de People’s Choice en Gold Telly winnaar in 2020 en Forbes 2019 als beste AR-app voor kinderen. De app was ook te zien als onderdeel van Apple’s showcase-evenement WWDC in 2019. Sinds de lancering is de app wereldwijd meerdere keren bekroond als “App of the Day” van Apple, onder andere in de Verenigde Staten, het Verenigd Koninkrijk en Australië.
Vragen?
Managing Director DEPT®/Family & Kids
Joey Egger
Ontdek meer
