Overslaan en naar hoofdinhoud gaan

bol.com February 07, 2020

Hoe voice zowel praktisch als betoverend kan werken

Image

Dat een voice assistant het leven makkelijker kan maken, weten we wel – de Google Assistants en Siri’s van deze wereld kunnen we niet meer wegdenken. Maar dat een voice assistant ook een emotionele en zelfs magische impact kan hebben, was iets dat we bij Dept ontdekten bij het ontwikkelen van een interactief kinderverhaal voor de bol.com-applicatie. Een avontuur met een magisch randje.

Dicht bij de luisteraar

Privacy is een heilig goed voor bol.com. De magie van Sinterklaas is daarom creatief ingevuld met enkele simpele vragen en keuzes. In het interactieve sinterklaasverhaal van bol.com, genaamd Hulppiet, gebeurt dat bijvoorbeeld met de vraag: in welke stad of dorp woon je? Daarmee worden vervolgens het plaatselijke weer en een lokale school of sportschool in het verhaal geplaatst.

Bol.com is een van de eerste Nederlandse retailers met een eigen Google Home-omgeving. Dept ontwikkelde samen met bol.com’s eigen conversational UX designer de blueprint voor het project. Het team bestond verder uit een copywriter, een frontend developer van Dept voor het e-book en de landingspagina, en twee bol.com-developers en Dept-developers die samen op locatie de conversational flow ontwikkelden. Van begin tot eind zetten zij Hulppiet parttime in twee maanden neer voor de Nederlandse en Belgische kinderen.

De technologie achter Hulppiet

Hulppiet is gebouwd op het Dialogflow-platform van Google en vormt tijdens de sinterklaasperiode onderdeel van de reeds bestaande bol.com voice assistant. Na de publicatie werkt Hulppiet direct op alle devices die Google Assistant ondersteunen (Android telefoons, Nest Hub, Nest Mini, Sonos devices en op iOS via de app). Met de opdracht “Oké Google, praat met bol.com” en daarna “Hulppietje” of “Sinterklaasverhaal” wordt het interactieve verhaal gestart. De volgende technologie maakt Hulppiet mogelijk:

  • Dialogflow als basis. Dialogflow is een end-to-end ontwikkelplatform voor het creëren van conversational interfaces voor voice en chat. Naast Google Assistant ondersteunt Dialogflow ook Alexa en Facebook Messenger. Je kunt er bijvoorbeeld een servicegerichte chatbot mee maken en deze op websites of mobiele apps ontsluiten. De bestaande bol.com agent in Dialogflow werd tijdelijk uitgebreid met Hulppiet. Wanneer de flow is gestart, moet deze ook volledig worden doorlopen. Daar is voor gekozen vanwege de kinderen: ook met onzinnige antwoorden op Sint’s vragen blijft het een prettige flow die doorgaat.
  • NLP zit ingebakken. Dialogflow komt met de Natural Language Processor (NLP) van Google, die de Nederlandse taal kan begrijpen en een goede match kan maken. Hiermee wordt de input via stem correct geïnterpreteerd. Zeker bij interactie met kinderen wil je dat gesproken woorden snel worden begrepen.
  • RoboPiet via SSML, Sint via audio tags. Met Speech Synthesis Markup Language (SSML) kun je de spraak van de Google Assistant aanpassen. Denk hierbij aan de toonhoogte, pauzes of de uitspraak van afkortingen en datums. Hiermee werd RoboPiet gecreëerd, zodat persoonlijke elementen dynamisch kunnen worden toegevoegd. De stem van Sinterklaas en specifieke weers- en achtergrondgeluiden worden met audio tags als MP3’s opgehaald uit een content delivery network (CDN).
  • Fulfillment geschreven in Kotlin. De interactie met de Google Assistant resulteert in acties, die verwerkt worden in bol.com’s fulfilment-laag. Deze webhook wordt on-premises gehost bij bol.com en is geschreven in Kotlin, een cross-platform programmeertaal die naadloos samenwerkt met Java en JVM. Hiermee worden ook de data voor locaties en weer opgehaald via de API’s.
  • Weer en locaties via API. De opgegeven woonplaats wordt vertaald naar de lengte- en breedtegraden. Daarmee wordt een verzoek gestuurd naar een weer API en een database gevuld met publiekelijke scholen en lokale sportscholen. Die informatie is vrij beschikbaar via Sporten.nl en de Nederlandse en Belgische overheid. RoboPiet vertelt de luisteraar vervolgens de dichtstbijzijnde school of sportschool met bijbehorende straatnaam en het weer in de woonplaats.
  • E-mail uit het bol.com account. Om het verhaal als e-book toe te kunnen sturen, is er een e-mailadres nodig. Sint vraagt daarom om een mama, papa of groot mens zodat de koppeling met een bol.com account op het scherm kan worden gemaakt. Geen volwassene in de buurt? Dan kan het e-book helaas niet worden verstuurd, want de volwassene moet eerst inloggen met gebruikersnaam en wachtwoord. Achter de schermen haalt bol.com’s webhook een anoniem user id op. Dat wordt samen met het gepersonaliseerde e-book doorgestuurd naar bol.com’s mailserver voor de versturing. In het gehele proces slaat Hulppiet geen enkel persoonlijk kenmerk op.
  • Gepersonaliseerd e-book en Hulppiet diploma. Door de input van de luisteraar is elk avontuur anders en daarmee ook het e-book dat wordt toegezonden. Daarvoor wordt het e-book eerst als HTML-pagina gegenereerd. Op basis van de gesproken input van de gebruiker worden hierin de juiste teksten en afbeeldingen gezet. De dynamische afbeelding met de woonplaats wordt via een custom API gegenereerd (image generation). Een PDF-generator maakt hier vervolgens een e-book in PDF-formaat van. De teksten wijken af van de gesproken teksten, want tekst om voor te lezen is anders dan tekst om in een gesprek uit te spreken. Het diploma voor Hulppiet is generiek: ouders kunnen hierop zelf de naam van hun kind invullen.
Image

Relevant en eenvoudig

De doelgroep voor Hulppiet bestond uit kleine kinderen die geloven in Sinterklaas en het leuk vinden om hem te helpen. De tv-reclames rondom het sinterklaasjournaal en de intocht van Sinterklaas zorgden voor een grote piek in het gebruik. Dit is een korte tijdspanne van een half uur tot een uur waarin het meeste verkeer plaatsvindt. Het was daarom essentieel dat het verhaal goed werkte zonder problemen, er was immers geen tijd om problemen op te lossen.

Voor het goed neerzetten van Hulppiet was het begrijpen van de doelgroep cruciaal. Als developer bedenk je vooraf simpelweg niet dat kinderen ook “mijn slaapkamer!” als woonplaats kunnen opgeven. Of dat RoboPiet veel duidelijker is dan het eerder gekozen DigiPiet. Deze inzichten achterhaal je alleen met user testing op een basisschool, dus dat heeft bol.com gedaan. Voice UX werkt daarnaast anders dan normale UX, waar het eerder gaat om knoppen en blokken. Bij voice heb je in principe geen scherm, dus het verhaal moet in eerste instantie goed werken zonder visuele ondersteuning. Met het volledig uitwerken van alle mogelijke antwoorden en paden breng je vooraf de aandachtspunten en knelpunten in kaart.

Door de vragen en keuzes zo te kiezen dat ze zo gemakkelijk mogelijk zijn, gaat het herkennen van het antwoord soepel en kan de luisteraar goed volgen wat de vraag en de opties zijn. En door als bureau zelf de API-diensten voor locatie en image generation te hosten, kon er snel worden geschakeld en de deadline worden gehaald.

De resultaten

Het sinterklaasverhaal is tienduizenden keren beluisterd, waarvan het grootste deel plaatsvond in de eerste week, toen er actieve marketing was. Het hoogtepunt was op 16 november, de dag van de sinterklaasintocht, toen er duizenden verhalen op één dag werden beluisterd. In totaal zijn er ook duizenden e-books verstuurd voor hulppietjes die hun avontuur tot het einde hebben beleefd.

Het populairste device om het verhaal op te luisteren was de smartphone. Op dit device werden de keuzeopties in het verhaal ook visueel getoond. Daarna volgde de smart speaker en slechts een heel klein deel van de gebruikers luisterde het verhaal via een smart display.

Het overgrote deel van de gebruikers kwam uit Nederland. Dit heeft wellicht ook te maken met het feit dat de Google Assistant in Nederland al langer bestaat dan in Vlaanderen en bij onze zuiderburen ook de Google Home speakers nog niet worden verkocht.

De bol.com-applicatie in de Google Assistant is een belangrijk communicatiemiddel voor bol.com om mee te experimenteren. Waar de reguliere applicatie vooral is gericht op het bieden van gemak, was de Hulppiet een goed moment om te kijken naar het toevoegen van emotie. De samenwerking met Dept, die gericht is op het vertellen van verhalen, is in dit opzicht perfect. Dat leidde logischerwijs tot een succesvolle samenwerking met fantastische resultaten. Tienduizenden verhalen hebben kinderen geholpen de magie van Sinterklaas te ervaren.

De toekomst van voice

Het is erg interessant om te zien dat kinderen heel anders omgaan met voice dan hun ouders: veel natuurlijker. Ze groeien er immers nu mee op. Door te pionieren met voice leer je als organisatie tijdig om voice als nieuw medium in te zetten. Je kunt leren hoe conversaties werken via voice, hoe je de juiste UX kiest en welke uitdagingen voice met zich meebrengt. Zo kun je de voice-ervaring steeds verder verbeteren en je als organisatie voorbereiden op het moment dat voice door een breder publiek wordt gebruikt. Over een paar jaar zal voice nog veel verder ontwikkeld zijn en helpen om het leven van consumenten gemakkelijker te maken. Op dat moment wil je een ijzersterke gebruikerservaring kunnen bieden. De kinderen van nu zijn dan al volledig gewend aan voice en snappen dan precies wat je ermee kunt met jouw organisatie.

Vragen? We helpen je graag!

Oeps!

Als je dit leest dan kan je het formulier wat hier hoort te staan helaas niet zien. Waarschijnlijk heb je een adblocker aan staan. Schakel deze uit om het formulier alsnog te zien. Nog steeds problemen? Open deze pagina in een andere browser of neem contact met ons op: [email protected]