Chatten zonder letters

Niet kunnen lezen en schrijven, maar tóch mailen en chatten? Het Picto-systeem vertaalt tekst naar pictogrammen en omgekeerd voor mensen met een verstandelijke beperking. Zo kunnen zij actief deel uitmaken van de digitale maatschappij.

Een mailtje sturen naar je collega, surfen naar de website van je favoriete krant, tweeten over de kanarie van de buren en nog snel even een app’je verzenden naar je beste vriendin. Tekst en digitale media zijn onlosmakelijk met elkaar verbonden. Toch zijn er in Europa naar schatting tussen de twee en de vijf miljoen mensen voor wie digitale communicatie gemakkelijker zou zijn als die niet via tekst, maar via pictogrammen zou verlopen. Voor hen ontwikkelden we Picto, een slim systeem voor automatische vertaling van geschreven tekst naar pictogrammen en omgekeerd.  

Praten met prentjes 

Voor veel mensen met een verstandelijke beperking is het gebruik van dergelijke pictogrammen nu al dagelijkse kost. Sclera en Beta zijn twee voorbeelden van pictogrammensets die actief ingezet worden in Vlaamse scholen, dagcentra en beschutte werkplaatsen om de communicatie tussen mensen met een verstandelijke beperking en hun omgeving te verbeteren. Dankzij de vele duizenden pictogrammen kunnen zij probleemloos gedachten uitwisselen over de meest uiteenlopende onderwerpen, van basisbehoeften, activiteiten en gevoelens tot kookgerei, sprookjesfiguren en lievelingsdieren.

Veel mensen met een verstandelijke beperking voelden zich uitgesloten van de digitale maatschappij, omdat geschreven tekst voor hen vaak te moeilijk is.

Sclera's en Beta's zijn een onmisbaar hulpmiddel voor offline communicatie, maar tot voor kort was het gebrek aan pictogrammen in online omgevingen nog steeds een groot probleem. Veel mensen met een verstandelijke beperking voelden zich uitgesloten van de digitale maatschappij, omdat geschreven tekst voor hen vaak te moeilijk is. Met reacties als “ik wil ook op Facebook”, “ik wil iets kunnen schrijven bij de foto van mijn zus”, “ik wil weten wanneer Sam Gooris nog eens komt optreden” en “ik wil eens goed kunnen roddelen over mijn begeleider” onderstreepte onze doelgroep de nood aan een bruikbaar lees- en schrijfsysteem voor digitale omgevingen. Dat systeem noemden we Picto, een vertaaltechnologie die in twee richtingen werkt: Text2Picto en Picto2Text.

Text2Picto

“Haha! Waarom draagt Marc gekke kleren?”. We zijn op bezoek in een dagcentrum en één van onze testpersonen is druk in de weer met de Facebook-applicatie op haar tablet. Met haar vinger selecteert ze de titel van de foto en prompt verschijnt er een reeks pictogrammen op haar scherm. “Oh, hij is op een feestje. Voor Halloween!”, roept ze uit.

Text2Picto vertaalt geschreven tekst naar Sclera- of Beta-pictogrammen voor mensen die niet (goed) kunnen lezen. De tekst wordt eerst grondig geanalyseerd met behulp van een aantal basistechnologieën, zoals automatische woordsoortherkenning. Dat is belangrijk, want zo maakt het systeem bijvoorbeeld een onderscheid tussen het zelfstandig naamwoord 'bij' en het voorzetsel 'bij'. En wanneer de gebruiker een zinnetje als 'ik ben bij de bakker' naar pictogrammen vertaalt, hebben we natuurlijk liever niet dat Text2Picto de afbeelding van een zoemend insect uitspuwt.

As er voor een specifiek begrip geen pictogram gevonden kan worden, gaat het systeem op zoek naar een gelijkaardig concept. Een 'zalm' wordt een 'vis',  een 'cappuccino' wordt een 'koffie' en 'genezen' wordt 'niet ziek'. 

De afgelopen jaren hebben we gewerkt aan een heel aantal verbeteringen voor Text2Picto. Onze spellingcorrector, bijvoorbeeld, houdt er rekening mee dat veel mensen met een verstandelijke beperking een fonetische spelling gebruiken, zoals het woordje ‘wiekent’ in plaats van ‘weekend’. En onze module voor het achterhalen van de betekenis van dubbelzinnige termen, zoals ‘blad’ (‘plant’ of ‘papier’?), leidt ertoe dat er voortaan minder fouten gemaakt worden in het vertaalproces.

Picto2Text

“Chat je graag?”, vragen we aan één van onze testpersonen. Ze knikt. “Waarover praat je? Praat je over wat je vandaag gedaan hebt?” Ze knikt opnieuw. “Maak je soms afspraakjes met mensen?” Ja, dat ook. “Praat je soms over liefde?” Ze bloost. Haar begeleider komt tussenbeide: “Ik help haar meestal met haar berichtjes. Maar ze vindt het niet leuk om te communiceren over gevoelige onderwerpen, omwille van de privacy. Ze wilt die dingen liever zelf vertellen. Dat kan ze met de pictogrammen, bijvoorbeeld.”

Picto2Text werkt in de andere richting. Met Picto2Text bouwt de gebruiker een berichtje in pictogrammen, waarna de boodschap automatisch naar tekst vertaald wordt. Zo kunnen mensen die niet (goed) kunnen schrijven, toch zelf berichtjes posten in online omgevingen.

Voor de ontwikkeling van Picto2Text vergeleken we verschillende methodes, waaronder een aantal benaderingen die sterk bij de moderne vertaaltechnieken van Google Translate aanleunen. Daarnaast werden we uitgedaagd om een gebruiksvriendelijke pictogrammeninterface te ontwerpen en introduceerden we de pictovoorspeller, een schrijfassistent die suggesties aanreikt om het bericht te vervolledigen – een beetje zoals de zoekbalk van Google Search dus, maar dan met pictogrammen.

De mogelijkheden zijn eindeloos

De Picto-technologie wordt vandaag actief ingezet in WAI-NOT, een toegankelijke website voor jongeren die behoefte hebben aan extra ondersteuning, bijvoorbeeld door het gebruik van eenvoudige taal, tekst-naar-spraaktechnologie, leerrijke spelletjes en gemodereerde chatboxen. Elke dag worden er tientallen tot honderden e-mails met Picto verstuurd. Daarnaast ontwikkelden we ook Engelse en Spaanse versies van het systeem in het kader van Able to Include, een Europees project rond sociale inclusie.

Inmiddels richten we onze pijlen op een tweede doelgroep: immigranten in de Vlaamse Rand rond Brussel die het Nederlands (nog) niet machtig zijn. Voor die gebruikers waren er al papieren pictogrammenboekjes in omloop, maar omdat het gebruik van die boekjes vaak als 'opvallend' en 'beschamend' ervaren werd, bleek de overstap naar een technologische variant nodig. Pictorand, een toepassing voor computers en smartphones, was geboren.

De ontwikkeling van Picto zal de komende jaren zeker niet stilstaan. We gaan steeds op zoek naar betere oplossingen, andere doelgroepen en nieuwe toepassingen. Want op het internet is er genoeg plek voor iedereen.

Artikel door Leen Sevens
Doctor in de Computerlinguïstiek - KU Leuven
Deelnemer PhD Cup 2019

Leen volgde een training in populair-wetenschappelijk schrijven door Ann De Ron (FishGrowFeet), auteur van het boek "Schrijven met impact".