Aan vinger gekoppeld leesapparaat helpt visueel gehandicapten met lezen

Leesapparaat voor om de vinger

Onderzoekers van het MIT Media Laboratory hebben een prototype van een leesapparaat voor om de vinger gebouwd om geprinte tekst voor visueel gehandicapten om te zetten in gesproken tekst. De FingerReader werkt met een camera en geeft ook tactiele of hoorbare feedback.

Dat laatste is vooral belangrijk om de juiste zin te blijven volgen en niet per ongeluk een andere regel te gaan lezen. Volgens een van de makers op de nieuwssite van MIT moet de vertaling die het leesapparaat aan de visueel gehandicapte persoon doorgeeft snel plaatsvinden. Ook met directe feedback zodra het fout dreigt te gaan, om de illusie van het voorgelezen verhaal niet te onderbreken.

De belangrijkste innovatie van de FingerReader is het algoritme dat heel lokaal opeenvolgende tekst kan scannen en lezen als enkele regels of als tekstblokken. Het werkt ook als iemand de tekst vluchtig doorleest. De paper waarin het algoritme wordt beschreven, wordt in april gepresenteerd bij de Association for Computing Machinery’s Computer-Human Interface-conferentie.

Vingerleesding MIT blind

Naast het algoritme wordt in de paper beschreven welke verschillende variaties van de FingerReader de onderzoekers gebruikten. Een van de versies heeft bijvoorbeeld twee haptische motoren, een boven op de vinger en de andere aan de onderzijde. De trilling van de motortjes maakt duidelijk of de vinger iets naar boven of naar beneden bewogen moet worden om de juiste zin te blijven volgen. Een andere versie gebruikt geluid als feedback, met een toon die luider wordt als de vinger van het juiste pad af gaat. Vooralsnog is er geen overeenstemming over wat beter werkt.

Het hart van het systeem bestaat uit de mogelijkheid om de camerabeelden in realtime te kunnen decoderen. Elke keer als een gebruiker de positie van de vinger aan het begin van een nieuwe regel zet, probeert het algoritme te schatten wat de grondlijn van de letters is. Aangezien de meeste regels letters hebben waarvan de onderzijde onder de grondlijn uitkomt en omdat een scheve stand van de vinger het systeem in de war kan brengen door nabijgelegen grondlijnen, zullen die schattingen verschillen. Het algoritme selecteert dan de mediaan van de dichtere cluster. Die laatste waarde bevat de schattingen die het systeem per nieuw frame van de video maakt, terwijl de vinger van de gebruiker naar rechts beweegt, waardoor de benodigde rekenkracht wordt verminderd.

Algoritme

Het algoritme volgt ook de individuele woorden die langs het oog van de camera komen. Als het een woord herkent dat in het centrum van het camerabeeld is gepositioneerd, wordt alleen dit woord uit het plaatje gecropt. Daarmee is dat woord in lijn te brengen met de rest van de zin, zodat vreemde hoeken worden gecompenseerd. Daarna wordt de tekst door middel van opensourcesoftware verder gelezen en vertaald in gesynthetiseerde spraak.

Bij het prototype was de vingerlezer tijdens het lezen aan een laptop gekoppeld, maar een mobielere versie zit in de pijplijn.

Door Krijn Soeteman
dinsdag 10 maart 2015

Bron: Tweakers.net