BCI laat avatar tegelijk spreken en gebaren maken

Onderzoekers van de University of California, San Francisco (UCSF) hebben een brain-computer interface (BCI) ontwikkeld waarmee mensen met ernstige verlamming via een digitale avatar tegelijkertijd kunnen spreken en gebaren maken. Eerdere BCI-systemen konden verbale of non-verbale communicatie ondersteunen, maar volgens de onderzoekers is dit de eerste technologie die beide vormen gelijktijdig mogelijk maakt.

Met behulp van machine learning analyseerde het team de hersenactiviteit die ontstaat wanneer iemand tegelijkertijd probeert te spreken en lichamelijke gebaren uit te voeren. Bij twee deelnemers werden deze signalen succesvol vertaald naar bewegingen en spraak van een volledige virtuele avatar. De resultaten zijn gepubliceerd in Nature Neuroscience.

Meer dan woorden alleen

Mensen met bijvoorbeeld amyotrofische laterale sclerose (ALS) of een hersenstamberoerte kunnen ernstig verlamd raken, waardoor zowel spreken als non-verbale communicatie moeilijk of onmogelijk wordt. Oogbesturing kan patiënten helpen om tekst te selecteren die vervolgens wordt uitgesproken, maar deze methode is relatief langzaam, biedt beperkte mogelijkheden voor expressie en kan lichamelijk vermoeiend zijn.

De onderzoekers van UCSF werken daarom aan technologie die communicatie natuurlijker moet maken. In eerder onderzoek implanteerden zij bij patiënten een dunne strip met elektroden, een zogenoemde electrocorticography-array (ECoG), op de motorische hersenschors. Computeralgoritmen vertaalden de geregistreerde hersensignalen vervolgens naar commando's voor een digitale representatie van hoofd en gezicht.

Voor het nieuwe onderzoek werd de technologie uitgebreid naar een avatar met een volledig lichaam. Deelnemers met verschillende niveaus van verlamming van het spraakorgaan en lichaam probeerden specifieke zinnen uit te spreken en bekende gebaren te maken, zoals zwaaien of een duim opsteken. Dat deden ze zowel afzonderlijk als tegelijkertijd.

Spreken en bewegen combineren

De combinatie van spraak en gebaren blijkt vanuit neurologisch perspectief complexer dan simpelweg het optellen van twee afzonderlijke signalen. Hoewel er overlap bestaat, zagen de onderzoekers dat de hersenactiviteit tijdens gelijktijdig spreken en gebaren duidelijk verschilde van de patronen die ontstonden wanneer beide handelingen afzonderlijk werden uitgevoerd.

Dat verschil bleek belangrijk voor het trainen van de algoritmen die de hersensignalen interpreteren. Decoders die waren getraind met gegevens van gelijktijdige spraak en beweging presteerden beter bij het herkennen van gecombineerde expressies dan modellen die uitsluitend waren getraind op afzonderlijke spraak- en bewegingsgegevens.

Bij twee deelnemers kon de BCI deze hersenactiviteit vertalen naar commando's waarmee een virtuele avatar zowel verbale als lichamelijke expressies uitvoerde. Daarmee laat het proof-of-concept zien dat een BCI in principe meerdere communicatielagen tegelijkertijd kan aansturen.

Op weg naar draadloze BCI

Volgens onderzoeksleider Edward Chang is menselijke communicatie meer dan alleen de woorden die worden uitgesproken. Gebaren en andere lichamelijke expressies vormen eveneens een belangrijk onderdeel van een gesprek. Het onderzoek laat zien dat hersen-computerinterfaces mogelijk een deel van die veelzijdigheid kunnen terugbrengen voor mensen die door verlamming niet meer op conventionele wijze kunnen communiceren.

De huidige onderzoeksopstelling maakt nog gebruik van kabels tussen de geïmplanteerde sensoren en externe apparatuur voor de verwerking van de hersensignalen. Dat beperkt de praktische toepasbaarheid buiten een onderzoeksomgeving.

Het team van UCSF wil daarom als volgende stap een volledig implanteerbare en draadloze versie van het systeem testen. Zo'n systeem zou volgens de onderzoekers betere mogelijkheden bieden voor langdurig gebruik. Het huidige onderzoek is echter een proof-of-concept en toont nog niet aan dat de technologie al geschikt is voor dagelijkse klinische toepassing.

BCI zet gedachten om in spraak

Vorig jaar ontwikkelden onderzoekers ook een brain-computerinterface (BCI) die innerlijke spraak realtime kan decoderen. Die technologie kan perspectief bieden voor mensen met ernstige spraak- en motorische beperkingen, zoals patiënten met ALS of hersenstamletsel. Bij vier volledig verlamde deelnemers werden micro-elektroden in de motorische cortex geïmplanteerd. Zij probeerden woorden uit te spreken of spraken deze alleen in gedachten uit. Hoewel innerlijke spraak zwakkere hersenactiviteit veroorzaakte, waren de neurale patronen herkenbaar genoeg voor een AI-model. In een proof-of-concept decodeerde het systeem ingebeelde zinnen uit een vocabulaire van 125.000 woorden met 74 procent nauwkeurigheid.

Daarnaast ontwikkelden de onderzoekers een beveiligingsmechanisme waarmee gebruikers het decoderen bewust kunnen activeren met een zelfgekozen ‘gedachtenwachtzin’. De gebruikte activeringscode werd met meer dan 98 procent betrouwbaarheid herkend. Ook kon het systeem onderscheid maken tussen innerlijke spraak en daadwerkelijke spraakpogingen.