Het idee voor deze toepassing is ontstaan bij wetenschappers van de Universiteit van Washington. Zij zagen mogelijkheden om de smart speaker, zoals die van Google en Amazon in te zetten voor medische doeleinden. "Deze speakers zijn voorzien van geavanceerde rekencapaciteit, opslag en sensoren die zich goed kunnen meten met veel medische hardware van klinische kwaliteit", vertelt professor Shyam Gollakota.
Smart speakers zoals de Apple HomePod en Amazon Alexa zijn uitgerust met respectievelijk zes en zeven zeer gevoelige microfoons die gebruikt voor geavanceerde akoestische verwerking en beamforming. Deze technologie kan, zo blijkt uit het Amerikaanse onderzoek, niet succes ingezet worden om op afstand vitale functies zoals ademhaling en hartslag te meten. Het project had daarnaast als doel om te onderzoeken of op die manier verschillende medische aandoeningen gediagnosticeerd kunnen worden.
Uitdagingen voor smart speaker
Om het op afstand kunnen monitoren van de hartslag moest de smart speaker 'omgebouwd' worden in een actief sonarapparaat. Daarmee werden vervolgens hoogfrequente geluidsgolven (18 tot 22 kHz) uitgezonden. Die signalen werden door het menselijk lichaam gereflecteerd en weer opgevangen door de array van microfoons in de slimme luidspreker. Afhankelijk van de bewegingen die het lichaam maakt bij het inademen of het kloppen van het hart, kan met de verschillen in reflectietijden, de hartslag en het -ritme gemeten worden. Dat was althans de theorie. In de praktijk kwamen de wetenschappers nog wel wat uitdagingen tegen voordat de minimale (minder dan een millimeter) bewegingen die door de hartslag veroorzaakt worden 'op te vangen' en daaruit de hartslag te bepalen.
- De hartslag zorgt voor een beweging van 0,3 tot 0,8 millimeter op de borst van een persoon. Dat is kleiner dan de golflengte van geluid bij de operationele frequenties die door de wetenschappers gebruikt worden.
- Slimme luidsprekers zijn standaard gemaakt om hoorbare geluidsfrequenties uit te zenden. De onhoorbare frequenties (18 kHz en hoger) hebben een beperkte bandbreedte en een niet-ideale frequentierespons.
- Bij een normaal persoon zorgt de ademhaling voor een veel grotere beweging van de borst dan de hartslag. Hoewel de ademhalingsfrequentie doorgaans lager is dan de hartslag, is de ademhaling geen perfecte sinusbeweging, aangezien de duur van inademing en uitademing kunnen verschillen. Hierdoor ontstaan hoogfrequente componenten in de ademhalingsbeweging die de meting van de hartslag verstoren. Bij een lage signaal-ruisverhouding is filtering van de hartslag uit de verstorende geluiden van de ademhaling niet mogelijk. Dat geldt ook voor de eventuele detectie van een hartritmestoornis.
AI to the rescue
Om dit probleem op te lossen, en een systeem te ontwerpen dat werkt met zowel normale als onregelmatige hartritmes, hebben de wetenschappers een een adaptief zelflerend beamforming-algoritme ontwikkeld. Door de hartsignalen uit te lijnen over de verschillende microfoons van de smart speaker, wordt de signaal-interferentie en -ruisverhouding gemaximaliseerd en tegelijkertijd de interferentie die veroorzaakt wordt het geluid en beweging van de ademhaling geminimaliseerd.
"Om te meten welk 'gewicht' elk geluid van elke microfoon moet krijgen in de berekening van de hartslag, bepalen we een optimalisatieformule die we oplossen met behulp van een gradiënt-afdalingsalgoritme dat vaak wordt gebruikt in machine learning-frameworks. Vervolgens hebben we een segmentatie-algoritme ontworpen dat draait op het resulterende hartritme-signaal om individuele hartslagen te identificeren en de beat-to-beat (R-R)-intervallen te berekenen", aldus professor Gollakota.
Succesvolle test
Het onderzoek en de presentatie van de eerste resultaten liepen door de coronacrisis enkele maanden vertraging op. Uiteindelijk zijn de wetenschappers er in geslaagd het smart speaker systeem voor hartslag monitoring te testen met zowel gezonde personen als hartpatiënten met verschillende hartafwijkingen, zoals atriumfibrilleren, flutter en congestief hartfalen.
Het onderzoek heeft aangetoond dat de slimme luidspreker en het AI-systeem in staat zijn om de gemiddelde hartslag en hartslagvariabiliteit te berekenen met nauwkeurigheden die vergelijkbaar zijn met die van ECG-sensoren van klinische kwaliteit. Daarnaast is het systeem ook in staat gebleken om patiënten te identificeren met een onregelmatig hartritme zoals atriumfibrilleren.
"Deze technologie kan de manier waarop artsen telegeneeskunde-afspraken uitvoeren, veranderen door gegevens van vitale functies te verstrekken, waaronder ademhalings- en hartslagsignalen die anders persoonlijke klinische bezoeken zouden vereisen. Gezien de groeiende alomtegenwoordigheid van slimme luidsprekers, zijn we verheugd om te zien hoe deze technologie deel kan uitmaken van de toekomst van cardiologie en meer in het algemeen medische zorg", concludeert professor Gollakota.
Hiermee is de eerste stap gezet naar een wereld waarin de slimme luidspreker straks niet alleen dienst doet om muziek af te spelen, het nieuws voor te lezen, de verlichting of thermostaat te bedienen, maar ook de gezondheid van de gebruiker in de gaten houdt. Voordat het zover is zal nog wel het nodige water door de Rijn stromen.
