ICT&health maakt op deze website gebruik van cookies en vergelijkbare technieken. Wij gebruiken cookies om ervoor te zorgen dat onze website goed functioneert, om uw voorkeuren op te slaan, om inzicht te krijgen in bezoekersgedrag, maar ook voor marketingdoeleinden. Meer informatie vindt u op onze privacy policy.
Cookie instellingen
Accepteer alle cookies
Cookie instellingen
Pas de cookie-instellingen aan naar jouw persoonlijke voorkeur en bevestig jouw keuze. Noodzakelijke cookies zijn altijd noodzakelijk om deze website te kunnen bezoeken. U kunt uw voorkeur op ieder moment wijzigen of intrekken.
Noodzakelijk
(1)
Google Analytics
Het bijhouden van geanonimiseerde bezoekersstatistieken bij het gebruik van de website.
Functioneel
(2)
Google Analytics
Het bijhouden van persoonlijke bezoekersstatistieken bij het gebruik van de website.
Google Tag Manager
Het beheren van tags en het bijhouden van gegevens over het gebruik van de website.
Marketing
(1)
Google Ads
Het tonen van gerichte advertenties op basis van het gebruik van de website.
Expertise-organisatie Bartiméus en lectoraat Digital Life van de Hogeschool van Amsterdam werken samen om meer impact-onderzoek te doen naar e-health en andere innovatieprojecten in de praktijk, bij mensen met een visuele beperking. Dit initiatief werd gefinancierd door het Bartiméus Fonds en Programma Expertisefunctie Zintuiglijk Gehandicapten van ZonMW. Binnen de samenwerking is een evaluatie-raamwerk met toolkit ontwikkeld om de impact van e-health en andere innovatieprojecten te meten. Dit raamwerk kan bruikbaar zijn voor diverse zorgorganisaties die zich bezighouden met e-health. Bij de inzet van e-health is het tenslotte van belang gedegen te evalueren: doe je de juiste dingen, op de juiste manier?.
Op basis van deskresearch en ervaring uit de praktijk werd het theoretisch kader ten aanzien van het raamwerk verder vormgeven. Bij grootschalige implementatie van e-health toepassingen blijkt dat het betrekken van niet alleen cliënten, maar van alle stakeholders, het succes van een implementatieproject kan verhogen.
Bij een implementatieproject zijn vier stakeholder-groepen het meest relevant. Zij vertegenwoordigen het micro-, meso- en macroniveau: cliënten of patiënten, zorgmedewerkers, midden- en kleinbedrijven en de verantwoordelijke voor het zorgbeleid (zorgverzekering en beleidsmakers)1.
Uit bestaande, huidige raamwerken is een selectie gemaakt van hoe deze verschillende stakeholders een plek hadden in het raamwerk. Daarnaast is in deze raamwerken gekeken naar de aandacht voor toegankelijkheid en gebruiksgemak van de technologie binnen een zorgorganisatie.
TECHNISCHE FACTOREN
1. Gebruiksvriendelijkheid/ Usability Hoe makkelijk in gebruik is de technologie? Hoe makkelijk is de technologie te leren?
2. Prestaties/ Performance Werkt de technologie zoals bedoeld door de ontwikkelaars?
3. Aanpasbaarheid en flexibiliteit Kan de technologie aangepast worden om toekomstige behoeftes te vervullen?
4. Afhankelijkheid Is de technologie betrouwbaar en stabiel?
5. Data beschikbaarheid, integriteit en vertrouwelijkheid Is informatie in het systeem beschikbaar, toegankelijk en kan het gebruikt worden door de juiste gebruikers?
6. Data accuraatheid Is de informatie in het systeem accuraat?
7. Duurzaamheid Is de gebruikte technologie duurzaam?
8. Veiligheid Is het systeem veilig?
Impact raamwerk
Na onderzoek naar verschillende implementatieraamwerken kwam de NASSS (non-adoption, abandonment, scale-up, spread, sustainability)2 en Technology, People, Organizations, and Macroenvironmental factors (ook wel TPOM genoemd)3, als goed toepasbaar naar voren. Het voordeel aan deze raamwerken is namelijk dat zij een lijst aan factoren aandragen, die overwogen kunnen worden en in bijna iedere vorm van het implementatieproject meegenomen worden. Ook op managementniveau kunnen zij houvast kunnen bieden.
Een groot verschil tussen de NASSS en de TPOM is de complexiteit van het raamwerk. Beiden behandelen grotendeels dezelfde factoren, maar de NASSS maakt onderscheid in zeven factoren, terwijl de TPOM dit weet onder te brengen in vier factoren. Daarom is gekozen om verder te werken met het TPOM-model. Daarnaast moet gezegd worden dat vanwege de complexiteit van de echte wereld geen van de raamwerken een garantie op succes biedt. Er zal er altijd gekeken moeten worden naar de professionaliteit en de ervaring van de personen die het toepassen.
Impact toolkit voor e-health projecten in relatie tot het het TPOM-raamwerk.
In het TPOM-model staan zoals aangegeven vier factoren centraal (zie ook de vier tabellen op de drie pagina's van dit artikel): Technology, People, Organisational en Macro-environment3.Per factor worden er relevante onderwerpen behandeld. In totaal komt er een breed scala aan onderwerpen (31) aan bod, die sterk van belang zijn bij het ontwerp, implementatie en gebruik van e-health. Gezamenlijk dekken deze factoren en onderwerpen veel belangrijke punten voor cliënt, professionals, interne organisatie en externe factoren.
Het doorlopen van het implementatieraamwerk hoeft niet veel tijd te kosten van een projectleider, omdat er per onderwerp enkele gerichte vragen gesteld worden. De onderwerpen zijn niet gekoppeld aan prioriteiten. Deze prioritering dient zelf aangebracht te worden en kan daarmee variëren per project of fase van het project.
SOCIAAL/MENSELIJKE FACTOREN
1. Gebruikerstevredenheid Wie zijn de gebruikers? Zijn de gebruikers tevreden met de technologie?
2. Compleet/correct gebruik Zijn de functionaliteiten aanwezig en geïmplementeerd zoals bedoeld?
3. Houding en verwachting Wat voor voordelen verwacht de gebruiker van de technologie? Hoe kan deze gemeten worden?
4. Betrokkenheid Zijn gebruikers betrokken bij de implementatie, adoptie en optimalisatie?
5. Ervaring Hebben gebruikers een negatieve ervaring met deze, vergelijkbare of eerdere technologie?
6. Werklast/ voordelen Zijn werklast en voordelen relatief gelijk voor alle betrokken stakeholders?
7. Werkprocessen Veranderd het systeem de verhouding tussen patiënten, communicatie patronen, en professionele verantwoordelijkheden (bijvoorbeeld een toename in administratieve taken)?
8. Gebruikersinput in design Is er een effectieve communicatie tussen ontwerpers, ICT-medewerkers, en eindgebruikers, en tussen management en eindgebruikers?
Toolkit
Bij het afnemen van de TPOM-vragen, komen er ook vragen naar voren over de impact van het project. Voor het beantwoorden van deze specifieke impactvragen is onderzocht welke onderzoeksmethodes er ingezet kunnen worden voor het meten van deze impact binnen het vakgebied van e-health. Ook hierbij is gekeken naar methodieken die flexibel ingezet kunnen worden, maar tegelijkertijd relatief kort in afname zijn.
Met de uitkomst is een toolkit samengesteld waarbij methodieken zijn geselecteerd en aangepast, specifiek voor huidige en toekomstige e-health projecten van Bartiméus. De toolkit bevat onder meer het gebruik van standaarden en definities (FAIR 2021, FHIR NL 2013, WHO-definities 2021) en methodieken geschikt voor analyseren van het gebruik van: eHealth (SUS 1996, TAM2 2000, TUQ 2016, eHIQ 2019, analytics); welzijn (eQ-5D 2001); zorgervaring (PREM paramedische zorg 2016, iMTA).
De toolkit geeft zorgorganisaties als Bartiméus de nodige handvatten om beleid uit te kunnen zetten voor het verhogen van de impact van toekomstige e-health toepassingen of projecten. In de afbeelding op pagina 15 is een schematisch overzicht gegeven van de tools uit de toolkit in relatie tot het TPOM-framework.
Pilot
In een pilot is bij twee lopende e-health projecten van Bartiméus zowel het TPOM-framework als de toolkit toegepast. De methodieken gaven nieuwe inzichten die de impact kunnen verhogen van de projecten. Zo bleek bij een project, dat het moeilijk was voor zorgpersoneel om de nieuwe procedure te volgen voor het nieuwe product. Door de evaluatie kwam naar voren dat het personeel terugviel op de oude procedure, maar dat niet had vermeld, waardoor de volledige potentie van het nieuwe product niet benut werd.
ORGANISATIE
1. Leiderschap en management Zijn management structuren voor het ondersteunen van implementatie toereikend?
2. Communicatie Zijn doelen, tijdlijn, en strategie gecommuniceerd?
3. Tijdstip Is de implementatie tijdlijn realistisch?
4. Visie Wat voor voordelen verwachten de betrokken organisaties van de technologie en hoe kan deze gemeten worden?
5. Training en support Is de training voldoende en realistisch?
6. Successen Is er aandacht besteed aan successen, en voorlopers? Zijn deze voldoende ingezet?
7. Resources Is implementatie voldoende onderzocht? (inclusief technologie, veranderingsmanagement en onderhoud).
8. Monitoring en optimalisatie Is systeem prestaties en gebruik gemonitord en geoptimaliseerd over tijd? Worden de geleerde lessen vastgelegd en geïntegreerd in toekomstige inspanningen?
Conclusie
Wij adviseren op basis van onze ervaring de volgende richtlijnen te hanteren bij afname van het TPOM-raamwerk:
Afnemen met projectleider en direct betrokken stakeholders; liefst van alle vier de belangrijke stakeholdergroepen.
Inzetten bij opzet, tussen evaluatie en eind evaluatie van een implementatieproject.
Bepaal met de stakeholders welke onderwerpen relevant zijn en waar er actie op ondernomen moet worden. Niet alles hoeft behandeld of beantwoord te worden.
Bepaal zo vroeg mogelijk in het proces waarop en hoe er geëvalueerd gaat worden en door wie. Selecteer daar je methodieken op.
BREDERE MACRO-OMGEVING
1. Media Hoe wordt de technologie beschouwd vanuit de media en het publiek? Hoe beschouwd en onderhoud de organisatie media relaties?
2. Professionele groepen Hoe is de technologie beschouwd door professionele sectoren of groepen?
3. Politieke context Wat voor voordelen verwachten beleidsmakers van de technologie en hoe kan deze gemeten worden? Wat is de nationale aanpak voor het bereiken van samenwerking en hoe sluit de technologie hierbij aan? Is er een visie, consistente aanpak en duidelijk pad, voor het mogelijk maken van lokale input?
4. Economische overwegingen en stimulans Zijn er stimulansen voor organisaties en gebruikers om de technologie te implementeren? (e.g. verbeteringen in kwaliteit van de zorg) Is er voldoende financiering om het initiatief te ondersteunen?
5. Wetgeving Is er wet- en regelgeving voor de technologie?
6. Leveranciers Is leverancier management georganiseerd?
7. Impact meten Werken stakeholders met elkaar voor het definiëren, valideren, testen en verfijnen van uitkomst- en meet-strategieën? Zijn uitkomstmaten belangrijk, klinisch acceptabel, transparant, realistisch en bruikbaar?
Referenties
1. Swinkels ICS, Huygens MWJ, Schoenmakers TM, Oude Nijeweme-D'Hollosy W, van Velsen L, Vermeulen J, Schoone-Harmsen M, Jansen YJ, van Schayck OC, Friele R, de Witte L. Lessons Learned From a Living Lab on the Broad Adoption of eHealth in Primary Health Care. J Med Internet Res. 2018 Mar 29;20(3):e83. doi: 10.2196/jmir.9110. PMID: 29599108; PMCID: PMC5897624.
2. Greenhalgh T, W. J. (2017, November). Beyond Adoption: A New Framework for Theorizing and Evaluating Nonadoption, Abandonment, and Challenges to the Scale-Up, Spread, and Sustainability of Health and Care Technologies. Journal of Medical Internet Research, 19(11), https://doi.org/10.2196/jmir.8775.
3. Cresswell K, W. R., Williams, R.A., Sheikh, A. (2020). Developing and Applying a Formative Evaluation Framework for Health Information Technology Implementations: Qualitative Investigation. Journal of Medical Internet Research, 22(6), https://doi.org/10.2196/15068.
