Verslag maandag 7 september 2015

Alternatieven voor RCT

Verslag Invitational Conference

Alternatieven voor RCT

Verslag Invitational Conference

Deze publicatie doet verslag van de Invitational Conference gehouden op 7 september 2015 in de Jaarbeurs Utrecht. Centraal stond de discussie Alternatieven voor RCT’s bij de evaluatie van effectiviteit van interventies.

Discussie over passend design

Henk Smid, directeur ZonMw

Sinds de oprichting van ZorgOnderzoek Nederland is er al belangstelling vanuit ZonMw voor methoden van onderzoek is. Toen al was één van de doelen om de Nederlandse zorgpraktijk van betere onderbouwing te voorzien. En speelde de vraag, of de beste of hoogste vorm van onderbouwing ('evidence') altijd een vergelijkende gerandomiseerde studie (RCT) moest zijn. 

Bij de beoordeling van onderzoeksaanvragen bleken referenten vaak een negatief oordeel te geven als de gekozen opzet géén RCT was. Dat leidde volgens Smid soms tot spanningen. Intussen is die reflex vervangen door het soort discussie dat op deze dag ook gevoerd werd: wanneer is een RCT de passende onderzoeksvorm, wanneer zijn andere vormen van onderzoek gewenst? Henk Smid eindigde met een citaat uit het afscheidscollege van de Leidse klinisch epidemioloog prof. dr. Jan Vandenbroucke: “Mijn stelling was en is dat je alle vormen van onderzoek nodig hebt - welk soort onderzoek hangt af van de vraagstelling. Afhankelijk van de vraagstelling, zijn alle soorten onderzoek even goed.”

Wat is een RCT?

Een randomised controlled trial (RCT, gerandomiseerd gecontroleerd onderzoek) is een onderzoeksvorm waarbij twee of meer groepen worden vergeleken. Toewijzing aan deze groepen vindt plaats door het toeval, door loting.

De gedachte is dat door die toevalsprocedure de invloed van onbewuste of onbekende factoren zo klein mogelijk wordt gemaakt. Idealiter is het enige verschil tussen de groepen datgene wat je wilt onderzoeken.

RCT's zijn bijvoorbeeld bijna altijd wettelijk vereist om de effectiviteit van een geneesmiddel aan te tonen. De loting zorgt ervoor dat verschillen tussen beide groepen niet berusten op bijvoorbeeld de stiekeme voorkeur van de onderzoeker of de fabrikant. Door de loting, maar ook door zorgvuldige criteria wie wel en wie niet meedoet in het onderzoek, zorgen de onderzoekers ervoor dat zij met zo groot mogelijke zekerheid conclusies kunnen trekken over hun onderzoeksgroep. Men noemt dat wel de hoge interne validiteit  van een RCT. Een RCT biedt daardoor de mogelijkheid om behoorlijk stevige conclusies te trekken over die onderzochte groepen.

Daarmee is nog niet gezegd dat die conclusies ook gelden voor andere groepen, bijvoorbeeld voor de patiënten in de spreekkamer van de gemiddelde huisarts. Die zogeheten externe validiteit is zelfs vaak omstreden. Zo worden oudere patiënten en patiënten met meer dan één aandoening (comorbiditeit) vaak van een RCT uitgesloten. En dat terwijl er steeds meer ouderen met meerdere aandoeningen zorg nodig hebben.

In de discussies bleek dat het model van geneesmiddelenonderzoek niet één op één te vertalen is naar andere onderzoeksvragen en -domeinen. Interventies in de preventie, de langdurige zorg of de ggz zijn vaak veel complexer dan de toediening van een enkele werkzame stof. Omgevingsfactoren en individuele verschillen (wie het doet, en hoe) zijn daarbij veel belangrijker. Die complexiteit stelt ook andere eisen aan de onderzoeksopzet.

Waarover gaat de alternatieven voor RCT discussie?

Dr. Jolanda Mathijssen: Tranzo - Tilburg University en Dr. Anne May: Klinische epidemiologie - UMC Utrecht

Iedereen vindt de RCT een prachtige onderzoeksopzet waarmee valide resultaten behaald kunnen worden, maar men vraagt ook oog voor de beperkingen (bijvoorbeeld rond bredere toepasbaarheid); een RCT is niet altijd mogelijk en ook niet altijd nodig. Dat is een van de conclusies van een verkennende inventarisatie die May en Mathijssen uitvoerden in opdracht van ZonMw.

De discussie over de optimale onderzoeksopzet leeft sterk bij onderzoekers en professionals in preventie, care en cure. Mathijssen en May hadden dan ook geen enkele moeite om respondenten te vinden die erover wilden praten. De verkennende inventarisatie is gehanteerd als startdocument voor de conferentie. Één van de eerste dingen die hen opvielen, was de spraakverwarring over de term 'alternatieven voor RCT'. De één bedoelt daarmee letterlijk een andere manier om dezelfde validiteit en betrouwbaarheid als een RCT te bereiken, bijvoorbeeld met slimme statistische 'trucs'. Anderen beginnen over de aanvullende methoden die naast de RCT toegepast kunnen worden om bijvoorbeeld te onderzoeken hoe een interventie werkt. En een derde groep stelt vast dat de ideale onderzoeksopzet afhangt van de vraagstelling en dat een RCT daarbij zeker niet altijd de beste of nodige opzet is.
De beide rapporteurs stipten kort een groot aantal alternatieve onderzoeksmethoden aan. Zij eindigden met een citaat van één van de geïnterviewden: ‘Belangrijk is dat kwaliteit nooit opgeofferd wordt. Het gaat om valide waarnemingen. Als die met een alternatief niet verkregen kunnen worden en een RCT niet mogelijk is, dan géén onderzoek doen.’

E-Health

May en Mathijssen keken in opdracht van ZonMw ook naar e-Health toepassingen en hun evaluatie, omdat dit een actueel beleidsthema is. Uit deze aanvullende verkenning kwam naar voren dat E-Health zelf een containerbegrip is met veel betekenissen. Ook bestaat onduidelijkheid over de vraag welk type E-Health precies onderzocht moet worden en welke eisen men wil stellen aan effectstudies van E-Health interventies. Juist omdat het hier vaak om laagdrempelige, veilige en relatief goedkope interventies gaat, is het volgens sommige geïnterviewden niet nodig om hier net zo kritisch naar te kijken als naar een nieuw geneesmiddel.

 

 

Observatiestudies: een methodologische uitdaging

Dr. Olaf Dekkers: klinische epidemiologie - LUMC

Vervanging van gerandomiseerde studies door observatiestudies is methodologisch gezien een ingewikkeld mijnenveld. Je weet nooit zeker of er geen verborgen andere oorzaken (confounding factors) meespelen. Consistentie en generaliseerbaarheid zijn belangrijk, maar geen vervanging voor validiteit. Men dient ook bij observationeel onderzoek vooraf na te denken over de validiteit. Dit voorkomt een stroom aan onderzoeksresultaten met ‘ruis’.

'Voor alle duidelijkheid: “Ik doe zelf geen RCT's!”', riep Dekkers aan het eind van zijn betoog, dat een stevig pleidooi leek om de alternatieven voor RCT's maar te vergeten. Dat was ook niet echt zijn conclusie. Wel stelde hij voor om bij belangrijke klinische vraagstukken eens vaker met alle kopstukken rond de tafel te gaan zitten en vast te stellen wat er nodig zou zijn. Nu wordt de onderzoeksopzet volgens hem vaak bepaald door de beschikbare middelen of andere niet-inhoudelijke afwegingen. Dekkers riep onderzoekers dan ook op om nog beter dan nu goed stil te staan bij de formulering van hun onderzoeksvraag en het zoeken naar een passende methode.

Hij noemde een aantal serieuze valkuilen voor observationeel onderzoek, zeker bij geneesmiddelenonderzoek en aanverwante klinische vragen. Een terugkerend probleem is de hardheid van de conclusies; heel vaak moeten de onderzoekers een slag om de arm houden omdat er altijd verborgen factoren (confounding)  kunnen meespelen. Een ander risico bij observaties is dat men de vraagstelling aanpast aan de data. Het is immers gemakkelijk om even snel in de data te kijken of er een significant verband lijkt te bestaan. Vindt men dat niet, dan wordt deze poging niet eens voortgezet en leidt al zeker niet tot een publicatie. Uit de gepubliceerde waarden (p-waarden) in de vakliteratuur zijn er aanwijzingen dat een deel van de resultaten in een vroeg stadium in de prullenbak verdwijnt. En dan is er nog het probleem hoe de resultaten uit observationeel onderzoek gewogen moeten worden, zeker in vergelijking met uitkomsten van RCT's. Observaties hebben immers vaak betrekking op veel grotere aantallen mensen, maar de mate van wetenschappelijke zekerheid is bij een goed opgezette RCT weer groter. Hier ligt volgens Dekkers nog een belangrijke methodologische uitdaging, hoe in zogeheten meta-analyses die verschillende bronnen van kennis met elkaar vergeleken en gewogen kunnen worden.

Met andere methoden is vaak wel degelijk nuttige en nodige kennis te verzamelen

Prof. dr. Lex Burdorf: Public health - Erasmus MC Rotterdam

De relatie tussen cholera en vervuild drinkwater, tussen roken en longkanker, tussen slaaphouding en wiegendood, tussen loodgehalte in de benzine en lood in het lichaam van kinderen, tussen het dragen van valhelmen en dodelijk schedelletsel – het zijn stuk voor stuk zeer relevante verbanden die zijn aangetoond zonder RCT. Voor de publieke gezondheid zijn andere onderzoeksvormen vaak bruikbaarder, beter uitvoerbaar en bieden zelfs meer wetenschappelijke zekerheid.

In tegenstelling tot de vorige spreker sprak Burdorf vooral over vragen waarbij complexiteit, omgevingsfactoren en grootschaligheid centraal stonden. Waar men in het klinisch onderzoek nog de keuze heeft tussen een RCT en andere onderzoeksvormen, is die optie in de public health vaak nauwelijks aan de orde. Probeer maar eens een gemeente te overtuigen om een bepaalde interventie maar in één wijk door te voeren en de andere wijken als controlegroep te gebruiken. Maatregelen zoals accijnsverhoging op alcohol of een rookverbod in de horeca kunnen evenmin in een vergelijkende studie worden doorgevoerd. Wel kan men, zoals Burdorf aan de hand van een Belgische publicatie liet zien, het effect meten van verschillende rookverboden op de kans dat een baby te vroeg geboren wordt. Een prachtig onderzoek, omdat het effect snel optreedt (het duurt veel langer voor het aantal doden door longkanker begint te dalen) en dankzij de grote aantallen toch duidelijk meetbaar bleek.

Burdorf realiseert zich terdege dat observationele studies beperkingen hebben en een bepaalde onzekerheid laten bestaan. Hij noemde een groot aantal verschillende methodologische en statistische benaderingen om de onzekerheid zo klein mogelijk te maken en vooral ook om te begrijpen wat het is dat men nog niet weet. “Bias, vertekening door selectie en voorkeuren, is een probleem, maar ons gebrekkige inzicht in bronnen van bias is een nog veel groter probleem', stelde hij. Ook pleit Burdorf voor methoden om bij complexe interventies op zoek te gaan naar de werkzame elementen erin. Ook daarin verschilt een public health interventie immers van het toedienen van een geneesmiddel: het is op voorhand nog helemaal niet duidelijk welke elementen bijdragen aan het effect en welke niet.

Evidence en pakketbeheer

Juanita Heymans: arts beleid en advies, MPH -Zorginstituut Nederland

Volgens de Zorgverzekeringswet wordt zorg vergoed als deze voldoet aan 'de stand van wetenschap en praktijk' oftewel effectief is. Als er een standpunt nodig is van Zorginstituut Nederland weegt men onder meer aan de hand van dit criterium wat wel en niet in het pakket thuishoort. Is er altijd een RCT nodig? Nee, maar hoogwaardig onderzoek telt wel zwaar mee. Dat bleek uit de presentatie van Juanita Heymans van het Zorginstituut.

Het Zorginstituut brengt zeker niet over elke interventie in de zorg een standpunt uit. Dat gebeurt alleen op verzoek van bijvoorbeeld een zorgverzekeraar, en als het Zorginstituut zelf op grond van een risico inschatting vindt dat een uitspraak belangrijk is. Zoals de uitdrukking 'de stand van wetenschap en praktijk' al zegt, weegt men daarbij zowel wetenschappelijke als professionele argumenten. Als er een RCT gedaan is, zal deze veel gewicht in de schaal leggen. Maar RCT’s zijn niet altijd mogelijk. Soms gaat het om te kleine aantallen patiënten, zoals bij een weesziekte. Soms is er gewoon geen klinische studie gedaan, zoals bij zeer veel interventies in de (langdurende) zorg. Het gaat hier vaak om heterogene patiëntengroepen, met complexe langdurende interventies waarvoor geen duidelijke uitkomstmaten gedefinieerd zijn. Zorginstituut Nederland gaat daarbij uit van passend-onderzoek benadering. “Het doel van onze inspanningen is om te komen tot een transparant, toetsbaar, consistent en houdbaar standpunt.”

Meer informatie is te vinden in  het rapport “Beoordeling stand van wetenschap en praktijk” dat te downloaden is op de site van het Zorginstituut Nederland.

De uitdagingen bij onderzoek: uitwisselbaarheid en toepasbaarheid

Prof. dr. Patrick Bossuyt: Klinische epidemiologie, - AMC

In de discussie 'wel of geen RCT' wordt nog weleens vergeten waar het echt om gaat bij effectiviteitsonderzoek: hoe zorgen we dat de onderzochte groepen uitwisselbaar zijn en dat het onderzoek toepasbaar is. Uiteindelijk gaat het immers om het verzamelen van kennis voor het verstandig onderbouwen van beleid. De Amsterdamse hoogleraar klinische epidemiologie Patrick Bossuyt bracht de discussie op een speelse manier terug naar de basics.

Voor de optimale effectstudie zou Bossuyt het liefste de teletijdmachine van de hooggeleerde Zonnebloem lenen. Dan kunnen verschillende interventies onderzocht worden bij dezelfde personen; elke keer gaat men weer terug in de tijd naar het beginpunt. Helaas is dat niet mogelijk en moet op een andere manier worden gezorgd voor de uitwisselbaarheid tussen groepen die de ene dan wel de andere interventie krijgen. Randomisatie bij grote groepen is volgens Bossuyt altijd nog de beste manier om uitwisselbaarheid te bevorderen, Daarnaast zijn er statistische methoden om beter groepen te kunnen vergelijken die niet door toeval zijn ingedeeld, maar die hebben hun beperkingen.

Het andere grote punt bij effectonderzoek is de toepasbaarheid zijn de resultaten uit een studie bij vijftigjarige mensen met één ziekte ook toepasbaar bij kwetsbare tachtigjarige patiënten met meerdere aandoeningen? Kan men een Canadese studie altijd direct in Nederland toepassen? Voor je besluit om een interventie in te voeren, wil je we weten wat de te verwachten effecten zijn: wat gebeurt er als we het wel doen, wat als we het niet doen? “Om een effect aan te tonen, zijn toepasbaarheid en representativiteit minder belangrijk. Beleid, daarentegen, baseer je niet op het bestaan maar op de grootte van dat effect; daarbij is toepasbaarheid van onderzoek essentieel.”

Discussiecafé

Een korte impressie van de zes tafels in het discussiecafé.

Tafel 1: Alternatieven voor RCT’s:  voor-en nadelen van de verschillende designs

Aan deze tafel werden de alternatieven voor RCT’s besproken. De keuze voor een design hangt af van de vraagstelling. Er zijn vraagstellingen waarbij een RCT noodzakelijk is om die te kunnen beantwoorden. Het uitgangspunt van deze tafel was dat een RCT nodig is om causaliteit aan te kunnen tonen. Daarnaast dient hierbij altijd een procesevaluatie plaats te  vinden. Indien na een gedegen afweging een RCT niet haalbaar blijkt te zijn, zijn er varianten op de RCT zoals een cluster RCT of ‘stepped wedge’ design. Indien deze varianten niet haalbaar zijn, dan kan men alternatieve designs overwegen zoals een observationele studie.
Echter, vele vragen over welke alternatieve designs wanneer toepasbaar zijn en welke waarde deze verschillende alternatieven hebben, bleven onbeantwoord. Eén van de conclusies was dan ook dat er nog veel werk te verzetten is voor het toepassen van alternatieve designs.

 

 

Tafel 2: Wat is nodig voor valide en efficiënt onderzoek in Nederland?

Bij deze tafel werden de tafelgasten bevraagd wat nodig is voor valide en efficiënt onderzoek. Een belangrijke boodschap uit deze tafel was dat de RCT reflex onderdrukt moet worden en dat men meer moet openstaan voor andere designs die mogelijk beter passen bij een vraagstelling. Daarnaast is het van belang dat er een goede infrastructuur komt waarin data-registratie centraal staat. Want daardoor kunnen bestaande data beter gebruikt en gekoppeld worden. Ook zou er wereldwijd een ‘open acces’ moeten zijn waarbij niet alleen toegang tot data wordt gegeven maar ook toegang tot codeboeken, syntaxen, analysestrategieën en studieprotocollen. Een uitgesproken wens was één Europese dataregistratie waarin alle typen onderzoek wordt opgenomen. Voor efficiënt onderzoek is van belang om (inter)nationale samenwerking te stimuleren. Daarnaast is het belangrijk dat er aandacht is voor goed uitgevoerd onderzoek waar de ‘lessons learned’ en de niet gewenste resultaten uitkomen. 

Tafel 3: Toepassing MRC handleiding ‘Developing and evaluating complex interventions: new guidance in Nederland.

Bij deze tafel werd besproken of de handleiding ‘Developing en evaluating complex interventions’ van de Medical Research Council (MRC) bruikbaar is voor Nederland. Omdat er voldoende literatuur beschikbaar is, is er geen behoefte aan het ontwikkelen van een handboek specifiek voor Nederland. Wat ontbreekt in de handleiding is hoe om te gaan met meerdere uitkomstmaten bij de evaluatie en een concrete uitwerking van voorbeelden. Om deze concreter te maken, werd als voorbeeld de Effectladder genoemd, die gebruikt wordt bij het Nederlands Jeugdinstituut. De handleiding beschrijft gestructureerd de stappen die doorlopen moeten worden bij de ontwikkeling, evaluatie en implementatie van een complexe interventie. Daarbij wordt veel aandacht besteed aan het belang van het uitvoeren van een haalbaarheids- en  pilot studie alvorens de interventie te evalueren. Suggesties voor ZonMw die aan het licht kwamen zijn dat het belangrijk is goede instructies vanuit ZonMw mee te geven aan indieners, referenten en commissieleden. En maak voor evaluatie van complexe interventies een gefaseerde onderzoeksfinanciering mogelijk waarbij uitvoering van een haalbaarheids- en pilot studie meegefinancierd wordt met uiteraard hantering van ‘go/nog go’ momenten.

Tafel 4: Welke alternatieven zijn er voor eHealth, waar RCT’s de snelheid van ontwikkelingen niet bij kunnen houden?

Voor eHealth toepassingen ontbreken momenteel voldoende geschikte onderzoeksmethoden om het klinisch nut aan te tonen. Wat is methodologisch nodig om eHealth vorm te geven? De boodschap uit deze sessie was dat risico-inschattingen van de veiligheid, eisen van de gebruiker en budgettaire consequenties bij eHealth toepassingen erg belangrijk zijn. Omdat eHealth een breed begrip is, is het voor de onderzoeksmethodologie wenselijk dat het ingedeeld wordt in categorieën. Waardoor per categorie minimale eisen gesteld kan worden. De snelheid waarmee een eHealth toepassing wijzigt,  is van belang voor de keuze van de onderzoeksmethode. Ook bij eHealth is de keuze van een onderzoeksmethode afhankelijk van de vraagstelling. Indien ‘proof of principle’ geleverd is voor eHealth toepassing, dan is ontwikkel- en implementatieonderzoek meer aangewezen. Iteratief ontwikkelonderzoek is een belangrijke stap in eHealth.  Tot slot dient het gebruik en uitwisseling van data die eHealth oplevert meer begeleid te worden dan momenteel gebeurt en stelt men ook bij eHealth onderzoek de vraag of dit met publieke en/of private middelen betaald moet worden.

Tafel 5: Casus ‘Alternatieven voor RCT: bijwerkingen een geval apart'

Of een RCT ‘moet’, hangt af van welke beslissingen op basis van onderzoeksresultaten genomen moeten worden. In onderzoek waarbij niet alleen gekeken wordt naar de werking van een geneesmiddel of bloedproduct maar ook naar de bijwerkingen en onverwachte effecten is een RCT meestal niet te doen. In deze situatie is observationeel onderzoek aangewezen. Dit type onderzoek heeft als nadeel dat je minder controle hebt over de variabelen in het onderzoek. Het is dan ook een uitdaging om dit op een valide en betrouwbare manier op te zetten en uit te voeren. Een RCT wordt vaak  ‘misbruikt’ als marketing instrument om middelen aan te prijzen. Belangrijk is om de verschillende belangen bij een middel inzichtelijk te hebben. Replicatie studies zijn van belang om de kwaliteit van de resultaten te waarborgen. Het belang van replicatiestudies werd nogmaals benadrukt omdat er de plicht is om te handelen op basis van wat we weten en dit ook blijven hanteren indien grote belangen.

Tafel 6: Casus 'Alternatieven voor RCT: integraal gezondheidsbeleid'

Hoe kun je effecten meten van integraal gezondheidsbeleid? Over dit vraagstuk ging de discussie van deze tafel. Observationeel onderzoek of onderzoek van ‘natuurlijke experimenten’ kan ook zeer waardevol zijn in het verkrijgen van ‘evidence’ ten aanzien van de werkzaamheid van maatregelen, want effecten kunnen hiermee aannemelijk gemaakt worden. Een belangrijke succesfactor is de combinatie van een goede voor- en nameting met de juiste uitkomstmaten. Bij onderzoek naar integraal gezondheidsbeleid is inzicht in de juiste determinanten van de gezondheid waardevol; de effecten op de gezondheid zijn immers vaak moeilijk meetbaar. Een kwalitatief goede registratie is onmisbaar voor het genereren van gedegen data; een procesevaluatie is nodig om uiteindelijk de aangetoonde effecten te kunnen begrijpen. Gezien de betrokkenheid van verschillende beleidssectoren bij  integraal gezondheidsbeleid en de economische belangen is het wenselijk om gebruik te maken van een maatschappelijke kosten-baten analyse.

Terugblik: Nuances en pluimages

Dagvoorzitter Pim Assendelft

“We hadden hier vandaag mensen van verschillend pluimage bijeen, en ik heb sterk de indruk dat we dichter bij elkaar zijn gekomen” Dagvoorzitter Pim Assendelft, hoogleraar huisartsgeneeskunde in Nijmegen stelde vast dat er veel was uitgewisseld, met veel nuances. Een kookboek voor de methodologie is weliswaar gewenst, maar eigenlijk niet mogelijk. Maar ZonMw zal mede aan de hand van de uitkomsten van deze dag een nieuwe notitie uitbrengen.

Assendelft eindigde de dag met een kort gesprek met de zaal, waarin verscheidene discussiethema's van de dag terugkeerden. Daar bleek net als tijdens de discussietafels  in de middag dat de aanwezigen verschillende achtergronden en verschillende opvattingen hadden. Zo pleitte iemand voor meer voor onderzoek naar alternatieven voor RCT's, een ander stelde vast dat er eigenlijk voldoende alternatieven beschikbaar zijn, maar dat deze onvoldoende uitgedragen worden.

Ook is het een kwestie van attitude: wie durft na te denken over alternatieven? Uit de reactie die daarop kwam bleek echter dat ook methodologen nog niet altijd helder en eenduidig op het netvlies hebben welke methode voor welke vraagstelling geschikt is en wat dan de sterke en zwakke kanten van die methode zijn. De vraag wat men mee wil geven aan ZonMw leidde ook tot adviezen over de beoordeling van onderzoeksaanvragen. Zo stelde iemand voor om bij commissies en referenten systematisch aandacht te vragen voor een kritische beschouwing van het gekozen onderzoeksdesign en mogelijke alternatieven.

In zijn afrondende woorden prees Assendelft de genuanceerd en sterk op de inhoud gerichte discussies van die dag en stelde hij vast dat de meeste deelnemers het belang zagen van alternatieve onderzoeksdesigns voor de RCT, maar ook vonden dat er telkens een gedegen afweging moest plaatsvinden. De bijeenkomst heeft de discussie duidelijk een slag verder gebracht, concludeerde hij.

ZonMw blijft bezig met onderzoeksmethoden

Henk Smid bedankte de sprekers en de aanwezigen. Hij stelde vast dat het niet mogelijk is om tot een soort beslisboom te komen, maar dat het juist belangrijk is om genuanceerd te blijven nadenken over verschillende vormen van onderzoek. De activiteiten rond dit onderwerp worden voortgezet, samen met instituten zoals  Zorginstituut Nederland en Nictiz (voor de e-health) en andere partijen die interesse hebben in deze thematiek.

Tijdens de discussietafels had Smid ook veel opmerkingen gehoord die geadresseerd waren aan ZonMw. Hij liet weten dat ook ZonMw op een genuanceerde manier bezig blijft met de kwestie, welke onderzoeksopzet het best geschikt is voor een gegeven onderzoeksvraag. Hij sprak de wens uit om binnen ZonMw het volgende experiment uit te voeren: nog voordat er een call uitgaat voor subsidieaanvragen, een wetenschappelijke probleemstelling voorleggen aan een breed samengestelde groep om de vraag te beantwoorden welke onderzoeksopzet het best geschikt is om deze te beantwoorden. “Ik kan nog niet beloven dat we dit gaan doen, maar ik hoop dat het mogelijk is”, aldus Smid.