Gezondheidseconometrie

Waarom dit ertoe doet in de gezondheidseconomie

Vrijwel elke beslissing van een zorgleider rust op een causale bewering: dit geneesmiddel verlaagt de sterfte, die kliniek verminderde opnames, deze betalingshervorming bekortte wachttijden. De bewering is gemakkelijk te doen en moeilijk te verdienen. Twee groepen patiënten verschillen in een uitkomst, maar verschilden ook al voordat iemand ingreep – zieker mensen zoeken meer zorg, rijkere regio’s nemen nieuwe programma’s eerst over, gemotiveerde klinieken melden zich aan voor pilots. Het kernprobleem is dat wij nooit waarnemen wat er met de behandelde groep zou zijn gebeurd als zij onbehandeld was gebleven. Alles in dit onderwerp gaat over het eerlijk benaderen van die ontbrekende vergelijking.

De inzet is publiek geld en levens. Een zelfverzekerde maar foute causale bewering stuurt een budget naar een interventie die niets doet, of trekt er een in die stilletjes levens redde; beide fouten worden betaald in uitkomsten, niet alleen in valuta. Wanneer een nationale betaler besluit een programma landelijk uit te rollen op grond van een regionale evaluatie, is de kwaliteit van de causale redenering van die evaluatie het verschil tussen een succes opschalen en een illusie opschalen. Leiders voeren de analyse zelden zelf uit, maar zij dragen haar op, financieren haar en handelen erop – wat betekent dat de beoordelingsvaardigheid de hunne is.

Dit onderwerp is bewust geen leerboek statistiek (zie de reikwijdtegrenzen van het boek). Het zal geen schatter afleiden of software aanbevelen. Zijn taak is u te vertellen waarvoor elke methode dient, wanneer een causale bewering uw vertrouwen verdient en hoe u econometrisch werk opdraagt en beoordeelt zodat u niet door een verfijnd model wordt misleid en goed bewijs niet afwijst. Waar de analyse een beslisanalytisch model voedt dat voorbij de data extrapoleert, hoort die machinerie bij Onderwerp 2.2 — Modelleren; hier blijven wij bij de schatting zelf en bij de vraag of zij causaal is.

Kernbegrippen

Gezondheidseconometrie is de toepassing van statistische methoden op gezondheids- en zorgdata om verbanden te meten en, vooral, causale inferentie te ondersteunen – de poging vast te stellen dat een verandering in het ene een verandering in het andere veroorzaakt en er niet slechts mee meebeweegt. De discipline bestaat omdat correlatie in gezondheidsdata overvloedig en misleidend is, en omdat het zuivere experiment dat de vraag zou beslechten vaak onmogelijk, onethisch of onbetaalbaar is.

Het centrale obstakel is confounding: een derde factor die zowel beïnvloedt wie een interventie krijgt als welke uitkomst zij ervaren, en zo een verband schept dat niet causaal is. Patiënten op een nieuw antistollingsmiddel bloeden mogelijk minder dan die op het oude, niet omdat het geneesmiddel veiliger is maar omdat voorzichtige voorschrijvers het aan patiënten met lager risico gaven. Leeftijd, achterstand, ziekte-ernst en klinisch oordeel zijn meedogenloze confounders in gezondheidsdata, en degene die u kunt meten zijn zelden degene die het meest ertoe doen.

Nauw verwant is selectiebias: de mensen in uw behandelde en vergelijkingsgroepen zijn in die groepen gesorteerd door een proces – zelfselectie, klinische triage, geografie, administratieve geschiktheid – dat zelf met de uitkomst samenhangt. Een telegezondheidsdienst die door de digitaal zelfverzekerden wordt gebruikt, zal goede resultaten tonen deels omdat zijn gebruikers vooraf gezonder en beter georganiseerd waren. Selectie is geen hinder die van de data moet worden afgeklopt; zij is vaak het hele verhaal, en de taak van de methode is haar te neutraliseren.

De gouden standaard om dat te doen is de gerandomiseerde gecontroleerde trial (RCT), waarin deelnemers bij toeval aan behandeling of controle worden toegewezen. Randomisatie werkt omdat zij gemiddeld zowel de confounders in balans brengt waaraan u dacht als die waaraan u niet dacht, zodat elk verschil in uitkomst aan de interventie kan worden toegeschreven. De disciplines die een trial beschermen – patiënten analyseren in de groep waaraan zij werden gerandomiseerd, bekend als intention-to-treat-analyse, en de uitkomst vooraf registreren – bestaan om te voorkomen dat het selectieprobleem via de achterdeur terugsluipt.

Trials zijn niet altijd haalbaar, dus veel gezondheidseconometrie werkt met observationele data en leent geloofwaardigheid van een natuurlijk experiment – een situatie waarin iets buiten de controle van de deelnemers (een beleidsuitrol, een geschiktheidsregel, een loting, een plotselinge prijsverandering) willekeurige toewijzing nabootst. Vier quasi-experimentele ontwerpen keren terug:

• Difference-in-differences vergelijkt de verandering in uitkomsten voor een aan een interventie blootgestelde groep met de verandering voor een niet-blootgestelde vergelijkingsgroep over dezelfde periode. De geloofwaardigheid rust op de aanname van “parallelle trends”: dat zonder de interventie de uitkomsten van de twee groepen gelijk zouden zijn opgeschoven.
• Schatting met instrumentele variabelen gebruikt een variabele die beïnvloedt wie wordt behandeld maar geen direct effect op de uitkomst heeft behalve via de behandeling – afstand tot een kliniek, een lotnummer, een willekeurig toegewezen beoordelaar – om variatie in behandeling te isoleren die vrij is van confounding. Een geldig instrument is werkelijk moeilijk te vinden en onmogelijk volledig te toetsen.
• Regressiediscontinuïteit benut een scherpe drempel – een risicoscore, een leeftijd, een inkomensgrens – die de geschiktheid bepaalt. Mensen net boven en net onder de lijn zijn praktisch identiek behalve de toegang tot de interventie, zodat het vergelijken van hen een lokaal experiment benadert.
• Methoden voor paneldata volgen dezelfde eenheden (patiënten, ziekenhuizen, regio’s) in de tijd, waardoor de analist kan corrigeren voor alles wat stabiel is aan een eenheid en nooit verandert, en zo een grote klasse confounders verwijdert die één enkele dwarsdoorsnede niet kan.

Ten slotte ligt ontbrekende data onder al deze. Patiënten vallen uit, dossiers zijn onvolledig en – cruciaal – de reden waarom data ontbreekt hangt vaak met de uitkomst samen, zodat het weggooien van onvolledige dossiers stilletjes selectiebias terugbrengt. Hoe ontbrekendheid is afgehandeld, is een van de eerste vragen die aan elke studie moeten worden gesteld.

Beste praktijken

1. Begin bij het tegenfeitelijke, niet bij de methode. Dwing de vraag af voordat iemand een schatter kiest: wat is de vergelijking, en waarom zouden wij geloven dat zij ons vertelt wat er zonder de interventie zou zijn gebeurd? De geloofwaardigheid van elk resultaat vloeit uit die vergelijking voort, niet uit de verfijning van de statistiek erbovenop. Als het antwoord vaag is, redt geen enkele techniek het.

2. Draag het ontwerp op voordat de data worden verzameld, niet erna. De sterkste causale beweringen komen uit vooraf geplande ontwerpen – een gerandomiseerde uitrol, een vooraf geregistreerde analyse, een afgesproken vergelijkingsgroep – omdat het achteraf aanpassen van een methode aan bestaande data de analist uitnodigt te blijven zoeken tot een flatterend resultaat verschijnt. Financier wanneer u een evaluatie financiert de ontwerpfase en sta erop dat er een schriftelijk analyseplan is voordat resultaten bestaan.

3. Geef de voorkeur aan randomisatie waar dat ethisch en haalbaar is, inclusief gefaseerde uitrol. Als een programma niet iedereen tegelijk kan bereiken, wijs de volgorde van toegang dan toe via loting of randomiseer welke locaties eerst gaan. Dit maakt van een operationele beperking een geloofwaardig experiment tegen weinig extra kosten, en is vaak verdedigbaarder dan iemand behandeling ontzeggen. Veel van de meest vertrouwde beleidsevaluaties zijn eenvoudig uitrollen die werden gerandomiseerd in plaats van gekozen.

4. Behandel elk quasi-experimenteel ontwerp als bundel aannames en laat hen de hunne noemen. Difference-in-differences staat of valt met parallelle trends; instrumentele variabelen met een instrument dat zowel relevant als exogeen is; regressiediscontinuïteit met mensen die niet manipuleren aan welke kant van de drempel zij belanden. Een goede analist noemt de aanname waarvan zijn resultaat afhangt en toont bewijs ervoor; een zwakke verbergt haar. Vraag expliciet: “wat moet waar zijn opdat dit causaal is, en hoe weet u dat het zo is?”

5. Eis de falsificatietoetsen, niet alleen de kopschatting. Geloofwaardig causaal werk probeert zijn eigen bewering te breken: pre-interventietrends uitzetten om te controleren dat ze parallel waren, toetsen op sprongen bij valse drempels waar er geen zouden moeten zijn, tonen dat het instrument uitkomsten niet voorspelt die het niet mag raken. De aanwezigheid van deze controles signaleert eerlijk werk; hun afwezigheid is een waarschuwing, hoe groot of welkom het effect ook is.

6. Sta erop te weten hoe ontbrekende data en uitval zijn afgehandeld. Vraag welk deel van de proefpersonen verloren ging, of de ontbrekende personen verschillen van de waargenomen personen en welke aanname de analyse over hen maakte. “Complete-caseanalyse” – stilletjes iedereen met een gat weglaten – is de gebruikelijkste manier waarop selectiebias een studie binnenkomt die er schoon uitzag. De richting waarin de ontbrekende data het resultaat zouden duwen is vaak te weten ook als de data dat niet is.

7. Stem het model af op de vorm van gezondheidsdata. Kosten zijn scheef door een paar zeer dure patiënten, gebruik is een telling die niet negatief kan worden en overlevingsdata worden gecensureerd wanneer follow-up eindigt. Standaard lineaire methoden passen daar slecht en kunnen misleiden; voor elk bestaan gespecialiseerde modellen. U hoeft de wiskunde niet te kennen, maar moet genoeg weten om te vragen “is deze methode geschikt voor kostendata?” en een echt antwoord te verwachten.

8. Scheid het effect op de behandelden van het effect dat u kunt opschalen. Veel quasi-experimentele methoden schatten een lokaal effect – de impact op mensen nabij een drempel, of op degenen die een instrument toevallig bewoog – dat mogelijk niet gelijk is aan het effect van de interventie uitrollen naar iedereen. Een regressiediscontinuïteit rond 65 jaar vertelt u over 65-jarigen, niet over 40-jarigen. Vraag voordat u een getal generaliseert wiens effect het eigenlijk is.

9. Onderscheid statistische significantie van beslissingsrelevantie. Een precies geschat klein effect kan statistisch significant en economisch triviaal zijn; een groot effect kan onzeker zijn en toch de moeite van handelen waard gezien de inzet. Vraag om de effectgrootte, het betrouwbaarheidsinterval en wat het betekent op de schaal van uw budget en bevolking – niet slechts of een p-waarde een drempel haalde. De beslissing hangt af van omvang en onzekerheid samen.

10. Beoordeel externe validiteit even zorgvuldig als interne validiteit. Een studie kan onberispelijk zijn over causaliteit in haar eigen setting en toch irrelevant voor de uwe als de populatie, het zorgstelsel of het basisrisico verschilt. Een instrument dat in een Amerikaanse verzekeringsmarkt werkte of een ontwerp gevalideerd in een Scandinavisch register hoeft zich niet over te dragen op een omgeving met lage inkomens met andere data en prikkels. Vraag “zou dit effect standhouden in mijn stelsel?” als aparte vraag naast “is dit effect echt?”

11. Trianguleer in plaats van één enkele studie te vertrouwen. Wanneer meerdere methoden met verschillende aannames – een trial, een difference-in-differences, een schatting met instrumentele variabelen – dezelfde kant op wijzen, is vertrouwen verdiend; wanneer ze uiteenlopen, is het meningsverschil informatie over welke aannames falen. Draag of zoek voor elke beslissing die groot genoeg is om ertoe te doen meer dan één lijn bewijs en behandel een enkel opvallend resultaat als hypothese, niet als conclusie.

12. Schrijf de beoordeling op en bewaar haar bij de beslissing. Leg vast op welke causale bewering u vertrouwde, welk ontwerp haar voortbracht, op welke aanname zij rustte en wat u van gedachten zou doen veranderen. Dit beschermt de organisatie wanneer resultaten later worden betwist en dwingt de discipline af onzekerheid te vermelden vóór, niet nadat de uitkomst bekend is. Een evaluatie waarvan de redenering ongedocumenteerd is, is een mening met een grafiek.

Vragen om met uw team te bespreken

1. Wat was, bij de laatste grote beslissing die wij met bewijs rechtvaardigden, de vergelijkingsgroep – en zou zij werkelijk hetzelfde hebben gedaan zonder de interventie? Deze vraag gaat rechtstreeks naar het tegenfeitelijke, waar het meeste zwakke bewijs zich verbergt. Duw voorbij het kopgetal naar de structuur: wie werd met wie vergeleken, hoe werden zij in die groepen gesorteerd en wat zou er met de behandelde groep zijn gebeurd als er niets was veranderd. De eerlijke spanningen zijn dat de meest gemakkelijke vergelijking – voor-en-na in dezelfde groep, of vrijwilligers versus niet-vrijwilligers – doorgaans de meest gecontamineerde door confounding is, en dat de mensen die een interventie kozen of ervoor werden gekozen vrijwel altijd verschillen van wie dat niet deed. Een goede discussie noemt de specifieke confounders die spelen (ernst, achterstand, motivatie, selectie door artsen) en vraagt of het ontwerp ze neutraliseerde of slechts negeerde. Het antwoord waarnaar u zoekt is niet “de studie was peer-reviewed” maar een helder verslag van waarom de vergelijking geloofwaardig is – of de erkenning dat dat niet zo is, en dat de beslissing op oordeel rustte, verkleed als bewijs.

2. Wanneer wij een evaluatie opdragen, kopen wij dan een ontwerp of slechts een rapport? De meeste organisaties kopen evaluatie als een product dat arriveert nadat het programma draait, precies wanneer de sterkste causale ontwerpen al onmogelijk zijn geworden. De spanning ligt tussen operationele urgentie – nu lanceren, later meten – en bewijskwaliteit, die afhangt van beslissingen die vóór de eerste ingeschreven patiënt vallen: een gerandomiseerde uitrolvolgorde, een afgesproken vergelijkingsregio, een vooraf geregistreerde uitkomst en analyseplan. Bespreek of uw opdrachtproces analisten vroeg genoeg uitnodigt om het ontwerp te vormen, of alleen laat genoeg om het resultaat te rationaliseren. Een eerlijk antwoord ziet onder ogen dat een goedkope retrospectieve evaluatie erger kan zijn dan geen als zij valse zekerheid verleent, en kijkt of contracten en tijdlijnen goed ontwerp in uw organisatie structureel mogelijk of structureel onmogelijk maken.

3. Welke bewering zouden wij weigeren op te handelen, en welk bewijs zou ons van mening doen veranderen? Deze vraag toetst of het team bewijs behandelt als echte input of als decoratie voor een reeds genomen beslissing. Vooraf noemen aan welke bewijsstandaard een bewering moet voldoen – en de bevinding die u van koers zou doen veranderen – is de sterkste bescherming tegen bevestigingsbias en tegen het selectieve enthousiasme dat resultaten begroet die wij leuk vinden. De echte spanning is dat belanghebbenden zelden geliefde en ongeliefde programma’s aan dezelfde bewijslat houden; een geliefd initiatief krijgt het voordeel van de twijfel, een bedreigend wordt uit elkaar gehaald. Een eerlijke discussie legt bloot waar die dubbele standaarden in uw organisatie leven, spreekt af wat “goed genoeg om te handelen” betekent voor beslissingen van verschillende omvang en aanvaardt dat vooraf vastleggen wat u van gedachten zou doen veranderen ongemakkelijk is juist omdat het dat zou kunnen.

4. Wanneer wij een opvallend resultaat uit een ander stelsel lenen, wat nemen wij aan dat met haar meekomt? Een studie kan onberispelijk zijn over causaliteit in haar eigen setting en u toch misleiden, omdat de populatie, het zorgstelsel, het basisrisico en de prikkels die haar effect voortbrachten niets op de uwe hoeven te lijken. De spanning is dat het indrukwekkendste bewijs doorgaans van elders komt – een Amerikaanse verzekeringsmarkt, een Scandinavisch register, een goed gefinancierde trialsite – en haar nauwgezetheid u verleidt het getal te importeren in plaats van de pasvorm ervan te bevragen. Bespreek wat waar zou moeten zijn voor uw populatie en stelsel opdat het effect zich reproduceert: is het basisrisico vergelijkbaar, heeft uw personeel de capaciteit die de interventie veronderstelde, hebben uw patiënten dezelfde beperkingen? Een eerlijk antwoord behandelt externe validiteit als aparte vraag van interne validiteit, weerstaat de reflex een verre studie af te doen louter omdat zij ver is en noemt welke kenmerken van de oorspronkelijke setting het werk doen. De slechtste uitkomst is een effect opschalen dat daar echt was en hier afwezig, en dan de interventie de schuld geven in plaats van de overdracht.

5. Hoeveel van onze data ontbreekt, en weten wij zeker dat de gaten onschuldig zijn? Elke echte gezondheidsdataset heeft gaten – patiënten vallen uit, dossiers zijn onvolledig, follow-up eindigt – en het gevaarlijke geval is wanneer de reden waarom data ontbreekt zelf met de uitkomst samenhangt, zodat het weggooien van onvolledige dossiers stilletjes selectiebias terugsmokkelt in een studie die er schoon uitzag. De spanning ligt tussen het gemak van “complete-case”-analyse, de standaard in de meeste instrumenten en de snelste route naar een resultaat, en de eerlijkheid om te vragen of de mensen die verdwenen systematisch verschillen van wie bleef. Bespreek welk deel van de proefpersonen verloren ging, of de ontbrekende personen zieker, armer of minder betrokken lijken dan de waargenomen personen en welke aanname de analyse over hen maakte. Een goed antwoord kan vaak zeggen in welke richting ontbrekende data de schatting zou duwen ook als de waarden zelf niet te herstellen zijn, en behandelt een hoog of onverklaard uitvalpercentage als bedreiging voor de hele bewering en niet als voetnoot. Het falen om te benoemen is een team dat de overlevenden rapporteert alsof zij de hele populatie waren.

6. Handelen wij ooit op één studie, en wat zou ons doen wachten op een tweede lijn bewijs? Vertrouwen in een causale bewering zou moeten komen uit overeenstemming tussen methoden die op verschillende manieren falen – een trial, een difference-in-differences, een schatting met instrumentele variabelen die dezelfde kant op wijzen – niet uit één opvallend resultaat, hoe goed uitgevoerd ook. De spanning is dat triangulatie tijd en geld kost die de organisatie zelden wil besteden, en een enkele indrukwekkende bevinding druk schept om te handelen voordat een tweede lijn kan worden opgedragen. Bespreek welke beslissingen groot genoeg zijn om meer dan één lijn bewijs te eisen, en wat u doet wanneer methoden het oneens zijn – want divergentie is geen ruis om weg te middelen maar informatie over welke aannames falen. Een eerlijk antwoord onderscheidt een hypothese die het toetsen waard is van een conclusie die het waard is op te handelen, en weerstaat het momentum dat één evaluatie tot vaststaand feit maakt simpelweg omdat zij het eerst kwam en zei wat mensen hoopten.

In de praktijk: een voorbeeld uit de gezondheidseconomie

Het ministerie van Volksgezondheid van Solvenia, een fictief land met hogere middeninkomens in Midden-Europa met een sociaal-verzekeringsstelsel, wil weten of een nieuw gemeenschapsprogramma voor hartfalen – door verpleegkundigen geleide klinieken die patiënten na ontslag monitoren – kostbare spoedheropnames vermindert. Twaalf regio’s hebben het al overgenomen; acht niet. Een vroeg intern rapport vergeleek heropnamepercentages in overnemende versus niet-overnemende regio’s, vond ze 18 procent lager bij overnemers en adviseerde nationale uitrol. De gezondheidseconoom van het ministerie wordt gevraagd de bewering te controleren voordat honderden miljoenen kroon worden toegezegd.

Haar eerste vraag is het tegenfeitelijke. De overnemende regio’s waren niet willekeurig gekozen: ze waren welvarender, hadden beter georganiseerde eerstelijnszorg en hadden vóór het programma begon lagere heropnamepercentages. De naïeve vergelijking verwart dus het effect van het programma met het reeds bestaande voordeel van de regio’s die konden overnemen – een schoolvoorbeeld van een selectieprobleem. Een eenvoudig verschil tussen overnemers en niet-overnemers kan de twee niet scheiden, en het cijfer van 18 procent is oninterpreteerbaar als causaal effect.

Zij stelt in plaats daarvan een difference-in-differencesontwerp voor, met meerdere jaren regionale heropnamedata vóór en na het overnamemoment van elke regio. Dit vergelijkt de verandering in heropnames in overnemende regio’s met de verandering in niet-overnemende, en trekt elk vast regionaal voordeel eraf. Cruciaal is dat zij eerst de pre-overnametrends uitzet: als overnemers al sneller verbeterden dan niet-overnemers voordat het programma begon, faalt de aanname van parallelle trends en is het ontwerp ongeldig. De trends liggen dicht bij elkaar maar zijn niet identiek, dus rapporteert zij de schatting met dat voorbehoud zichtbaar in plaats van begraven.

Omdat overnamemomenten over regio’s waren gefaseerd, benut zij ook de panelstructuur, waarbij zij corrigeert voor alles wat stabiel is aan elke regio en voor landelijke schokken zoals een slechte griepwinter die alle regio’s tegelijk trof. De difference-in-differencesschatting komt uit op een vermindering van 7 procent in heropnames – reëel en de moeite waard, maar ruim minder dan de helft van het kopcijfer, omdat het grootste deel van de oorspronkelijke 18 procent het reeds bestaande voordeel van de regio’s was en niet het programma. Daarna controleert zij ontbrekende data: twee regio’s hadden onvolledige codering in het overgangsjaar, en zij toont dat het resultaat standhoudt of die regiojaren nu worden opgenomen of uitgesloten.

Zij is open over wat de schatting wel en niet is. Het is het gemiddelde effect in regio’s met de eerstelijnscapaciteit om door verpleegkundigen geleide klinieken te draaien; de acht niet-overnemende regio’s zijn armer en dunner bezet, dus het effect daar kan kleiner zijn of investering vereisen die het model niet prijst. Dat is een kwestie van externe validiteit, en zij markeert het expliciet in plaats van aan te nemen dat de 7 procent zich zal overdragen. Haar aanbeveling aan het ministerie is noch “nationaal uitrollen” noch “opgeven”, maar “financier het waar de eerstelijnscapaciteit bestaat en randomiseer de uitrolvolgorde in de overige regio’s, zodat de volgende evaluatie de overdrachtsvraag kan beslechten die deze niet kan”. De kosteneffectiviteit van de verlaging met 7 procent wordt dan doorgegeven aan een beslismodel (Onderwerp 2.2 — Modelleren) dat de causale schatting omzet in kosten per uitkomst waarop de betaler kan handelen.

Vier sectorperspectieven

Startup

Een digitale-gezondheidsstartup ontmoet gezondheidseconometrie doorgaans als bewijsvraag van een koper of toezichthouder: bewijs dat uw app uitkomsten werkelijk verandert, niet slechts dat betrokken gebruikers het goed doen. De verleiding is een voor-en-nagrafiek van enthousiaste vroege gebruikers, wat vrijwel zuivere selectiebias is – die gebruikers zouden toch verbeterd zijn. De geloofwaardige, betaalbare zet is een kleine gerandomiseerde pilot of gefaseerde uitrol over locaties, ontworpen vóór de lancering, die het effect van het product isoleert van de motivatie van de mensen die het kozen. Oprichters die in de eerste uitrol een schone vergelijking inbouwen, wegen veel zwaarder bij betalers dan wie later een flatterende analyse inpast.

Klein bedrijf

Een gevestigde kleine aanbieder – een groepspraktijk, één kliniek, een gemeenschapsapotheek, een kleine hulpmiddelenleverancier – heeft echte operationele data maar noch het volume noch het analyseteam om eigen quasi-experimentele studies te draaien, en geen lanceermoment om omheen te randomiseren. Haar econometrische taak is vooral beoordeling: het bewijs lezen dat een fabrikant, opdrachtgever of beroepsorgaan haar voorlegt en beoordelen of een geclaimd effect zou standhouden in een caseload als de hare. De stabielste zet is de vraag naar externe validiteit hard te stellen – is dit aangetoond in een populatie, bezettingsniveau en stelsel dat op het mijne lijkt? – in plaats van causale analyse te proberen die zij niet kan bemensen. Waar zij wel bewijs genereert, is een gefaseerde verandering over haar eigen locaties of artsen, of een eenvoudige voor-en-nameting eerlijk gelezen tegen een vergelijkbare naburige praktijk, geloofwaardiger dan een flatterende interne grafiek. Anders dan een startup die de bewijslat van een betaler najaagt, is haar prikkel te voorkomen dat zij iets overneemt wat stilletjes schaarse tijd en geld verspilt aan een caseload die nooit bij de studie paste.

Grote onderneming

Een grote aanbieder of verzekeraar zit op rijke longitudinale data – declaraties, dossiers, registers – en haar voordeel is het vermogen panel- en quasi-experimentele analyses op schaal uit te voeren. Het risico is datavolume aan te zien voor causale helderheid: een miljoen gecontamineerde dossiers kan u nog steeds niet vertellen of een zorgmanagementprogramma werkte, en een goed bedeeld analyseteam kan verfijnde modellen produceren die selectiebias witwassen tot schijnbaar effect. De volwassen onderneming scheidt interne prestatierapportage van causale evaluatie, houdt de twee aan verschillende normen en bouwt gerandomiseerde of gefaseerde ontwerpen in haar eigen operationele uitrollen in, zodat routineverandering betrouwbaar bewijs genereert en niet slechts dashboards.

Overheid

Een ministerie of nationale betaler neemt de causale beslissingen met de hoogste inzet – een programma landelijk opschalen, een uitkering financieren of intrekken – en heeft vaak beleidshefbomen die natuurlijke experimenten scheppen: geschiktheidsdrempels, gefaseerde uitrollen, regionale pilots. Haar discipline moet zijn die uitrollen vanaf het begin als evaluaties te ontwerpen, zodat de onvermijdelijke fasering een difference-in-differences of regressiediscontinuïteit oplevert en geen oninterpreteerbare vergelijking. De overheid draagt ook een plicht die de andere sectoren niet hebben: waken tegen de politieke asymmetrie waarin geliefde programma’s aan toetsing ontsnappen en bedreigende bevindingen worden betwist, door vooraf evaluatienormen vast te leggen en resultaten te publiceren of ze het beleid nu flatteren of niet.

Veelvoorkomende faalpatronen

• Correlatie met causaliteit verwarren. Rapporteren dat behandelde patiënten het beter deden zonder te vragen waarom zij werden behandeld. Oplossing: begin bij het tegenfeitelijke en noem de confounders voordat u enig verschil interpreteert.

• Selecteren op de uitkomst. Vrijwilligers vergelijken met niet-vrijwilligers, afronders met uitvallers, of overnemers met niet-overnemers alsof de groepen verwisselbaar waren. Oplossing: gebruik een ontwerp (randomisatie, difference-in-differences, instrumentele variabelen, regressiediscontinuïteit) dat aanpakt hoe mensen in groepen werden gesorteerd.

• Stille complete-caseanalyse. Iedereen met ontbrekende data weglaten en de rest rapporteren alsof het geheel. Oplossing: rapporteer de omvang en het patroon van ontbrekendheid en toets of conclusies standhouden onder verschillende aannames daarover.

• Aannemen zonder te toetsen. Een difference-in-differences presenteren zonder parallelle trends te controleren, of een instrument zonder zijn exogeniteit te beargumenteren. Oplossing: eis de falsificatietoetsen en behandel hun afwezigheid als gebrek.

• Een lokaal effect generaliseren. Een schatting op basis van een drempel of instrument toepassen op een populatie die zij nooit beschreef. Oplossing: vermeld wiens effect het getal is en beoordeel externe validiteit afzonderlijk van interne validiteit.

• Statistische-significantietheater. Een p-waarde behandelen als de beslissing en effectgrootte en onzekerheid negeren. Oplossing: eis omvang en betrouwbaarheidsintervallen gekaderd tegen het werkelijke budget en de werkelijke bevolking.

• De analyse achteraf aanpassen. Een bestaande dataset afzoeken tot een aangenaam resultaat verschijnt en dat presenteren alsof het vooraf gepland was. Oplossing: registreer het ontwerp en analyseplan vooraf vóór de data worden gezien.

Volwassenheidsmodel

Checklist

• Vermeld het tegenfeitelijke: wat is de vergelijkingsgroep, en waarom zou zij tonen wat de behandelde groep zonder de interventie zou hebben gedaan?
• Identificeer de waarschijnlijke confounders en selectiemechanismen en noem het ontwerp dat ze aanpakt.
• Bevestig dat het ontwerp vóór de dataverzameling is gepland, met een schriftelijk analyseplan.
• Noem voor de gekozen methode de kernaanname (parallelle trends, exogeniteit van het instrument, geen manipulatie van de drempel) en controleer het bewijs ervoor.
• Eis de falsificatietoetsen, niet alleen de kopschatting.
• Vraag hoeveel data ontbrak, of de ontbrekende personen verschillen van de waargenomen personen en hoe ontbrekendheid is afgehandeld.
• Controleer of het model past bij de vorm van de data (scheve kosten, tellingen, gecensureerde overleving).
• Stel vast wiens effect de schatting is (lokaal of algemeen) vóór u haar generaliseert.
• Lees de effectgrootte en het betrouwbaarheidsinterval aan uw budget en bevolking, niet alleen aan de p-waarde.
• Beoordeel externe validiteit – zou dit standhouden in mijn stelsel? – afzonderlijk van interne validiteit.
• Zoek een tweede lijn bewijs voor elke beslissing die groot genoeg is om ertoe te doen.
• Leg de causale bewering, het ontwerp, de kernaanname en wat u van gedachten zou doen veranderen vast.

Belangrijkste bronnen

• Andrew Jones, “Health Econometrics” — in Culyer & Newhouse (red.), Handbook of Health Economics — het standaardoverzicht van methoden voor gezondheidsdata en hun valkuilen.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — de naslag voor panel- en quasi-experimentele methoden.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — een toegankelijke behandeling van causale inferentie, natuurlijke experimenten en de vier quasi-experimentele ontwerpen.
• CONSORT Statement — rapportagenormen voor gerandomiseerde gecontroleerde trials, nuttig als beoordelingschecklist.
• Economics Network, Health Economics for Teachers — module over econometrie — https://economicsnetwork.ac.uk/health/teachers
• OESO, Health at a Glance, en publicaties van de WHO over zorgstelsels — bronnen van de routinematige gezondheidsdata waarop veel gezondheidseconometrie wordt bedreven.

Referenties

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics