Sundhedsøkonometri

Hvorfor det er vigtigt i sundhedsøkonomi

Næsten enhver beslutning, en sundhedsleder træffer, hviler på en kausal påstand: dette lægemiddel sænker dødeligheden, den klinik reducerede indlæggelser, denne betalingsreform skar ventetiderne. Påstanden er let at fremsætte og svær at gøre sig fortjent til. To grupper patienter adskiller sig i et udfald, men de adskilte sig også, før nogen greb ind – sygere mennesker søger mere pleje, rigere regioner tager nye programmer i brug først, motiverede klinikker melder sig frivilligt til pilotprojekter. Det centrale problem er, at vi aldrig observerer, hvad der ville være sket med den behandlede gruppe, hvis den var forblevet ubehandlet. Alt i dette emne handler om ærligt at tilnærme den manglende sammenligning.

Indsatsen er offentlige penge og liv. En selvsikker, men forkert kausal påstand sender et budget mod en indsats, der intet gør, eller trækker en tilbage, der i stilhed reddede liv; begge fejl betales i udfald, ikke blot i valuta. Når en national betaler beslutter at udrulle et program landsdækkende på baggrund af en regional evaluering, er kvaliteten af evalueringens kausale ræsonnement forskellen mellem at skalere en succes og at skalere en illusion. Ledere kører sjældent selv analysen, men de bestiller den, finansierer den og handler på den – hvilket betyder, at vurderingsevnen er deres at eje.

Dette emne er bevidst ikke en statistisk lærebog (se bogens afgrænsninger). Det vil ikke udlede en estimator eller anbefale software. Dets opgave er at fortælle dig, hvad hver metode er til, hvornår en kausal påstand fortjener din tillid, og hvordan du bestiller og vurderer økonometrisk arbejde, så du hverken lader dig narre af en sofistikeret model eller afviser god evidens. Hvor analysen fødes ind i en beslutningsanalytisk model, der ekstrapolerer ud over dataene, hører det apparat til Emne 2.2 — Modellering; her bliver vi ved selve estimatet og spørgsmålet om, hvorvidt det er kausalt.

Centrale begreber

Sundhedsøkonometri er anvendelsen af statistiske metoder på sundheds- og sundhedsvæsensdata for at måle sammenhænge og frem for alt for at understøtte kausal inferens – forsøget på at fastslå, at en ændring i det ene forårsager en ændring i noget andet, snarere end blot at bevæge sig sammen med det. Disciplinen findes, fordi korrelation i sundhedsdata er rigelig og vildledende, og fordi det rene eksperiment, der ville afgøre spørgsmålet, ofte er umuligt, uetisk eller uoverkommeligt dyrt.

Den centrale hindring er confounding: en tredje faktor, der påvirker både, hvem der får en indsats, og hvilket udfald de oplever, og skaber en association, der ikke er kausal. Patienter på et nyt antikoagulantium kan bløde mindre end dem på det gamle, ikke fordi lægemidlet er sikrere, men fordi forsigtige ordinerende læger gav det til patienter med lavere risiko. Alder, afsavn, sygdomssværhedsgrad og klinikerens skøn er ubarmhjertige confoundere i sundhedsdata, og dem, du kan måle, er sjældent dem, der betyder mest.

Tæt beslægtet er selektionsbias: menneskerne i dine behandlede og sammenlignende grupper blev sorteret ind i dem af en proces – selvselektion, klinisk triage, geografi, administrativ berettigelse – der selv hænger sammen med udfaldet. En telesundhedstjeneste, der bruges af de digitalt selvsikre, vil vise gode resultater delvis fordi dens brugere var sundere og mere organiserede fra begyndelsen. Selektion er ikke et irritationsmoment, der skal støves af dataene; det er ofte hele historien, og metodens opgave er at neutralisere den.

Guldstandarden til at gøre det er det randomiserede kontrollerede forsøg (RCT), hvor deltagere tildeles behandling eller kontrol ved lodtrækning. Randomisering virker, fordi den i gennemsnit balancerer både de confoundere, du tænkte på, og dem, du ikke gjorde, så enhver forskel i udfald kan tilskrives indsatsen. De discipliner, der beskytter et forsøg – at analysere patienter i den gruppe, de blev randomiseret til, kendt som intention-to-treat-analyse, og at præregistrere udfaldet – findes for at forhindre, at selektionsproblemet snigende vender tilbage ad bagdøren.

Forsøg er ikke altid gennemførlige, så meget af sundhedsøkonometrien arbejder med observationelle data og låner troværdighed fra et naturligt eksperiment – en situation, hvor noget uden for deltagernes kontrol (en politikudrulning, en berettigelsesregel, et lotteri, en pludselig prisændring) efterligner tilfældig tildeling. Fire kvasieksperimentelle designs går igen:

• Differens-i-differens sammenligner ændringen i udfald for en gruppe, der er udsat for en indsats, med ændringen for en uudsat sammenligningsgruppe over samme periode. Dens troværdighed hviler på antagelsen om "parallelle tendenser": at de to gruppers udfald, uden indsatsen, ville have bevæget sig i takt.
• Instrumentvariabler bruger en variabel, der påvirker, hvem der behandles, men ikke har nogen direkte effekt på udfaldet undtagen gennem behandlingen – afstand til en klinik, et lodtrækningsnummer, en tilfældigt tildelt bedømmer – til at isolere variation i behandling, der er fri for confounding. Et gyldigt instrument er reelt svært at finde og umuligt at teste fuldt ud.
• Regressionsdiskontinuitet udnytter en skarp tærskel – en risikoscore, en alder, en indkomstgrænse – der afgør berettigelse. Mennesker lige over og lige under linjen er praktisk talt identiske bortset fra adgangen til indsatsen, så at sammenligne dem tilnærmer et lokalt eksperiment.
• Paneldata-metoder følger de samme enheder (patienter, hospitaler, regioner) over tid, så analytikeren kan kontrollere for alt stabilt ved en enhed, der aldrig ændrer sig, og dermed fjerne en stor klasse af confoundere, som et enkelt tværsnit ikke kan.

Endelig ligger manglende data under dem alle. Patienter falder fra, journaler er ufuldstændige, og – afgørende – grunden til, at data mangler, hænger ofte sammen med udfaldet, så at kassere ufuldstændige poster i stilhed genindfører selektionsbias. Hvordan manglende data blev håndteret, er et af de første spørgsmål at stille til enhver undersøgelse.

Bedste praksis

1. Begynd med kontrafaktum, ikke med metoden. Før nogen vælger en estimator, så tving spørgsmålet frem: hvad er sammenligningen, og hvorfor skulle vi tro, at den fortæller os, hvad der ville være sket uden indsatsen? Troværdigheden af ethvert resultat flyder fra den sammenligning, ikke fra sofistikationen af statistikken ovenpå. Hvis svaret er vagt, kan ingen teknik redde det.

2. Bestil designet, før dataene indsamles, ikke bagefter. De stærkeste kausale påstande kommer fra designs planlagt på forhånd – en randomiseret udrulning, en præregistreret analyse, en aftalt sammenligningsgruppe – fordi det at eftermontere en metode på eksisterende data inviterer analytikeren til at blive ved med at lede, indtil et smigrende resultat dukker op. Når du finansierer en evaluering, så finansiér designfasen, og insistér på en skriftlig analyseplan, før der findes resultater.

3. Foretræk randomisering, hvor det er etisk og muligt, herunder forskudt udrulning. Hvis et program ikke kan nå alle på én gang, så tildel rækkefølgen af adgang ved lodtrækning eller randomisér, hvilke steder der kommer først. Det forvandler en operationel begrænsning til et troværdigt eksperiment til lidt ekstra omkostning, og det er ofte mere forsvarligt end at nægte nogen behandling. Mange af de mest betroede politikevalueringer er blot udrulninger, der blev randomiseret frem for valgt.

4. Behandl ethvert kvasieeksperimentelt design som en pakke af antagelser, og få det til at angive sine. Differens-i-differens lever eller dør af parallelle tendenser; instrumentvariabler af et instrument, der både er relevant og eksogent; regressionsdiskontinuitet af, at folk ikke manipulerer, hvilken side af tærsklen de lander på. En god analytiker nævner den antagelse, deres resultat afhænger af, og viser evidens for den; en svag skjuler den. Spørg eksplicit: "hvad skal være sandt, for at dette er kausalt, og hvordan ved du, at det er det?"

5. Kræv falsifikationstestene, ikke kun overskriftsestimatet. Troværdigt kausalt arbejde forsøger at bryde sin egen påstand: at plotte tendenser før indsatsen for at kontrollere, at de var parallelle, at teste for spring ved falske tærskler, hvor der ikke burde være nogen, at vise, at instrumentet ikke forudsiger udfald, det ikke bør røre. Tilstedeværelsen af disse kontroller signalerer ærligt arbejde; deres fravær er en advarsel, uanset hvor stor eller velkommen effekten er.

6. Insistér på at vide, hvordan manglende data og frafald blev håndteret. Spørg, hvor stor en andel af forsøgspersonerne der gik tabt, om de manglende adskiller sig fra de observerede, og hvilken antagelse analysen gjorde om dem. "Complete-case-analyse" – i stilhed at droppe enhver med et hul – er den almindeligste måde, selektionsbias kommer ind igen i en undersøgelse, der så ren ud. Den retning, de manglende data ville skubbe resultatet i, er ofte kendt, selv når dataene ikke er.

7. Afstem modellen efter sundhedsdataenes form. Omkostninger er skæve på grund af nogle få meget dyre patienter, udnyttelse er et antal, der ikke kan blive negativt, og overlevelsesdata er censurerede, når opfølgningen slutter. Standard lineære metoder passer dårligt til disse og kan vildlede; der findes specialiserede modeller til hver. Du behøver ikke kende matematikken, men du bør vide nok til at spørge "er denne metode passende til omkostningsdata?" og forvente et reelt svar.

8. Adskil effekten på de behandlede fra den effekt, du kunne skalere. Mange kvasieeksperimentelle metoder estimerer en lokal effekt – påvirkningen på mennesker nær en tærskel eller på dem, et instrument tilfældigvis flyttede – som måske ikke er lig med effekten af at udrulle indsatsen til alle. En regressionsdiskontinuitet omkring 65 år fortæller dig om 65-årige, ikke 40-årige. Før du generaliserer et tal, så spørg, hvis effekt det faktisk er.

9. Skeln mellem statistisk signifikans og beslutningsrelevans. En præcist estimeret lille effekt kan være statistisk signifikant og økonomisk triviel; en stor effekt kan være usikker og alligevel værd at handle på, givet indsatsen. Bed om effektstørrelsen, dens konfidensinterval og hvad den betyder i skala af dit budget og din population – ikke blot om en p-værdi nåede en tærskel. Beslutningen afhænger af størrelse og usikkerhed samlet.

10. Bedøm ekstern validitet lige så omhyggeligt som intern validitet. En undersøgelse kan være upåklagelig med hensyn til kausalitet i sin egen setting og alligevel irrelevant for din, hvis populationen, sundhedssystemet eller baselinerisikoen adskiller sig. Et instrument, der virkede i et amerikansk forsikringsmarked, eller et design valideret i et skandinavisk register, overføres måske ikke til en lavindkomstsetting med andre data og incitamenter. Spørg "ville denne effekt holde i mit system?" som et særskilt spørgsmål fra "er denne effekt reel?"

11. Triangulér i stedet for at stole på en enkelt undersøgelse. Når flere metoder med forskellige antagelser – et forsøg, en differens-i-differens, et instrumentvariabelestimat – peger i samme retning, er tillid fortjent; når de divergerer, er uenigheden information om, hvilke antagelser der svigter. Bestil eller søg mere end én evidenslinje til enhver beslutning, der er stor nok til at betyde noget, og behandl et enkelt slående resultat som en hypotese, ikke en konklusion.

12. Skriv vurderingen ned, og opbevar den sammen med beslutningen. Registrér, hvilken kausal påstand du støttede dig til, hvilket design der frembragte den, hvilken antagelse den hvilede på, og hvad der ville ændre din mening. Det beskytter organisationen, når resultater senere anfægtes, og det tvinger disciplinen til at angive usikkerhed før, ikke efter, udfaldet er kendt. En evaluering, hvis ræsonnement er udokumenteret, er en mening med et diagram.

Spørgsmål at drøfte med dit team

1. For den seneste store beslutning, vi begrundede med evidens, hvad var sammenligningsgruppen – og ville den virkelig have gjort det samme uden indsatsen? Dette spørgsmål går direkte til kontrafaktum, som er der, hvor mest svag evidens gemmer sig. Skub forbi overskriftstallet til strukturen: hvem blev sammenlignet med hvem, hvordan blev de sorteret ind i de grupper, og hvad ville der være sket med den behandlede gruppe, hvis intet var ændret. De ærlige spændinger er, at den mest belejlige sammenligning – før-og-efter i samme gruppe, eller frivillige versus ikke-frivillige – som regel er den mest confoundede, og at de mennesker, der valgte eller blev valgt til en indsats, næsten altid adskiller sig fra dem, der ikke blev. En god drøftelse nævner de specifikke confoundere i spil (sværhedsgrad, afsavn, motivation, klinikerselektion) og spørger, om designet neutraliserede dem eller blot ignorerede dem. Det svar, I leder efter, er ikke "undersøgelsen var peer-reviewed", men en klar redegørelse for, hvorfor sammenligningen er troværdig – eller en indrømmelse af, at den ikke er, og at beslutningen hvilede på dømmekraft klædt ud som evidens.

2. Når vi bestiller en evaluering, køber vi så et design eller blot en rapport? De fleste organisationer anskaffer evaluering som en leverance, der ankommer, efter programmet kører, hvilket netop er det tidspunkt, hvor de stærkeste kausale designs allerede er blevet umulige. Spændingen er mellem operationel hastende karakter – lancér nu, mål senere – og evidenskvalitet, der afhænger af beslutninger truffet, før den første patient tilmeldes: en randomiseret udrulningsrækkefølge, en aftalt sammenligningsregion, et præregistreret udfald og en analyseplan. Drøft, om jeres bestillingsproces inviterer analytikere ind tidligt nok til at forme designet eller kun sent nok til at rationalisere resultatet. Et ærligt svar konfronterer det faktum, at en billig retrospektiv evaluering kan være værre end ingen, hvis den giver falsk selvtillid, og ser på, om kontrakter og tidsplaner gør godt design strukturelt muligt eller strukturelt umuligt i jeres organisation.

3. Hvilken påstand ville vi nægte at handle på, og hvilken evidens ville ændre vores mening? Dette spørgsmål tester, om teamet behandler evidens som et reelt input eller som pynt på en allerede truffet beslutning. At nævne på forhånd, hvilken bevisstandard en påstand skal opfylde – og det fund, der ville få jer til at vende om – er det stærkeste værn mod bekræftelsesbias og mod den selektive begejstring, der møder resultater, vi kan lide. Den reelle spænding er, at interessenter sjældent holder yndede programmer og uønskede programmer op mod samme evidensbar; et elsket initiativ får tvivlens fordel, et truende bliver pillet fra hinanden. En ærlig drøftelse bringer frem, hvor disse dobbeltstandarder bor i jeres organisation, aftaler, hvad "godt nok til at handle" betyder for beslutninger af forskellig størrelse, og accepterer, at det er ubehageligt at forpligte sig på forhånd til, hvad der ville ændre jeres mening, netop fordi det måske sker.

4. Når vi låner et slående resultat fra et andet system, hvad antager vi, der overføres med det? En undersøgelse kan være fejlfri med hensyn til kausalitet i sin egen setting og alligevel vildlede dig, fordi populationen, sundhedssystemet, baselinerisikoen og incitamenterne, der frembragte dens effekt, kan være helt anderledes end jeres. Spændingen er, at den mest imponerende evidens som regel kommer et andet sted fra – et amerikansk forsikringsmarked, et skandinavisk register, et velressourceret forsøgssted – og dens netop stringens friste jer til at importere tallet frem for at afprøve dets pasform. Drøft, hvad der ville skulle være sandt for jeres population og system, for at effekten kan reproduceres: er baselinerisikoen sammenlignelig, har jeres arbejdsstyrke den kapacitet, indsatsen forudsatte, står jeres patienter over for de samme begrænsninger? Et ærligt svar behandler ekstern validitet som et særskilt spørgsmål fra intern validitet, modstår refleksen til at afskrive en fjern undersøgelse blot fordi den er fjern og nævner, hvilke træk ved den oprindelige setting der gør arbejdet. Det værste udfald er at skalere en effekt, der var reel dér og fraværende her, og så bebrejde indsatsen frem for overførslen.

5. Hvor mange af vores data mangler, og er vi sikre på, at hullerne er uskyldige? Ethvert reelt sundhedsdatasæt har huller – patienter falder fra, journaler er ufuldstændige, opfølgningen slutter – og det farlige tilfælde er, når grunden til, at data mangler, selv hænger sammen med udfaldet, så at droppe ufuldstændige poster i stilhed smugler selektionsbias tilbage i en undersøgelse, der så ren ud. Spændingen er mellem bekvemmeligheden ved "complete-case"-analyse, som er standard i de fleste værktøjer og den hurtigste vej til et resultat, og ærligheden i at spørge, om dem, der forsvandt, adskiller sig systematisk fra dem, der blev. Drøft, hvor stor en andel af forsøgspersonerne der gik tabt, om de manglende ser sygere, fattigere eller mindre engagerede ud end de observerede, og hvad analysen antog om dem. Et godt svar kan ofte sige, hvilken retning de manglende data ville skubbe estimatet i, selv når værdierne selv ikke kan genskabes, og det behandler en høj eller uforklaret frafaldsrate som en trussel mod hele påstanden frem for en fodnote. Det fejlmønster, der skal nævnes, er et team, der rapporterer de overlevende, som var de hele populationen.

6. Handler vi nogensinde på en enkelt undersøgelse, og hvad ville få os til at vente på en anden evidenslinje? Tillid til en kausal påstand bør komme fra enighed på tværs af metoder, der svigter på forskellige måder – et forsøg, en differens-i-differens, et instrumentvariabelestimat, der peger samme retning – ikke fra ét slående resultat, uanset hvor godt det er udført. Spændingen er, at triangulering koster tid og penge, organisationen sjældent vil bruge, og et enkelt imponerende fund skaber pres for at handle, før en anden linje kan bestilles. Drøft, hvilke beslutninger der er store nok til at kræve mere end én evidenslinje, og hvad I gør, når metoder er uenige – for divergens er ikke støj, der skal gennemsnittes væk, men information om, hvilke antagelser der svigter. Et ærligt svar skelner mellem en hypotese, der er værd at teste, og en konklusion, der er værd at handle på, og modstår det momentum, der forvandler en enkelt evaluering til afgjort faktum blot fordi den kom først og sagde, hvad folk håbede.

I praksis: et sundhedsøkonomisk eksempel

Sundhedsministeriet i Solvenia, et fiktivt øvre-mellemindkomstland i Centraleuropa med et socialforsikringssystem, vil vide, om et nyt samfundsbaseret hjerteinsufficiensprogram – sygeplejerskeledede klinikker, der overvåger patienter efter udskrivning – reducerer dyre akutte genindlæggelser. Tolv regioner har allerede taget det i brug; otte har ikke. En tidlig intern rapport sammenlignede genindlæggelsesrater i regioner, der havde taget det i brug, og dem, der ikke havde, fandt dem 18 procent lavere hos dem, der havde, og anbefalede national udrulning. Ministeriets sundhedsøkonom bliver bedt om at kontrollere påstanden, før hundredvis af millioner koruna forpligtes.

Hendes første spørgsmål er kontrafaktum. De regioner, der havde taget programmet i brug, var ikke valgt tilfældigt: de var rigere, havde bedre organiseret primærsektor og havde lavere genindlæggelsesrater, før programmet begyndte. Den naive sammenligning blander derfor programmets effekt sammen med den allerede eksisterende fordel hos de regioner, der kunne indføre det – et klassisk selektionsproblem. En simpel forskel mellem regioner med og uden programmet kan ikke adskille de to, og tallet på 18 procent er uanvendeligt som kausal effekt.

Hun foreslår i stedet et differens-i-differens-design, der bruger flere års regionale genindlæggelsesdata før og efter hver regions indførelsesdato. Det sammenligner ændringen i genindlæggelser i regioner med programmet mod ændringen i regioner uden og eliminerer enhver fast regional fordel. Afgørende er, at hun først plotter tendenserne før indførelsen: hvis regionerne med programmet allerede forbedrede sig hurtigere end dem uden før programmet, svigter antagelsen om parallelle tendenser, og designet er ugyldigt. Tendenserne er tætte, men ikke identiske, så hun rapporterer estimatet med det forbehold synligt frem for begravet.

Fordi indførelsesdatoerne var forskudt på tværs af regioner, udnytter hun også panelstrukturen og kontrollerer for alt stabilt ved hver region og for landsdækkende stød som en slem influenzavinter, der ramte alle regioner på én gang. Differens-i-differens-estimatet lander på en reduktion i genindlæggelser på 7 procent – reel og værd at have, men godt under halvdelen af overskriftstallet, fordi det meste af de oprindelige 18 procent var regionernes forud eksisterende fordel, ikke programmet. Hun kontrollerer derefter manglende data: to regioner havde ufuldstændig kodning i overgangsåret, og hun viser, at resultatet holder, uanset om disse region-år medtages eller udelades.

Hun er åbenhjertig om, hvad estimatet er, og hvad det ikke er. Det er den gennemsnitlige effekt i regioner med den primære kapacitet til at drive sygeplejerskeledede klinikker; de otte regioner uden programmet er fattigere og tyndere bemandet, så effekten dér kunne være mindre eller kunne kræve investering, modellen ikke prissætter. Det er et spørgsmål om ekstern validitet, og hun påpeger det eksplicit frem for at antage, at de 7 procent vil overføres. Hendes anbefaling til ministeriet er hverken "udrul nationalt" eller "opgiv det", men "finansiér det, hvor den primære kapacitet findes, og randomisér udrulningsrækkefølgen i de resterende regioner, så den næste evaluering kan afgøre det overførselsspørgsmål, som denne ikke kan." Omkostningseffektiviteten af reduktionen på 7 procent overdrages derefter til en beslutningsmodel (Emne 2.2 — Modellering), der omsætter det kausale estimat til en omkostning pr. udfald, betaleren kan handle på.

Fire sektorperspektiver

Startup

En digital sundheds-startup møder sædvanligvis sundhedsøkonometri som et evidenskrav fra en køber eller tilsynsmyndighed: bevis, at jeres app faktisk ændrer udfald, ikke blot at engagerede brugere klarer sig godt. Fristelsen er et før-og-efter-diagram af begejstrede tidlige brugere, hvilket er næsten ren selektionsbias – de brugere ville være blevet bedre alligevel. Det troværdige, overkommelige træk er et lille randomiseret pilotprojekt eller en forskudt udrulning på tværs af steder, designet før lancering, der isolerer produktets effekt fra motivationen hos de mennesker, der valgte det. Grundlæggere, der bygger en ren sammenligning ind i den første udrulning, vejer langt mere hos betalere end dem, der eftermonterer en smigrende analyse senere.

Lille virksomhed

En etableret lille udbyder – en gruppepraksis, en enkelt klinik, et lokalt apotek, en lille udstyrsleverandør – har reelle driftsdata, men hverken volumen eller analytikerteam til at køre sine egne kvasieeksperimentelle undersøgelser, og intet lanceringsøjeblik at randomisere omkring. Dens økonometriske opgave er mest vurdering: at læse den evidens, en producent, bestiller eller faglig organisation lægger foran den, og bedømme, om en påstået effekt ville holde i en patientmasse som dens egen. Det stabileste træk er at stille spørgsmålet om ekstern validitet hårdt – blev dette vist i en population, med et personaleniveau og et system, der ligner mit? – frem for at forsøge kausal analyse, den ikke kan finansiere. Hvor den selv genererer evidens, er en forskudt ændring på tværs af egne steder eller klinikere, eller en simpel før-og-efter-læsning ærligt holdt op mod en sammenlignelig nabopraksis, mere troværdig end et smigrende internt diagram. I modsætning til en startup, der jagter en betalers evidensbar, er dens incitament at undgå at indføre noget, der i stilhed spilder knap tid og penge på en patientmasse, der aldrig matchede undersøgelsen.

Virksomhed

En stor udbyder eller forsikrer sidder på rige longitudinelle data – krav, journaler, registre – og dens fordel er evnen til at køre panel- og kvasieeksperimentelle analyser i stor skala. Risikoen er at forveksle datavolumen med kausal klarhed: en million confoundede poster kan stadig ikke fortælle dig, om et plejestyringsprogram virkede, og et velressourceret analyseteam kan producere sofistikerede modeller, der hvidvasker selektionsbias til tilsyneladende effekt. Den modne virksomhed adskiller intern præstationsrapportering fra kausal evaluering, holder de to op mod forskellige standarder og bygger randomiserede eller forskudte designs ind i sine egne operationelle udrulninger, så rutineændringer genererer troværdig evidens og ikke blot dashboards.

Offentlig sektor

Et ministerium eller en national betaler træffer de kausale beslutninger med højest indsats – at skalere et program landsdækkende, at finansiere eller trække en ydelse tilbage – og har ofte politikhåndtag, der skaber naturlige eksperimenter: berettigelsestærskler, faseopdelte udrulninger, regionale pilotprojekter. Dens disciplin bør være at designe disse udrulninger som evalueringer fra starten, så den uundgåelige faseopdeling giver en differens-i-differens eller en regressionsdiskontinuitet frem for en uanvendelig sammenligning. Staten bærer også en pligt, de andre sektorer ikke gør: at værne mod den politiske asymmetri, hvor yndede programmer slipper for granskning, og truende fund anfægtes, ved på forhånd at forpligte sig til evalueringsstandarder og offentliggøre resultater, uanset om de smigrer politikken.

Almindelige fejlmønstre

• At forveksle korrelation med kausalitet. At rapportere, at behandlede patienter klarede sig bedre, uden at adressere, hvorfor de blev behandlet. Løsning: begynd med kontrafaktum, og nævn confounderne, før du fortolker nogen forskel.

• At selektere på udfaldet. At sammenligne frivillige med ikke-frivillige, gennemførere med frafaldne eller dem med programmet med dem uden, som om grupperne var udskiftelige. Løsning: brug et design (randomisering, differens-i-differens, instrumentvariabler, regressionsdiskontinuitet), der adresserer, hvordan folk blev sorteret ind i grupper.

• Stiltiende complete-case-analyse. At droppe enhver med manglende data og rapportere resten, som var det helheden. Løsning: rapportér omfanget og mønsteret af manglende data, og test, om konklusioner overlever forskellige antagelser om dem.

• At antage uden at teste. At præsentere en differens-i-differens uden at kontrollere parallelle tendenser eller et instrument uden at argumentere for dets eksogenitet. Løsning: kræv falsifikationstestene, og behandl deres fravær som en defekt.

• At generalisere en lokal effekt. At anvende et tærskel- eller instrumentbaseret estimat på en population, det aldrig beskrev. Løsning: angiv, hvis effekt tallet er, og vurdér ekstern validitet adskilt fra intern validitet.

• Signifikansteater. At behandle en p-værdi som beslutningen og ignorere effektstørrelse og usikkerhed. Løsning: kræv størrelser og konfidensintervaller sat op mod det faktiske budget og den faktiske population.

• At eftermontere analysen. At søge i et eksisterende datasæt, indtil et behageligt resultat dukker op, og så præsentere det, som var det forudplanlagt. Løsning: præregistrér designet og analyseplanen, før dataene ses.

Modenhedsmodel

Tjekliste

• Angiv kontrafaktum: hvad er sammenligningsgruppen, og hvorfor skulle den vise, hvad den behandlede gruppe ville have gjort uden indsatsen?
• Identificér de sandsynlige confoundere og selektionsmekanismer, og nævn det design, der adresserer dem.
• Bekræft, at designet blev planlagt, før dataene blev indsamlet, med en skriftlig analyseplan.
• For den valgte metode: nævn nøgleantagelsen (parallelle tendenser, instrumenteksogenitet, ingen tærskelmanipulation), og kontrollér evidensen for den.
• Kræv falsifikationstestene, ikke kun overskriftsestimatet.
• Spørg, hvor mange data der manglede, om de manglende adskiller sig fra de observerede, og hvordan manglende data blev håndteret.
• Kontrollér, at modellen passer til dataenes form (skæve omkostninger, antal, censureret overlevelse).
• Fastslå, hvis effekt estimatet er (lokal eller generel), før det generaliseres.
• Læs effektstørrelsen og konfidensintervallet op mod dit budget og din population, ikke kun p-værdien.
• Vurdér ekstern validitet – ville dette holde i mit system? – adskilt fra intern validitet.
• Søg en anden evidenslinje til enhver beslutning, der er stor nok til at betyde noget.
• Registrér den kausale påstand, designet, dets nøgleantagelse og hvad der ville ændre din mening.

Centrale kilder

• Andrew Jones, "Health Econometrics" – i Culyer & Newhouse (red.), Handbook of Health Economics – standardoversigten over metoder til sundhedsdata og deres faldgruber.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data – referencetekst for panel- og kvasieeksperimentelle metoder.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics – en tilgængelig behandling af kausal inferens, naturlige eksperimenter og de fire kvasieeksperimentelle designs.
• CONSORT Statement – rapporteringsstandarder for randomiserede kontrollerede forsøg, nyttige som vurderingstjekliste.
• Economics Network, Health Economics for Teachers – økonometrimodulet – https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, og WHO's publikationer om sundhedssystemer – kilder til de rutinemæssige sundhedsdata, som meget sundhedsøkonometri praktiseres på.

Referencer

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics