Warum das in der Gesundheitsökonomie wichtig ist

Fast jede Entscheidung einer Gesundheitsführungskraft ruht auf einer Kausalbehauptung: dieses Medikament senkt die Sterblichkeit, jene Klinik reduzierte Einweisungen, diese Zahlungsreform kürzte Wartezeiten. Die Behauptung ist leicht auszusprechen und schwer zu verdienen. Zwei Patientengruppen unterscheiden sich in einem Ergebnis, aber sie unterschieden sich auch schon, bevor jemand intervenierte — kränkere Menschen suchen mehr Versorgung, reichere Regionen übernehmen neue Programme zuerst, motivierte Kliniken melden sich freiwillig für Pilotprojekte. Das Kernproblem ist, dass wir nie beobachten, was mit der behandelten Gruppe geschehen wäre, wäre sie unbehandelt geblieben. Alles in diesem Thema dreht sich darum, diesen fehlenden Vergleich ehrlich anzunähern.

Der Einsatz ist öffentliches Geld und Leben. Eine selbstsichere, aber falsche Kausalbehauptung lenkt ein Budget zu einer Intervention, die nichts bewirkt, oder zieht eine zurück, die still Leben rettete; beide Fehler werden in Ergebnissen bezahlt, nicht nur in Geld. Wenn ein nationaler Kostenträger entscheidet, ein Programm auf der Grundlage einer regionalen Evaluation landesweit auszurollen, ist die Qualität der Kausallogik dieser Evaluation der Unterschied zwischen dem Skalieren eines Erfolgs und dem Skalieren einer Illusion. Führungskräfte führen die Analyse selten selbst durch, aber sie beauftragen sie, finanzieren sie und handeln nach ihr — was bedeutet, dass die Beurteilungsfähigkeit ihnen gehört.

Dieses Thema ist bewusst kein Statistiklehrbuch (siehe die Abgrenzungen des Buches). Es wird keinen Schätzer herleiten oder Software empfehlen. Seine Aufgabe ist, Ihnen zu sagen, wofür jede Methode da ist, wann eine Kausalbehauptung Ihr Vertrauen verdient, und wie Sie ökonometrische Arbeit beauftragen und beurteilen, sodass Sie weder von einem ausgefeilten Modell getäuscht werden noch gute Evidenz abtun. Wo die Analyse in ein entscheidungsanalytisches Modell einfließt, das über die Daten hinaus extrapoliert, gehört diese Maschinerie zu Thema 2.2 — Modellierung; hier bleiben wir bei der Schätzung selbst und ob sie kausal ist.

Kernkonzepte

Gesundheitsökonometrie ist die Anwendung statistischer Methoden auf Gesundheits- und Gesundheitsversorgungsdaten, um Zusammenhänge zu messen und, vor allem, Kausalinferenz zu stützen — den Versuch zu belegen, dass eine Veränderung in einer Sache eine Veränderung in einer anderen verursacht, statt nur mit ihr einherzugehen. Die Disziplin existiert, weil Korrelation in Gesundheitsdaten reichlich vorhanden und irreführend ist, und weil das saubere Experiment, das die Frage klären würde, oft unmöglich, unethisch oder unbezahlbar ist.

Das zentrale Hindernis ist Confounding: ein dritter Faktor, der sowohl beeinflusst, wer eine Intervention erhält, als auch welches Ergebnis er erlebt, und so eine Assoziation schafft, die nicht kausal ist. Patienten unter einem neuen Antikoagulans mögen weniger bluten als jene unter dem alten, nicht weil das Medikament sicherer ist, sondern weil vorsichtige Verschreibende es Niedrigrisiko-Patienten gaben. Alter, Deprivation, Krankheitsschwere und klinisches Urteil sind unerbittliche Confounder in Gesundheitsdaten, und die messbaren sind selten die, die am meisten zählen.

Eng verwandt ist Selection Bias: Die Menschen in Ihrer behandelten und Vergleichsgruppe wurden durch einen Prozess in sie sortiert — Selbstselektion, klinische Triage, Geografie, administrative Berechtigung —, der selbst mit dem Ergebnis zusammenhängt. Ein von den digital Selbstbewussten genutzter Telemedizindienst wird gute Ergebnisse teilweise zeigen, weil seine Nutzer von Anfang an gesünder und organisierter waren. Selektion ist kein Ärgernis, das aus den Daten abgestaubt werden muss; sie ist häufig die ganze Geschichte, und die Aufgabe der Methode ist, sie zu neutralisieren.

Der Goldstandard dafür ist die randomisierte kontrollierte Studie (RCT), in der Teilnehmende per Zufall Behandlung oder Kontrolle zugewiesen werden. Randomisierung funktioniert, weil sie im Durchschnitt sowohl die Confounder ausbalanciert, an die Sie gedacht haben, als auch jene, an die Sie nicht gedacht haben, sodass jeder Ergebnisunterschied der Intervention zugeschrieben werden kann. Die Disziplinen, die eine Studie schützen — Patienten in der Gruppe zu analysieren, der sie randomisiert wurden, bekannt als Intention-to-Treat-Analyse, und das Ergebnis vorab zu registrieren — existieren, um zu verhindern, dass sich das Selektionsproblem durch die Hintertür wieder einschleicht.

Studien sind nicht immer machbar, sodass viel Gesundheitsökonometrie mit Beobachtungsdaten arbeitet und Glaubwürdigkeit von einem natürlichen Experiment entlehnt — einer Situation, in der etwas außerhalb der Kontrolle der Teilnehmenden (eine Politikeinführung, eine Berechtigungsregel, eine Lotterie, eine plötzliche Preisänderung) zufällige Zuweisung nachahmt. Vier quasi-experimentelle Designs kehren wieder:

  • Differenz-von-Differenzen vergleicht die Veränderung der Ergebnisse einer einer Intervention ausgesetzten Gruppe gegen die Veränderung einer nicht ausgesetzten Vergleichsgruppe über denselben Zeitraum. Seine Glaubwürdigkeit ruht auf der Annahme „paralleler Trends": dass sich die Ergebnisse beider Gruppen ohne die Intervention im Gleichschritt bewegt hätten.
  • Die Instrumentenvariablen-Schätzung nutzt eine Variable, die beeinflusst, wer behandelt wird, aber keine direkte Wirkung auf das Ergebnis hat außer durch die Behandlung — Entfernung zu einer Klinik, eine Lotterienummer, ein zufällig zugewiesener Gutachter —, um Variation in der Behandlung zu isolieren, die frei von Confounding ist. Ein gültiges Instrument ist genuin schwer zu finden und unmöglich vollständig zu testen.
  • Regression Discontinuity nutzt einen scharfen Schwellenwert — einen Risikoscore, ein Alter, eine Einkommensgrenze —, der Berechtigung bestimmt. Menschen knapp über und knapp unter der Linie sind praktisch identisch, außer im Zugang zur Intervention, sodass ihr Vergleich ein lokales Experiment annähert.
  • Paneldaten-Methoden verfolgen dieselben Einheiten (Patienten, Krankenhäuser, Regionen) über Zeit, was es dem Analysten erlaubt, für alles Stabile an einer Einheit zu kontrollieren, das sich nie ändert, und so eine große Klasse von Confoundern zu entfernen, die ein einzelner Querschnitt nicht entfernen kann.

Schließlich sitzt fehlende Daten unter all dem. Patienten scheiden aus, Aufzeichnungen sind unvollständig, und — entscheidend — der Grund, warum Daten fehlen, hängt oft mit dem Ergebnis zusammen, sodass das Verwerfen unvollständiger Datensätze still Selection Bias wieder einführt. Wie mit Fehlwerten umgegangen wurde, ist eine der ersten Fragen, die bei jeder Studie zu stellen sind.

Bewährte Praktiken

  1. Vom Kontrafaktischen ausgehen, nicht von der Methode. Bevor jemand einen Schätzer wählt, erzwingen Sie die Frage: Was ist der Vergleich, und warum sollten wir glauben, dass er zeigt, was ohne die Intervention geschehen wäre? Die Glaubwürdigkeit jedes Ergebnisses fließt aus diesem Vergleich, nicht aus der Ausgefeiltheit der Statistik darüber. Ist die Antwort vage, wird keine Technik sie retten.

  2. Das Design beauftragen, bevor die Daten erhoben werden, nicht danach. Die stärksten Kausalbehauptungen kommen aus vorab geplanten Designs — eine randomisierte Einführung, eine vorregistrierte Analyse, eine vereinbarte Vergleichsgruppe —, weil das nachträgliche Anpassen einer Methode an vorhandene Daten den Analysten einlädt, so lange zu suchen, bis ein schmeichelhaftes Ergebnis erscheint. Wenn Sie eine Evaluation finanzieren, finanzieren Sie die Designphase und bestehen Sie auf einem schriftlichen Analyseplan, bevor Ergebnisse existieren.

  3. Randomisierung bevorzugen, wo sie ethisch und machbar ist, einschließlich gestaffelter Einführung. Kann ein Programm nicht alle auf einmal erreichen, teilen Sie die Zugangsreihenfolge per Los zu oder randomisieren Sie, welche Standorte zuerst dran sind. Dies verwandelt eine operative Einschränkung mit geringem Zusatzaufwand in ein glaubwürdiges Experiment, und ist oft verteidigbarer, als jemandem die Behandlung zu verweigern. Viele der vertrauenswürdigsten Politikevaluationen sind schlicht Einführungen, die randomisiert statt gewählt wurden.

  4. Jedes quasi-experimentelle Design als Bündel von Annahmen behandeln, und es dazu bringen, sie anzugeben. Differenz-von-Differenzen lebt und stirbt mit parallelen Trends; Instrumentenvariablen mit einem Instrument, das sowohl relevant als auch exogen ist; Regression Discontinuity damit, dass Menschen nicht manipulieren, auf welcher Seite der Schwelle sie landen. Ein guter Analyst benennt die Annahme, von der sein Ergebnis abhängt, und zeigt Evidenz dafür; ein schwacher verbirgt sie. Fragen Sie explizit: „Was muss wahr sein, damit das kausal ist, und woher wissen Sie, dass es das ist?"

  5. Die Falsifikationstests verlangen, nicht nur die Schlagzeilenschätzung. Glaubwürdige Kausalarbeit versucht, ihre eigene Behauptung zu widerlegen: Trends vor der Intervention plotten, um zu prüfen, dass sie parallel waren, auf Sprünge an falschen Schwellenwerten testen, wo keine sein sollten, zeigen, dass das Instrument keine Ergebnisse vorhersagt, die es nicht berühren sollte. Das Vorhandensein dieser Prüfungen signalisiert ehrliche Arbeit; ihre Abwesenheit ist eine Warnung, unabhängig davon, wie groß oder willkommen der Effekt ist.

  6. Darauf bestehen zu wissen, wie mit fehlenden Daten und Ausfällen umgegangen wurde. Fragen Sie, welcher Anteil der Probanden verloren ging, ob sich die Fehlenden von den Beobachteten unterscheiden, und welche Annahme die Analyse über sie traf. „Complete-Case-Analyse" — stilles Verwerfen jedes mit einer Lücke — ist der häufigste Weg, wie sich Selection Bias wieder in eine sauber wirkende Studie einschleicht. Die Richtung, in die fehlende Daten das Ergebnis drücken würden, ist oft erkennbar, selbst wenn die Werte selbst nicht wiederherstellbar sind.

  7. Das Modell an die Form der Gesundheitsdaten anpassen. Kosten sind durch wenige sehr teure Patienten schief verteilt, Nutzung ist eine Zähldaten, die nicht negativ werden kann, und Überlebensdaten sind zensiert, wenn die Nachbeobachtung endet. Standardmäßige lineare Methoden passen hier schlecht und können irreführen; für jedes existieren spezialisierte Modelle. Sie müssen die Mathematik nicht kennen, aber genug wissen, um zu fragen „ist diese Methode für Kostendaten geeignet?" und eine echte Antwort zu erwarten.

  8. Den Effekt auf die Behandelten von dem Effekt trennen, den Sie skalieren könnten. Viele quasi-experimentelle Methoden schätzen einen lokalen Effekt — die Wirkung auf Menschen nahe einer Schwelle, oder auf jene, die ein Instrument zufällig bewegt hat — der nicht dem Effekt entsprechen muss, die Intervention für alle auszurollen. Eine Regression Discontinuity um Alter 65 sagt Ihnen etwas über 65-Jährige, nicht über 40-Jährige. Bevor Sie eine Zahl verallgemeinern, fragen Sie, wessen Effekt sie tatsächlich ist.

  9. Statistische Signifikanz von Entscheidungsrelevanz unterscheiden. Ein präzise geschätzter winziger Effekt kann statistisch signifikant und ökonomisch trivial sein; ein großer Effekt kann unsicher und dennoch angesichts des Einsatzes handlungswürdig sein. Fragen Sie nach der Effektgröße, ihrem Konfidenzintervall, und was sie im Maßstab Ihres Budgets und Ihrer Bevölkerung bedeutet — nicht nur, ob ein p-Wert einen Schwellenwert unterschritt. Die Entscheidung hängt von Größe und Unsicherheit zusammen ab.

  10. Externe Validität so sorgfältig beurteilen wie interne Validität. Eine Studie kann in ihrem eigenen Setting makellos in Bezug auf Kausalität sein und dennoch für Ihres irrelevant, wenn sich Bevölkerung, Gesundheitssystem oder Basisrisiko unterscheiden. Ein Instrument, das in einem US-Versicherungsmarkt funktionierte, oder ein in einem skandinavischen Register validiertes Design, mag sich nicht auf ein einkommensschwaches Setting mit anderen Daten und Anreizen übertragen lassen. Fragen Sie „würde dieser Effekt in meinem System bestehen?" als separate Frage von „ist dieser Effekt real?"

  11. Triangulieren, statt einer einzelnen Studie zu vertrauen. Wenn mehrere Methoden mit unterschiedlichen Annahmen — eine Studie, eine Differenz-von-Differenzen, eine Instrumentenvariablen-Schätzung — in dieselbe Richtung zeigen, ist Vertrauen verdient; wenn sie divergieren, ist die Uneinigkeit Information darüber, welche Annahmen versagen. Beauftragen oder suchen Sie mehr als eine Evidenzlinie für jede Entscheidung, die groß genug ist, um zu zählen, und behandeln Sie ein einzelnes auffälliges Ergebnis als Hypothese, nicht als Schlussfolgerung.

  12. Die Beurteilung aufschreiben und bei der Entscheidung aufbewahren. Notieren Sie, auf welche Kausalbehauptung Sie sich stützten, welches Design sie erzeugte, auf welcher Annahme sie ruhte, und was Ihre Meinung ändern würde. Dies schützt die Organisation, wenn Ergebnisse später angefochten werden, und erzwingt die Disziplin, Unsicherheit vor, nicht nach Bekanntwerden des Ergebnisses anzugeben. Eine Evaluation, deren Argumentation undokumentiert ist, ist eine Meinung mit einem Diagramm.

Fragen für die Diskussion mit Ihrem Team

  1. Für die letzte große Entscheidung, die wir mit Evidenz rechtfertigten, was war die Vergleichsgruppe — und hätte sie ohne die Intervention wirklich dasselbe getan? Diese Frage geht direkt zum Kontrafaktischen, wo sich die meiste schwache Evidenz versteckt. Drängen Sie über die Schlagzeilenzahl hinaus zur Struktur: Wer wurde mit wem verglichen, wie wurden sie in diese Gruppen sortiert, und was wäre mit der behandelten Gruppe geschehen, hätte sich nichts geändert? Die ehrlichen Spannungen sind, dass der bequemste Vergleich — Vorher-Nachher in derselben Gruppe, oder Freiwillige gegen Nicht-Freiwillige — meist der am stärksten konfundierte ist, und dass die Menschen, die eine Intervention wählten oder für sie gewählt wurden, sich fast immer von denen unterscheiden, die es nicht taten. Eine gute Diskussion benennt die spezifischen im Spiel befindlichen Confounder (Schwere, Deprivation, Motivation, klinische Selektion) und fragt, ob das Design sie neutralisierte oder nur ignorierte. Die gesuchte Antwort ist nicht „die Studie wurde von Fachkollegen begutachtet", sondern eine klare Darlegung, warum der Vergleich glaubwürdig ist — oder ein Eingeständnis, dass er es nicht ist, und dass die Entscheidung auf Urteilsvermögen ruhte, als Evidenz verkleidet.

  2. Wenn wir eine Evaluation beauftragen, kaufen wir ein Design oder nur einen Bericht? Die meisten Organisationen beschaffen Evaluation als eine Leistung, die eintrifft, nachdem das Programm bereits läuft, was genau der Moment ist, in dem die stärksten Kausaldesigns bereits unmöglich geworden sind. Die Spannung besteht zwischen operativer Dringlichkeit — jetzt starten, später messen — und Evidenzqualität, die von Entscheidungen abhängt, die getroffen werden, bevor der erste Patient eingeschrieben wird: eine randomisierte Einführungsreihenfolge, eine vereinbarte Vergleichsregion, ein vorregistriertes Ergebnis und ein Analyseplan. Diskutieren Sie, ob Ihr Beauftragungsprozess Analysten früh genug einbezieht, um das Design zu formen, oder nur spät genug, um das Ergebnis zu rationalisieren. Eine ehrliche Antwort stellt sich der Tatsache, dass eine billige retrospektive Evaluation schlimmer sein kann als keine, wenn sie falsches Vertrauen verleiht, und prüft, ob Verträge und Zeitpläne gutes Design in Ihrer Organisation strukturell möglich oder strukturell unmöglich machen.

  3. Welche Behauptung würden wir uns weigern, danach zu handeln, und welche Evidenz würde unsere Meinung ändern? Diese Frage testet, ob das Team Evidenz als echten Input behandelt oder als Dekoration für eine bereits getroffene Entscheidung. Im Voraus den Beweisstandard zu benennen, den eine Behauptung erfüllen muss — und den Befund, der Sie zur Umkehr bewegen würde — ist der stärkste Schutz gegen Bestätigungsfehler und gegen die selektive Begeisterung, die Ergebnisse begrüßt, die uns gefallen. Die echte Spannung ist, dass Beteiligte bevorzugte und unbeliebte Programme selten am selben Evidenzmaßstab messen; eine geliebte Initiative bekommt den Vorteil des Zweifels, eine bedrohliche wird auseinandergenommen. Eine ehrliche Diskussion deckt auf, wo solche Doppelstandards in Ihrer Organisation leben, vereinbart, was „gut genug zum Handeln" für Entscheidungen unterschiedlicher Größe bedeutet, und akzeptiert, dass die Vorabverpflichtung darauf, was die eigene Meinung ändern würde, gerade deshalb unangenehm ist, weil sie es könnte.

  4. Wenn wir ein auffälliges Ergebnis aus einem anderen System entleihen, was nehmen wir an, überträgt sich mit? Eine Studie kann in ihrem eigenen Setting makellos in Bezug auf Kausalität sein und Sie dennoch in die Irre führen, weil die Bevölkerung, das Gesundheitssystem, das Basisrisiko und die Anreize, die ihren Effekt erzeugten, Ihren völlig unähnlich sein könnten. Die Spannung ist, dass die beeindruckendste Evidenz meist von woanders kommt — einem US-Versicherungsmarkt, einem skandinavischen Register, einem gut ausgestatteten Studienstandort —, und genau ihre Strenge verleitet dazu, die Zahl zu importieren, statt ihre Passung zu hinterfragen. Diskutieren Sie, was für Ihre Bevölkerung und Ihr System wahr sein müsste, damit sich der Effekt reproduziert: Ist das Basisrisiko vergleichbar, hat Ihre Belegschaft die Kapazität, die die Intervention voraussetzte, stehen Ihre Patienten vor denselben Einschränkungen? Eine ehrliche Antwort behandelt externe Validität als separate Frage von interner Validität, widersteht dem Reflex, eine entfernte Studie allein deshalb zu entwerten, weil sie entfernt ist, und benennt, welche Merkmale des ursprünglichen Settings die Arbeit leisten. Das schlimmste Ergebnis ist, einen Effekt zu skalieren, der dort real war und hier fehlt, und dann die Intervention statt der Übertragung dafür verantwortlich zu machen.

  5. Wie viel unserer Daten fehlt, und sind wir sicher, dass die Lücken harmlos sind? Jeder echte Gesundheitsdatensatz hat Löcher — Patienten scheiden aus, Aufzeichnungen sind unvollständig, die Nachbeobachtung endet — und der gefährliche Fall ist, wenn der Grund, warum Daten fehlen, selbst mit dem Ergebnis zusammenhängt, sodass das Verwerfen unvollständiger Datensätze still Selection Bias in eine sauber wirkende Studie zurückschmuggelt. Die Spannung besteht zwischen der Bequemlichkeit der „Complete-Case"-Analyse, dem Standard in den meisten Werkzeugen und dem schnellsten Weg zu einem Ergebnis, und der Ehrlichkeit zu fragen, ob sich die Verschwundenen systematisch von den Gebliebenen unterscheiden. Diskutieren Sie, welcher Anteil der Probanden verloren ging, ob die Fehlenden kränker, ärmer oder weniger engagiert wirken als die Beobachteten, und was die Analyse über sie annahm. Eine gute Antwort kann oft sagen, in welche Richtung fehlende Daten die Schätzung drücken würden, selbst wenn die Werte selbst nicht wiederherstellbar sind, und behandelt eine hohe oder unerklärte Ausfallrate als Bedrohung für die ganze Behauptung, nicht als Fußnote. Das Versäumnis, dies zu benennen, ist ein Team, das die Überlebenden berichtet, als seien sie die ganze Bevölkerung.

  6. Handeln wir jemals nach einer einzelnen Studie, und was würde uns dazu bringen, auf eine zweite Evidenzlinie zu warten? Vertrauen in eine Kausalbehauptung sollte aus Übereinstimmung über Methoden kommen, die auf unterschiedliche Weise versagen — eine Studie, eine Differenz-von-Differenzen, eine Instrumentenvariablen-Schätzung, die in dieselbe Richtung zeigen —, nicht aus einem einzelnen auffälligen Ergebnis, so gut es auch ausgeführt wurde. Die Spannung ist, dass Triangulation Zeit und Geld kostet, die die Organisation selten ausgeben will, und ein einsamer beeindruckender Befund Druck erzeugt, zu handeln, bevor eine zweite Linie beauftragt werden kann. Diskutieren Sie, welche Entscheidungen groß genug sind, um mehr als eine Evidenzlinie zu verlangen, und was Sie tun, wenn Methoden nicht übereinstimmen — denn Divergenz ist kein wegzumittelndes Rauschen, sondern Information darüber, welche Annahmen versagen. Eine ehrliche Antwort unterscheidet eine testwürdige Hypothese von einer handlungswürdigen Schlussfolgerung, und widersteht der Dynamik, die eine einzelne Evaluation zur feststehenden Tatsache macht, nur weil sie zuerst ankam und sagte, was Menschen hofften.

In der Praxis: ein Beispiel aus der Gesundheitsökonomie

Das Gesundheitsministerium von Solvenia, einem fiktiven Land mit oberem mittlerem Einkommen in Mitteleuropa mit Sozialversicherungssystem, will wissen, ob ein neues gemeindebasiertes Herzinsuffizienzprogramm — von Pflegekräften geleitete Kliniken, die Patienten nach der Entlassung überwachen — kostspielige Notfall-Wiedereinweisungen senkt. Zwölf Regionen haben es bereits eingeführt; acht nicht. Ein früher interner Bericht verglich Wiedereinweisungsraten in einführenden gegenüber nicht einführenden Regionen, fand sie 18 % niedriger bei den Einführenden, und empfahl landesweite Einführung. Der Gesundheitsökonom des Ministeriums wird gebeten, die Behauptung zu prüfen, bevor Hunderte Millionen Kronen gebunden werden.

Seine erste Frage ist das Kontrafaktische. Die einführenden Regionen wurden nicht zufällig gewählt: Sie waren wohlhabender, hatten besser organisierte Primärversorgung, und hatten niedrigere Wiedereinweisungsraten bevor das Programm begann. Der naive Vergleich konfundiert daher die Wirkung des Programms mit dem vorbestehenden Vorteil der Regionen, die es einführen konnten — ein Lehrbuch-Selektionsproblem. Eine einfache Differenz zwischen Einführenden und Nicht-Einführenden kann die beiden nicht trennen, und die 18-%-Zahl ist als Kausaleffekt nicht interpretierbar.

Er schlägt stattdessen ein Differenz-von-Differenzen-Design vor, unter Nutzung mehrerer Jahre regionaler Wiedereinweisungsdaten vor und nach dem Einführungsdatum jeder Region. Dies vergleicht die Veränderung der Wiedereinweisungen in einführenden Regionen gegen die Veränderung in nicht einführenden Regionen und differenziert jeden festen regionalen Vorteil heraus. Entscheidend plottet er zuerst die Trends vor der Einführung: Wenn Einführende sich vor dem Programm bereits schneller verbesserten als Nicht-Einführende, versagt die Annahme paralleler Trends und das Design ist ungültig. Die Trends sind nah, aber nicht identisch, also berichtet er die Schätzung mit diesem sichtbaren, nicht vergrabenen Vorbehalt.

Weil die Einführungsdaten über Regionen gestaffelt waren, nutzt er auch die Panelstruktur, kontrolliert für alles Stabile an jeder Region und für landesweite Schocks wie einen schlechten Grippewinter, der jede Region gleichzeitig traf. Die Differenz-von-Differenzen-Schätzung kommt bei einer 7-%-Reduktion der Wiedereinweisungen an — real und lohnend, aber deutlich unter der Hälfte der Schlagzeilenzahl, weil der Großteil der ursprünglichen 18 % der vorbestehende Vorteil der Regionen war, nicht das Programm. Er prüft dann fehlende Daten: Zwei Regionen hatten unvollständige Kodierung im Übergangsjahr, und er zeigt, dass das Ergebnis standhält, ob diese Region-Jahre ein- oder ausgeschlossen werden.

Er ist offen darüber, was die Schätzung ist und nicht ist. Es ist der durchschnittliche Effekt in Regionen mit der primärärztlichen Kapazität, von Pflegekräften geleitete Kliniken zu betreiben; die acht nicht einführenden Regionen sind ärmer und dünner besetzt, sodass der Effekt dort kleiner sein könnte oder Investitionen erfordern könnte, die das Modell nicht bepreist. Das ist eine Frage externer Validität, und er markiert sie explizit, statt anzunehmen, die 7 % würden sich übertragen. Seine Empfehlung an das Ministerium ist weder „landesweit ausrollen" noch „aufgeben", sondern „dort finanzieren, wo die primärärztliche Kapazität existiert, und die Einführungsreihenfolge in den verbleibenden Regionen randomisieren, sodass die nächste Evaluation die Übertragungsfrage klären kann, die diese nicht kann." Die Kosteneffektivität der 7-%-Reduktion wird dann an ein Entscheidungsmodell (Thema 2.2 — Modellierung) übergeben, das die Kausalschätzung in Kosten pro Ergebnis verwandelt, nach denen der Kostenträger handeln kann.

Vier Perspektiven aus unterschiedlichen Sektoren

Startup

Ein digitales Gesundheits-Startup begegnet Gesundheitsökonometrie meist als Evidenzforderung eines Käufers oder Regulierers: Beweisen Sie, dass Ihre App tatsächlich Ergebnisse verändert, nicht nur, dass engagierte Nutzer gut abschneiden. Die Versuchung ist ein Vorher-Nachher-Diagramm begeisterter Früh-Anwender, was nahezu reiner Selection Bias ist — diese Nutzer hätten sich ohnehin verbessert. Der glaubwürdige, erschwingliche Schritt ist ein kleiner randomisierter Pilot oder eine gestaffelte Einführung über Standorte hinweg, vor dem Start gestaltet, die die Wirkung des Produkts von der Motivation der Menschen isoliert, die es wählten. Gründer, die einen sauberen Vergleich in die erste Bereitstellung einbauen, tragen weit mehr Gewicht bei Kostenträgern als jene, die später eine schmeichelhafte Analyse nachrüsten.

Kleinunternehmen

Ein etablierter kleiner Anbieter — eine Gemeinschaftspraxis, eine einzelne Klinik, eine Gemeindeapotheke, ein kleiner Geräteanbieter — hat echte Betriebsdaten, aber weder das Volumen noch ein Analyseteam, um eigene quasi-experimentelle Studien durchzuführen, und keinen Startmoment, um herum zu randomisieren. Seine ökonometrische Aufgabe ist meist Beurteilung: die Evidenz zu lesen, die ein Hersteller, Auftraggeber oder Berufsverband ihm vorlegt, und zu beurteilen, ob ein behaupteter Effekt in einer Fallzahl wie der eigenen standhalten würde. Der beständigste Schritt ist, die Frage externer Validität hart zu stellen — wurde dies in einer Bevölkerung, einem Personalniveau und einem System gezeigt, das meinem ähnelt? — statt eine Kausalanalyse zu versuchen, die er nicht ausstatten kann. Wo er tatsächlich Evidenz erzeugt, ist eine gestaffelte Änderung über seine eigenen Standorte oder Kliniker, oder ein einfaches Vorher-Nachher, ehrlich gegen eine vergleichbare benachbarte Praxis gelesen, glaubwürdiger als ein schmeichelhaftes internes Diagramm. Anders als ein Startup, das einer Kostenträger-Evidenzlatte hinterherjagt, ist sein Anreiz, zu vermeiden, etwas zu übernehmen, das still knappe Zeit und Geld für eine Fallzahl verschwendet, die nie zur Studie passte.

Großunternehmen

Ein großer Anbieter oder Versicherer sitzt auf reichen Längsschnittdaten — Ansprüche, Aufzeichnungen, Register — und sein Vorteil ist die Fähigkeit, Panel- und quasi-experimentelle Analysen im großen Maßstab durchzuführen. Das Risiko ist, Datenvolumen mit Kausalklarheit zu verwechseln: Eine Million konfundierter Datensätze kann Ihnen immer noch nicht sagen, ob ein Versorgungsmanagement-Programm funktionierte, und ein gut ausgestattetes Analyseteam kann ausgefeilte Modelle erzeugen, die Selection Bias in scheinbaren Effekt waschen. Das reife Großunternehmen trennt interne Leistungsberichterstattung von Kausalevaluation, hält beide an unterschiedlichen Standards, und baut randomisierte oder gestaffelte Designs in seine eigenen operativen Einführungen ein, sodass Routineänderung vertrauenswürdige Evidenz erzeugt, nicht nur Dashboards.

Regierung

Ein Ministerium oder nationaler Kostenträger trifft die folgenreichsten Kausalentscheidungen — ein Programm landesweit skalieren, eine Leistung finanzieren oder zurückziehen — und hat oft politische Hebel, die natürliche Experimente schaffen: Berechtigungsschwellen, gestaffelte Einführungen, regionale Piloten. Seine Disziplin sollte sein, diese Einführungen von Anfang an als Evaluationen zu gestalten, sodass die unvermeidliche Staffelung eine Differenz-von-Differenzen oder eine Regression Discontinuity ergibt statt eines uninterpretierbaren Vergleichs. Die Regierung trägt auch eine Pflicht, die andere Sektoren nicht tragen: sich gegen die politische Asymmetrie zu schützen, in der bevorzugte Programme der Prüfung entgehen und bedrohliche Befunde angefochten werden, indem sie sich vorab auf Evaluationsstandards verpflichtet und Ergebnisse veröffentlicht, egal ob sie der Politik schmeicheln oder nicht.

Typische Fehlermuster

  • Korrelation mit Kausalität verwechseln. Berichten, dass behandelte Patienten besser abschnitten, ohne anzugehen, warum sie behandelt wurden. Abhilfe: Vom Kontrafaktischen ausgehen und die Confounder benennen, bevor irgendein Unterschied interpretiert wird.

  • Auf das Ergebnis selektieren. Freiwillige mit Nicht-Freiwilligen, Beender mit Abbrechern, oder Einführende mit Nicht-Einführenden vergleichen, als seien die Gruppen austauschbar. Abhilfe: Ein Design nutzen (Randomisierung, Differenz-von-Differenzen, Instrumentenvariablen, Regression Discontinuity), das angeht, wie Menschen in Gruppen sortiert wurden.

  • Stille Complete-Case-Analyse. Jeden mit fehlenden Daten verwerfen und den Rest berichten, als sei er das Ganze. Abhilfe: Ausmaß und Muster fehlender Daten berichten und testen, ob Schlussfolgerungen unter verschiedenen Annahmen darüber standhalten.

  • Annehmen ohne zu testen. Eine Differenz-von-Differenzen präsentieren, ohne parallele Trends zu prüfen, oder ein Instrument, ohne seine Exogenität zu begründen. Abhilfe: Die Falsifikationstests verlangen und ihre Abwesenheit als Mangel behandeln.

  • Einen lokalen Effekt verallgemeinern. Eine schwellenwert- oder instrumentbasierte Schätzung auf eine Bevölkerung anwenden, die sie nie beschrieb. Abhilfe: Angeben, wessen Effekt die Zahl ist, und externe Validität getrennt von interner Validität beurteilen.

  • Theater statistischer Signifikanz. Einen p-Wert als die Entscheidung behandeln und Effektgröße und Unsicherheit ignorieren. Abhilfe: Größenordnungen und Konfidenzintervalle verlangen, gerahmt gegen das tatsächliche Budget und die Bevölkerung.

  • Die Analyse nachrüsten. Einen bestehenden Datensatz durchsuchen, bis ein gefälliges Ergebnis erscheint, und es dann präsentieren, als sei es vorab geplant gewesen. Abhilfe: Design und Analyseplan vorregistrieren, bevor die Daten gesehen werden.

Reifegradmodell

Dimension Initiate Develop Standardize Manage Orchestrate
Kausale Argumentation Korrelationen als Effekte berichtet; „die Zahlen stiegen" als Beweis behandelt Confounding anerkannt; manche fallweise Anpassung versucht Kontrafaktisches explizit angegeben und ein anerkanntes Design für jede Behauptung gewählt Annahmen benannt und falsifikationsgetestet; Effekte als lokal oder allgemein verstanden Mehrere Designs organisationsweit trianguliert; Uneinigkeit ausgewertet, um zu erkennen, welche Annahmen versagen
Studiendesign & Beauftragung Evaluation als retrospektiver Bericht nach der Einführung gekauft Vergleichsgruppen gewählt, aber nicht vorab geplant Designs vor Datenerhebung geplant mit vorregistrierten Analyseplänen Randomisierte oder gestaffelte Einführungen standardmäßig für materielle Änderungen beauftragt Jede operative Einführung als Evaluation gestaltet; der Bestand ist eine stehende Evidenzmaschine
Daten & Fehlwerte Unvollständige Datensätze still verworfen; Datenform ignoriert Fehlwerte vermerkt; manche geeignete Modelle für Kosten und Zählungen Umgang mit Fehlwerten angegeben und getestet, Modelle an Datenform angepasst Sensitivität gegenüber Fehlwerten und Spezifikation standardmäßig berichtet Datenqualität und Fehlwerte vorgelagert gemanagt, sodass Evaluationen von vertrauenswürdigen Inputs ausgehen
Beurteilungsfähigkeit Ergebnisse aufgrund von Autorität oder Fachgutachten-Label akzeptiert Manches Personal kann eine Schlagzeilenschätzung hinterfragen Team fragt routinemäßig, was wahr sein muss, damit eine Behauptung kausal ist Unabhängige Beurteilung eingebettet und Beweisstandards vor Entscheidungen vereinbart Beurteilungsfähigkeit mit Partnern und Zulieferern geteilt; das gesamte System argumentiert kausal
Nutzung in Entscheidungen Evidenz selektiv genutzt, um den gewählten Kurs zu stützen Evidenz abgewogen, aber Doppelstandards unkontrolliert Beweisstandard und externe Validität vor dem Handeln berücksichtigt Vorab verpflichtete Evidenzstandards angewandt; Ergebnisse unabhängig von der Richtung veröffentlicht Evidenzstandards steuern das Portfolio; Entscheidungen und ihre kausale Grundlage werden dokumentiert und überprüft

Checkliste

  • Das Kontrafaktische angeben: Was ist die Vergleichsgruppe, und warum würde sie zeigen, was die behandelte Gruppe ohne die Intervention getan hätte?
  • Die wahrscheinlichen Confounder und Selektionsmechanismen identifizieren, und das Design benennen, das sie angeht.
  • Bestätigen, dass das Design vor der Datenerhebung geplant wurde, mit schriftlichem Analyseplan.
  • Für die gewählte Methode die Schlüsselannahme benennen (parallele Trends, Instrumentexogenität, keine Schwellenwertmanipulation) und die Evidenz dafür prüfen.
  • Die Falsifikationstests verlangen, nicht nur die Schlagzeilenschätzung.
  • Fragen, wie viele Daten fehlten, ob sich die Fehlenden von den Beobachteten unterscheiden, und wie mit Fehlwerten umgegangen wurde.
  • Prüfen, ob das Modell zur Form der Daten passt (schiefe Kosten, Zählungen, zensiertes Überleben).
  • Feststellen, wessen Effekt die Schätzung ist (lokal oder allgemein), bevor sie verallgemeinert wird.
  • Effektgröße und Konfidenzintervall gegen Ihr Budget und Ihre Bevölkerung lesen, nicht nur den p-Wert.
  • Externe Validität — würde das in meinem System standhalten? — getrennt von interner Validität beurteilen.
  • Eine zweite Evidenzlinie für jede Entscheidung suchen, die groß genug ist, um zu zählen.
  • Die Kausalbehauptung, das Design, seine Schlüsselannahme, und was die eigene Meinung ändern würde, dokumentieren.

Key sources

  • Andrew Jones, "Health Econometrics" — in Culyer & Newhouse (eds.), Handbook of Health Economics — the standard survey of methods for health data and their pitfalls.
  • Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — the reference text for panel and quasi-experimental methods.
  • Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — an accessible treatment of causal inference, natural experiments, and the four quasi-experimental designs.
  • CONSORT Statement — reporting standards for randomised controlled trials, useful as an appraisal checklist.
  • Economics Network, Health Economics for Teachers — econometrics module — https://economicsnetwork.ac.uk/health/teachers
  • OECD, Health at a Glance, and WHO health-systems publications — sources of the routine health data on which much health econometrics is practised.

References

  1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
  2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
  3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
  4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
  5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
  6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
  7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
  8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
  9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
  10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
  11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
  12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
  13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
  14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics