Économétrie de la santé

Pourquoi cela compte en économie de la santé

Presque chaque décision qu'un dirigeant de santé prend repose sur une affirmation causale : ce médicament abaisse la mortalité, cette clinique a réduit les admissions, cette réforme de paiement a raccourci les temps d'attente. L'affirmation est facile à énoncer et difficile à mériter. Deux groupes de patients diffèrent sur un résultat, mais ils différaient aussi avant que quiconque n'intervienne — les personnes plus malades cherchent davantage de soins, les régions plus riches adoptent en premier les nouveaux programmes, les cliniques motivées se portent volontaires pour les projets pilotes. Le problème central est que nous n'observons jamais ce qui serait arrivé au groupe traité s'il n'avait pas été traité. Tout ce sujet porte sur l'approximation honnête de cette comparaison manquante.

Les enjeux sont l'argent public et les vies. Une affirmation causale confiante mais fausse envoie un budget vers une intervention qui ne fait rien, ou en retire une qui sauvait discrètement des vies ; les deux erreurs se paient en résultats, pas seulement en monnaie. Lorsqu'un payeur national décide de déployer un programme à l'échelle nationale sur la foi d'une évaluation régionale, la qualité du raisonnement causal de cette évaluation fait la différence entre mettre à l'échelle un succès et mettre à l'échelle une illusion. Les dirigeants mènent rarement l'analyse eux-mêmes, mais ils la commanditent, la financent, et agissent sur elle — ce qui signifie que la compétence d'appréciation leur appartient.

Ce sujet n'est délibérément pas un manuel de statistiques (voir les limites de portée du livre). Il ne dérivera pas un estimateur ni ne recommandera de logiciel. Son travail est de vous dire à quoi sert chaque méthode, quand une affirmation causale mérite votre confiance, et comment commanditer et apprécier le travail économétrique afin de n'être ni dupé par un modèle sophistiqué ni méprisant envers une bonne preuve. Là où l'analyse alimente un modèle d'analyse de décision qui extrapole au-delà des données, cette machinerie relève du Sujet 2.2 — Modélisation ; ici, nous restons avec l'estimation elle-même et la question de savoir si elle est causale.

Concepts fondamentaux

L'économétrie de la santé est l'application de méthodes statistiques aux données de santé et de soins de santé afin de mesurer des relations et, surtout, de soutenir l'inférence causale — la tentative d'établir qu'un changement dans une chose cause un changement dans une autre, plutôt que de simplement l'accompagner. La discipline existe parce que la corrélation dans les données de santé est abondante et trompeuse, et parce que l'expérience propre qui trancherait la question est souvent impossible, contraire à l'éthique, ou inabordable.

L'obstacle central est la confusion : un troisième facteur qui influence à la fois qui reçoit une intervention et quel résultat il connaît, créant une association qui n'est pas causale. Les patients sous un nouvel anticoagulant peuvent saigner moins que ceux sous l'ancien, non parce que le médicament est plus sûr mais parce que des prescripteurs prudents l'ont donné à des patients à risque plus faible. L'âge, la précarité, la sévérité de la maladie, et le jugement clinique sont des facteurs de confusion incessants dans les données de santé, et ceux que vous pouvez mesurer sont rarement ceux qui comptent le plus.

Étroitement lié est le biais de sélection : les personnes de vos groupes traité et de comparaison y ont été triées par un processus — auto-sélection, triage clinique, géographie, éligibilité administrative — qui est lui-même lié au résultat. Un service de télésanté utilisé par les personnes à l'aise avec le numérique montrera de bons résultats en partie parce que ses usagers étaient plus sains et plus organisés au départ. La sélection n'est pas une nuisance à épousseter des données ; c'est fréquemment toute l'histoire, et le travail de la méthode est de la neutraliser.

La référence pour y parvenir est l'essai contrôlé randomisé (ECR), dans lequel les participants sont assignés au traitement ou au contrôle par le hasard. La randomisation fonctionne car, en moyenne, elle équilibre à la fois les facteurs de confusion auxquels on a pensé et ceux auxquels on n'a pas pensé, de sorte que toute différence de résultat peut être attribuée à l'intervention. Les disciplines qui protègent un essai — analyser les patients dans le groupe où ils ont été randomisés, connue sous le nom d'analyse en intention de traiter, et préenregistrer le résultat — existent pour empêcher le problème de sélection de se réintroduire par la porte de derrière.

Les essais ne sont pas toujours faisables, aussi une grande partie de l'économétrie de la santé travaille-t-elle avec des données observationnelles et emprunte-t-elle sa crédibilité à une expérience naturelle — une situation où quelque chose en dehors du contrôle des participants (un déploiement de politique, une règle d'éligibilité, une loterie, un changement de prix soudain) imite une assignation aléatoire. Quatre plans quasi expérimentaux reviennent :

• La différence de différences compare le changement des résultats pour un groupe exposé à une intervention par rapport au changement pour un groupe de comparaison non exposé sur la même période. Sa crédibilité repose sur l'hypothèse des « tendances parallèles » : qu'en l'absence de l'intervention, les résultats des deux groupes auraient évolué au même rythme.
• L'estimation par variables instrumentales utilise une variable qui affecte qui est traité mais n'a aucun effet direct sur le résultat sauf par le traitement — distance à une clinique, numéro de loterie, relecteur assigné aléatoirement — pour isoler la variation du traitement qui est libre de confusion. Un instrument valide est véritablement difficile à trouver et impossible à tester complètement.
• La régression sur discontinuité exploite un seuil net — un score de risque, un âge, une limite de revenu — qui détermine l'éligibilité. Les personnes juste au-dessus et juste en dessous de la ligne sont pratiquement identiques sauf pour l'accès à l'intervention, de sorte que les comparer approxime une expérience locale.
• Les méthodes de données de panel suivent les mêmes unités (patients, hôpitaux, régions) dans le temps, permettant à l'analyste de contrôler tout ce qui est stable dans une unité et qui ne change jamais, retirant ainsi une large classe de facteurs de confusion qu'une simple coupe transversale ne peut retirer.

Enfin, les données manquantes se situent sous tout cela. Les patients abandonnent, les dossiers sont incomplets, et — de façon cruciale — la raison pour laquelle les données manquent est souvent liée au résultat, de sorte qu'écarter les dossiers incomplets réintroduit discrètement le biais de sélection. La façon dont l'absence de données a été traitée est l'une des premières questions à poser de toute étude.

Bonnes pratiques

1. Partir du contrefactuel, non de la méthode. Avant que quiconque ne choisisse un estimateur, forcez la question : quelle est la comparaison, et pourquoi devrions-nous croire qu'elle nous dit ce qui serait arrivé sans l'intervention ? La crédibilité de chaque résultat découle de cette comparaison, non de la sophistication des statistiques par-dessus. Si la réponse est vague, aucune technique ne la sauvera.

2. Commanditer le plan avant que les données ne soient recueillies, non après. Les affirmations causales les plus solides viennent de plans planifiés à l'avance — un déploiement randomisé, une analyse préenregistrée, un groupe de comparaison convenu — car adapter une méthode à des données existantes invite l'analyste à continuer de chercher jusqu'à ce qu'un résultat flatteur apparaisse. Lorsque vous financez une évaluation, financez la phase de conception et exigez un plan d'analyse écrit avant que les résultats n'existent.

3. Préférer la randomisation là où elle est éthique et faisable, y compris le déploiement échelonné. Si un programme ne peut atteindre tout le monde à la fois, allouez l'ordre d'accès par loterie ou randomisez quels sites passent en premier. Cela transforme une contrainte opérationnelle en une expérience crédible à peu de coût supplémentaire, et c'est souvent plus défendable que de refuser un traitement à quiconque. Beaucoup des évaluations de politique les plus dignes de confiance sont simplement des déploiements qui ont été randomisés plutôt que choisis.

4. Traiter chaque plan quasi expérimental comme un ensemble d'hypothèses, et les faire énoncer les leurs. La différence de différences vit ou meurt sur les tendances parallèles ; les variables instrumentales sur un instrument à la fois pertinent et exogène ; la régression sur discontinuité sur le fait que les gens ne manipulent pas de quel côté du seuil ils atterrissent. Un bon analyste nomme l'hypothèse dont dépend son résultat et en montre la preuve ; un analyste faible la cache. Demandez, explicitement, « qu'est-ce qui doit être vrai pour que cela soit causal, et comment le savez-vous ? »

5. Exiger les tests de falsification, pas seulement l'estimation phare. Le travail causal crédible essaie de briser sa propre affirmation : tracer les tendances pré-intervention pour vérifier qu'elles étaient parallèles, tester les sauts à de faux seuils où aucun ne devrait exister, montrer que l'instrument ne prédit pas des résultats qu'il ne devrait pas toucher. La présence de ces contrôles signale un travail honnête ; leur absence est un avertissement, quelle que soit l'ampleur ou la bienvenue de l'effet.

6. Insister pour savoir comment les données manquantes et les abandons ont été traités. Demandez quelle fraction des sujets a été perdue, si les manquants diffèrent des observés, et quelle hypothèse l'analyse a faite à leur sujet. « L'analyse en cas complets » — écarter silencieusement quiconque a une lacune — est la façon la plus courante dont le biais de sélection se réintroduit dans une étude qui paraissait propre. La direction dans laquelle les données manquantes pousseraient le résultat est souvent connaissable même quand les valeurs elles-mêmes ne le sont pas.

7. Adapter le modèle à la forme des données de santé. Les coûts sont asymétriques du fait de quelques patients très coûteux, l'utilisation est un décompte qui ne peut être négatif, et les données de survie sont censurées quand le suivi se termine. Les méthodes linéaires standard s'ajustent mal à cela et peuvent induire en erreur ; des modèles spécialisés existent pour chacun. Vous n'avez pas besoin de connaître les mathématiques, mais vous devriez en savoir assez pour demander « cette méthode est-elle appropriée pour des données de coût ? » et attendre une vraie réponse.

8. Séparer l'effet sur les personnes traitées de l'effet que vous pourriez mettre à l'échelle. De nombreuses méthodes quasi expérimentales estiment un effet local — l'impact sur les personnes proches d'un seuil, ou sur celles qu'un instrument a fait bouger — qui peut ne pas égaler l'effet du déploiement de l'intervention à tous. Une régression sur discontinuité autour de l'âge de 65 ans vous renseigne sur les personnes de 65 ans, pas sur celles de 40 ans. Avant de généraliser un chiffre, demandez de qui est réellement l'effet.

9. Distinguer la significativité statistique de la pertinence pour la décision. Un effet minuscule estimé précisément peut être statistiquement significatif et économiquement insignifiant ; un effet important peut être incertain tout en méritant qu'on agisse compte tenu des enjeux. Demandez la taille de l'effet, son intervalle de confiance, et ce qu'il signifie à l'échelle de votre budget et de votre population — pas seulement si une valeur p a franchi un seuil. La décision repose sur l'ampleur et l'incertitude ensemble.

10. Juger la validité externe aussi soigneusement que la validité interne. Une étude peut être impeccable sur la causalité dans son propre contexte et pourtant hors de propos pour le vôtre si la population, le système de santé, ou le risque de référence diffèrent. Un instrument qui a fonctionné sur un marché d'assurance américain ou un plan validé dans un registre scandinave peut ne pas se transposer à un contexte à faible revenu avec des données et des incitations différentes. Demandez « cet effet tiendrait-il dans mon système ? » comme une question distincte de « cet effet est-il réel ? »

11. Trianguler plutôt que faire confiance à une étude unique. Lorsque plusieurs méthodes aux hypothèses différentes — un essai, une différence de différences, une estimation par variables instrumentales — pointent dans la même direction, la confiance est méritée ; lorsqu'elles divergent, le désaccord est une information sur les hypothèses qui échouent. Commanditez ou recherchez plus d'une ligne de preuve pour toute décision assez importante pour compter, et traitez un résultat isolé frappant comme une hypothèse, non une conclusion.

12. Écrire l'appréciation et la garder avec la décision. Consignez l'affirmation causale sur laquelle vous vous êtes appuyé, quel plan l'a produite, sur quelle hypothèse elle reposait, et ce qui vous ferait changer d'avis. Cela protège l'organisation lorsque les résultats sont ultérieurement contestés, et cela impose la discipline d'énoncer l'incertitude avant, non après, que le résultat ne soit connu. Une évaluation dont le raisonnement n'est pas documenté est une opinion avec un graphique.

Questions à discuter avec votre équipe

1. Pour la dernière grande décision que nous avons justifiée par la preuve, quel était le groupe de comparaison — et aurait-il vraiment fait la même chose sans l'intervention ? Cette question va droit au contrefactuel, là où se cache la plupart des preuves faibles. Allez au-delà du chiffre phare vers la structure : qui a été comparé à qui, comment ont-ils été triés dans ces groupes, et qu'serait-il arrivé au groupe traité si rien n'avait changé. Les tensions honnêtes sont que la comparaison la plus commode — avant-après dans le même groupe, ou volontaires contre non-volontaires — est habituellement la plus confondue, et que les personnes qui ont choisi ou ont été choisies pour une intervention diffèrent presque toujours de celles qui ne l'ont pas été. Une bonne discussion nomme les facteurs de confusion précis en jeu (sévérité, précarité, motivation, sélection par le clinicien) et demande si le plan les a neutralisés ou simplement ignorés. La réponse que vous cherchez n'est pas « l'étude a été relue par des pairs » mais un compte-rendu clair de pourquoi la comparaison est crédible — ou un aveu qu'elle ne l'est pas, et que la décision reposait sur un jugement déguisé en preuve.

2. Lorsque nous commanditons une évaluation, achetons-nous un plan ou juste un rapport ? La plupart des organisations achètent l'évaluation comme un livrable qui arrive après que le programme fonctionne déjà, précisément le moment où les plans causaux les plus solides sont déjà devenus impossibles. La tension est entre l'urgence opérationnelle — lancer maintenant, mesurer plus tard — et la qualité de la preuve, qui dépend de décisions prises avant que le premier patient ne soit enrôlé : un ordre de déploiement randomisé, une région de comparaison convenue, un résultat et un plan d'analyse préenregistrés. Discutez si votre processus de commande invite les analystes assez tôt pour façonner le plan, ou seulement assez tard pour rationaliser le résultat. Une réponse honnête confronte le fait qu'une évaluation rétrospective bon marché peut être pire que rien si elle donne une fausse confiance, et elle examine si les contrats et les calendriers rendent la bonne conception structurellement possible ou structurellement impossible dans votre organisation.

3. Quelle affirmation refuserions-nous d'appliquer, et quelle preuve nous ferait changer d'avis ? Cette question teste si l'équipe traite la preuve comme un véritable intrant ou comme une décoration pour une décision déjà prise. Nommer, à l'avance, le niveau de preuve qu'une affirmation doit atteindre — et la découverte qui vous ferait rebrousser chemin — est la garde la plus solide contre le biais de confirmation et contre l'enthousiasme sélectif qui accueille les résultats que nous apprécions. La véritable tension est que les parties prenantes tiennent rarement les programmes favoris et défavorisés au même niveau de preuve ; une initiative aimée bénéficie du doute, une initiative menaçante est disséquée. Une discussion honnête fait apparaître où vivent ces doubles standards dans votre organisation, convient de ce que signifie « assez bon pour agir » pour des décisions de tailles différentes, et accepte que s'engager à l'avance sur ce qui changerait votre avis est inconfortable précisément parce que cela pourrait le faire.

4. Lorsque nous empruntons un résultat frappant à un autre système, que supposons-nous qui se transpose avec lui ? Une étude peut être irréprochable sur la causalité dans son propre contexte et pourtant vous induire en erreur, car la population, le système de santé, le risque de référence, et les incitations qui ont produit son effet peuvent n'avoir rien à voir avec les vôtres. La tension est que la preuve la plus impressionnante vient habituellement d'ailleurs — un marché d'assurance américain, un registre scandinave, un site d'essai bien doté — et sa rigueur même vous tente d'importer le chiffre plutôt que d'en interroger l'adéquation. Discutez de ce qui devrait être vrai de votre population et de votre système pour que l'effet se reproduise : le risque de référence est-il comparable, votre main-d'œuvre a-t-elle la capacité que l'intervention supposait, vos patients font-ils face aux mêmes contraintes ? Une réponse honnête traite la validité externe comme une question distincte de la validité interne, résiste au réflexe d'écarter une étude lointaine simplement parce qu'elle est lointaine, et nomme quelles caractéristiques du contexte d'origine font le travail. Le pire résultat est de mettre à l'échelle un effet qui était réel là-bas et absent ici, puis de blâmer l'intervention plutôt que le transfert.

5. Quelle part de nos données manque, et sommes-nous sûrs que les lacunes sont innocentes ? Chaque véritable ensemble de données de santé a des trous — les patients abandonnent, les dossiers sont incomplets, le suivi se termine — et le cas dangereux est quand la raison pour laquelle les données manquent est elle-même liée au résultat, de sorte qu'écarter les dossiers incomplets réintroduit discrètement le biais de sélection dans une étude qui paraissait propre. La tension est entre la commodité de l'analyse « en cas complets », qui est le défaut dans la plupart des outils et la voie la plus rapide vers un résultat, et l'honnêteté de demander si les personnes qui ont disparu diffèrent systématiquement de celles qui sont restées. Discutez de quelle fraction des sujets a été perdue, si les manquants paraissent plus malades, plus pauvres, ou moins engagés que les observés, et de ce que l'analyse a supposé à leur sujet. Une bonne réponse peut souvent dire dans quelle direction les données manquantes pousseraient l'estimation même quand les valeurs elles-mêmes sont irrécupérables, et elle traite un taux d'abandon élevé ou inexpliqué comme une menace pour toute l'affirmation plutôt qu'une note de bas de page. L'échec à nommer est une équipe qui rapporte les survivants comme s'ils étaient toute la population.

6. Agissons-nous jamais sur une étude unique, et qu'est-ce qui nous ferait attendre une seconde ligne de preuve ? La confiance dans une affirmation causale devrait venir de l'accord entre méthodes qui échouent différemment — un essai, une différence de différences, une estimation par variables instrumentales pointant dans la même direction — non d'un résultat frappant unique, aussi bien exécuté soit-il. La tension est que la triangulation coûte du temps et de l'argent que l'organisation veut rarement dépenser, et qu'une découverte impressionnante isolée crée une pression pour agir avant qu'une seconde ligne ne puisse être commanditée. Discutez quelles décisions sont assez importantes pour exiger plus d'une ligne de preuve, et ce que vous faites quand les méthodes sont en désaccord — car la divergence n'est pas du bruit à moyenner mais une information sur les hypothèses qui échouent. Une réponse honnête distingue une hypothèse qui mérite d'être testée d'une conclusion qui mérite qu'on agisse, et elle résiste à l'élan qui transforme une évaluation unique en fait établi simplement parce qu'elle est arrivée en premier et a dit ce que les gens espéraient.

En pratique : un exemple d'économie de la santé

Le ministère de la Santé de Solvénie, pays fictif à revenu intermédiaire supérieur d'Europe centrale doté d'un système d'assurance sociale, veut savoir si un nouveau programme communautaire d'insuffisance cardiaque — des cliniques dirigées par des infirmières qui suivent les patients après leur sortie — réduit les réadmissions d'urgence coûteuses. Douze régions l'ont déjà adopté ; huit ne l'ont pas fait. Un premier rapport interne a comparé les taux de réadmission dans les régions adoptantes et non adoptantes, les a trouvés inférieurs de 18 % chez les adoptantes, et a recommandé un déploiement national. L'économiste de la santé du ministère est chargée de vérifier l'affirmation avant que des centaines de millions de couronnes ne soient engagées.

Sa première question est le contrefactuel. Les régions adoptantes n'ont pas été choisies au hasard : elles étaient plus riches, avaient des soins primaires mieux organisés, et avaient des taux de réadmission plus faibles avant que le programme ne commence. La comparaison naïve confond donc l'effet du programme avec l'avantage préexistant des régions qui pouvaient l'adopter — un problème de sélection de manuel. Une simple différence adoptantes-contre-non-adoptantes ne peut séparer les deux, et le chiffre de 18 % est ininterprétable comme effet causal.

Elle propose plutôt un plan de différence de différences, utilisant plusieurs années de données régionales de réadmission avant et après la date d'adoption de chaque région. Cela compare le changement des réadmissions dans les régions adoptantes au changement dans les régions non adoptantes, différenciant tout avantage régional fixe. De façon cruciale, elle trace d'abord les tendances pré-adoption : si les adoptantes s'amélioraient déjà plus vite que les non-adoptantes avant le programme, l'hypothèse des tendances parallèles échoue et le plan est invalide. Les tendances sont proches mais non identiques, aussi rapporte-t-elle l'estimation avec cette réserve visible plutôt qu'enterrée.

Parce que les dates d'adoption étaient échelonnées entre les régions, elle exploite aussi la structure de panel, contrôlant tout ce qui est stable dans chaque région et les chocs nationaux comme un mauvais hiver grippal qui a frappé toutes les régions à la fois. L'estimation de différence de différences aboutit à une réduction de 7 % des réadmissions — réelle et qui vaut la peine, mais bien en dessous de la moitié du chiffre phare, car l'essentiel des 18 % initiaux était l'avantage préexistant des régions, non le programme. Elle vérifie ensuite les données manquantes : deux régions avaient un codage incomplet dans l'année de transition, et elle montre que le résultat tient que ces années-régions soient incluses ou exclues.

Elle est franche sur ce qu'est et n'est pas l'estimation. C'est l'effet moyen dans des régions ayant la capacité de soins primaires pour faire fonctionner des cliniques dirigées par des infirmières ; les huit régions non adoptantes sont plus pauvres et moins bien dotées en personnel, de sorte que l'effet là-bas pourrait être plus petit ou pourrait exiger un investissement que le modèle ne tarife pas. C'est une question de validité externe, et elle le signale explicitement plutôt que de supposer que les 7 % se transposeront. Sa recommandation au ministère n'est ni « déployer nationalement » ni « abandonner », mais « financer là où la capacité de soins primaires existe, et randomiser l'ordre de déploiement dans les régions restantes afin que la prochaine évaluation puisse trancher la question de transfert que celle-ci ne peut trancher ». Le rapport coût-efficacité de la réduction de 7 % est ensuite confié à un modèle de décision (Sujet 2.2 — Modélisation) qui transforme l'estimation causale en un coût par résultat sur lequel le payeur peut agir.

Quatre angles sectoriels

Jeune pousse

Une jeune pousse de santé numérique rencontre habituellement l'économétrie de la santé comme une exigence de preuve d'un acheteur ou d'un régulateur : prouvez que votre application change réellement les résultats, pas seulement que les utilisateurs engagés se portent bien. La tentation est un graphique avant-après d'adeptes précoces enthousiastes, qui est presque du pur biais de sélection — ces utilisateurs se seraient améliorés de toute façon. Le geste crédible et abordable est un petit essai pilote randomisé ou un déploiement échelonné entre sites, conçu avant le lancement, qui isole l'effet du produit de la motivation des personnes qui l'ont choisi. Les fondateurs qui intègrent une comparaison propre dès le premier déploiement pèsent bien plus lourd auprès des payeurs que ceux qui adaptent une analyse flatteuse plus tard.

Petite entreprise

Un prestataire de petite taille déjà établi — un cabinet de groupe, une clinique unique, une pharmacie communautaire, un petit fournisseur de dispositifs — dispose de données opérationnelles réelles mais ni du volume ni de l'équipe analytique pour mener ses propres études quasi expérimentales, et d'aucun moment de lancement autour duquel randomiser. Sa tâche économétrique est surtout de l'appréciation : lire la preuve qu'un fabricant, un commanditaire, ou un organisme professionnel lui présente et juger si un effet revendiqué tiendrait dans une patientèle comme la sienne. Le geste le plus sûr est de poser durement la question de validité externe — cela a-t-il été montré dans une population, un niveau de personnel, et un système ressemblant au mien ? — plutôt que de tenter une analyse causale qu'il ne peut financer. Là où il génère de la preuve, un changement échelonné entre ses propres sites ou cliniciens, ou une simple lecture avant-après honnêtement comparée à un cabinet voisin comparable, est plus crédible qu'un graphique interne flatteur. Contrairement à une jeune pousse qui poursuit le niveau de preuve d'un payeur, son incitation est d'éviter d'adopter quelque chose qui gaspille discrètement du temps et de l'argent rares sur une patientèle qui n'a jamais correspondu à l'étude.

Entreprise

Un grand prestataire ou assureur siège sur des données longitudinales riches — réclamations, dossiers, registres — et son avantage est la capacité de mener des analyses de panel et quasi expérimentales à grande échelle. Le risque est de confondre volume de données et clarté causale : un million de dossiers confondus ne peut toujours pas vous dire si un programme de gestion des soins a fonctionné, et une équipe analytique bien dotée peut produire des modèles sophistiqués qui blanchissent le biais de sélection en effet apparent. L'entreprise mature sépare le reporting de performance interne de l'évaluation causale, tient les deux à des standards différents, et intègre des plans randomisés ou échelonnés dans ses propres déploiements opérationnels afin que le changement de routine génère une preuve digne de confiance plutôt que de simples tableaux de bord.

Gouvernement

Un ministère ou un payeur national prend les décisions causales aux enjeux les plus élevés — mettre un programme à l'échelle nationale, financer ou retirer une prestation — et dispose souvent de leviers politiques qui créent des expériences naturelles : seuils d'éligibilité, déploiements par phases, projets pilotes régionaux. Sa discipline devrait être de concevoir ces déploiements comme des évaluations dès le départ, afin que l'échelonnement inévitable produise une différence de différences ou une régression sur discontinuité plutôt qu'une comparaison ininterprétable. Le gouvernement porte aussi un devoir que les autres secteurs ne portent pas : se prémunir contre l'asymétrie politique dans laquelle les programmes favorisés échappent à l'examen et les découvertes menaçantes sont contestées, en s'engageant à l'avance sur des normes d'évaluation et en publiant les résultats qu'ils flattent ou non la politique.

Erreurs courantes

• Confondre corrélation et causalité. Rapporter que les patients traités se sont mieux portés sans traiter la raison pour laquelle ils ont été traités. Remède : partir du contrefactuel et nommer les facteurs de confusion avant d'interpréter toute différence.

• Sélectionner sur le résultat. Comparer des volontaires à des non-volontaires, des personnes ayant terminé à des abandons, ou des adoptants à des non-adoptants comme si les groupes étaient interchangeables. Remède : utiliser un plan (randomisation, différence de différences, variables instrumentales, régression sur discontinuité) qui traite comment les personnes ont été triées en groupes.

• Analyse silencieuse en cas complets. Écarter tous ceux ayant des données manquantes et rapporter le reste comme s'il était le tout. Remède : rapporter l'étendue et le schéma de l'absence de données et tester si les conclusions survivent à différentes hypothèses à ce sujet.

• Supposer sans tester. Présenter une différence de différences sans vérifier les tendances parallèles, ou un instrument sans argumenter son exogénéité. Remède : exiger les tests de falsification et traiter leur absence comme un défaut.

• Généraliser un effet local. Appliquer une estimation fondée sur un seuil ou un instrument à une population qu'elle n'a jamais décrite. Remède : énoncer de qui est l'effet du chiffre et apprécier la validité externe séparément de la validité interne.

• Théâtre de la significativité statistique. Traiter une valeur p comme la décision, en ignorant la taille de l'effet et l'incertitude. Remède : exiger des magnitudes et des intervalles de confiance encadrés par rapport au budget et à la population réels.

• Adapter l'analyse après coup. Fouiller un ensemble de données existant jusqu'à ce qu'un résultat plaisant apparaisse, puis le présenter comme s'il avait été préplanifié. Remède : préenregistrer le plan et le plan d'analyse avant que les données ne soient vues.

Modèle de maturité

Liste de vérification

• Énoncer le contrefactuel : quel est le groupe de comparaison, et pourquoi montrerait-il ce que le groupe traité aurait fait sans l'intervention ?
• Identifier les facteurs de confusion et mécanismes de sélection probables, et nommer le plan qui les traite.
• Confirmer que le plan a été planifié avant le recueil des données, avec un plan d'analyse écrit.
• Pour la méthode choisie, nommer l'hypothèse clé (tendances parallèles, exogénéité de l'instrument, absence de manipulation du seuil) et en vérifier la preuve.
• Exiger les tests de falsification, pas seulement l'estimation phare.
• Demander quelle quantité de données manquait, si les manquants diffèrent des observés, et comment l'absence de données a été traitée.
• Vérifier que le modèle correspond à la forme des données (coûts asymétriques, décomptes, survie censurée).
• Établir de qui est l'effet de l'estimation (local ou général) avant de le généraliser.
• Lire la taille de l'effet et l'intervalle de confiance par rapport à votre budget et à votre population, pas seulement la valeur p.
• Apprécier la validité externe — cela tiendrait-il dans mon système ? — séparément de la validité interne.
• Rechercher une seconde ligne de preuve pour toute décision assez importante pour compter.
• Consigner l'affirmation causale, le plan, son hypothèse clé, et ce qui changerait votre avis.

Sources clés

• Andrew Jones, "Health Econometrics" — dans Culyer & Newhouse (dir.), Handbook of Health Economics — l'enquête standard des méthodes pour les données de santé et leurs pièges.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — le texte de référence pour les méthodes de panel et quasi expérimentales.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — un traitement accessible de l'inférence causale, des expériences naturelles, et des quatre plans quasi expérimentaux.
• Déclaration CONSORT — normes de rapport pour les essais contrôlés randomisés, utile comme liste de vérification d'appréciation.
• Economics Network, Health Economics for Teachers — module d'économétrie — https://economicsnetwork.ac.uk/health/teachers
• OCDE, Health at a Glance, et publications de l'OMS sur les systèmes de santé — sources des données de santé courantes sur lesquelles se pratique une grande partie de l'économétrie de la santé.

Références

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics