卫生计量经济学

为什么这在卫生经济学中很重要

一位卫生领域的领导者所做的几乎每一项决策,都建立在一个因果性论断之上:这种药物降低了死亡率,那家诊所减少了入院人数,这项支付改革缩短了等候时间。这种论断说起来容易,证实起来却很难。两组患者的结果存在差异,但在任何人进行干预之前,他们本来就存在差异——病情更重的人寻求更多的照护,较富裕的地区率先采用新计划,积极性高的诊所自愿参与试点。核心问题在于,我们永远无法观察到,如果接受治疗的那一组未接受治疗,原本会发生什么。本主题的全部内容,就是关于如何诚实地逼近这个缺失的比较对象。

其中的利害关系是公共资金和生命。一个自信却错误的因果性论断,会使预算流向一项毫无作用的干预措施,或撤回一项默默挽救了生命的干预措施;这两种错误都要以结果、而不仅仅是金钱来偿还。当一个全国性付费方依据一项区域性评价的结果,决定在全国范围内推广一项计划时,该评价因果推理的质量,决定了这究竟是在推广一项成功,还是在推广一种幻觉。领导者很少亲自开展分析,但他们委托、资助并依据分析行动——这意味着评判分析的能力,是他们必须掌握的。

本主题刻意不作为一本统计学教科书(参见本书的范围界定)。它不会推导某个估计量,也不会推荐软件。它的任务是告诉你每种方法用来做什么,一个因果性论断在什么情况下值得信任,以及如何委托和评判计量经济学工作,使你既不会被一个精密的模型所蒙蔽,也不会轻视真正好的证据。当分析被用于外推超出数据范围的决策分析模型时,那套机制属于主题2.2——建模;本主题关注的是估计值本身,以及它是否具有因果性。

核心概念

卫生计量经济学是将统计方法应用于卫生和医疗保健数据,以衡量各种关系,尤其是支持因果推断——试图确立一件事物的变化导致了另一件事物的变化,而不仅仅是与之同步变动。这门学科之所以存在,是因为卫生数据中的相关性比比皆是且极具误导性,而能够解决这一问题的干净实验往往是不可能、不合伦理或负担不起的。

核心障碍是混杂:一个第三方因素同时影响谁接受了干预以及他们经历了什么结果,从而产生一种并非因果关系的关联。使用新型抗凝药物的患者出血较少,可能不是因为该药物更安全,而是因为谨慎的处方者把它开给了风险较低的患者。年龄、贫困程度、疾病严重程度和临床医生的判断,是卫生数据中挥之不去的混杂因素,而你能够测量的那些混杂因素,往往并非最重要的那些。

与之密切相关的是选择偏倚:你的干预组和比较组中的人,是通过某个本身就与结果相关的过程——自我选择、临床分诊、地理位置、行政资格——被分配进这些组的。一项由数字素养较高的人使用的远程医疗服务,会显示出良好的结果,部分原因在于其用户一开始就更健康、更有条理。选择偏倚并非可以从数据中拂去的小麻烦;它往往就是整个故事本身,而方法的任务正是消除它。

实现这一点的黄金标准是随机对照试验(RCT),即参与者被随机分配到治疗组或对照组。随机化之所以有效,是因为平均而言,它既能平衡你想到的混杂因素,也能平衡你没有想到的混杂因素,因此结果上的任何差异都可以归因于该干预措施。保护一项试验的各项纪律——按患者被随机分配到的组别进行分析,即所谓的意向性治疗分析,以及预先登记结果指标——正是为了防止选择问题从侧门悄悄溜回来。

试验并非总是可行的,因此许多卫生计量经济学工作依赖观察性数据,并从自然实验中借取可信度——即某种参与者无法控制的因素(一项政策的推行、一条资格规则、一次抽签、一次突然的价格变化)模拟了随机分配的情形。有四种准实验设计反复出现:

• 双重差分法将暴露于某项干预措施的一组的结果变化,与同一时期未暴露的比较组的结果变化进行比较。其可信度建立在"平行趋势"假设之上:即如果没有该干预措施,两组的结果本会同步变化。
• 工具变量估计法使用一个影响谁接受治疗、但除了通过治疗本身之外对结果没有直接影响的变量——到诊所的距离、一个抽签号码、一位随机分配的审阅者——来分离出不受混杂影响的治疗变异。一个有效的工具变量确实很难找到,也不可能被完全检验。
• 断点回归利用一个决定资格的明确阈值——一个风险评分、一个年龄、一个收入分界线。恰好位于这条线上方和下方的人几乎完全相同,唯一的区别在于是否能够获得该干预措施,因此比较他们近似于一次局部实验。
• 面板数据方法在一段时间内追踪相同的对象(患者、医院、地区),使分析人员能够控制某一对象所有从未改变的稳定特征,从而消除单一横截面数据无法消除的一大类混杂因素。

最后,缺失数据贯穿于所有这些方法之下。患者会退出,记录会不完整——而且关键在于,数据缺失的原因往往与结果本身相关,因此丢弃不完整的记录会悄悄地把选择偏倚重新带回一项看似干净的研究之中。数据缺失是如何处理的,是审视任何一项研究时首先要问的问题之一。

最佳实践

1. 从反事实出发,而不是从方法出发。 在任何人选择估计方法之前,先追问:比较对象是什么,我们为什么应当相信它能告诉我们,如果没有这项干预措施本会发生什么?每一个结果的可信度,都源自这个比较对象本身,而不是其上叠加的统计手法有多精密。如果答案含糊不清,再高明的技术也无法挽救它。

2. 在数据收集之前就委托设计,而不是事后才委托。 最有力的因果性论断,来自事先规划好的设计——一次随机化的推行、一份预先登记的分析计划、一个商定好的比较组——因为把方法事后套用到已有数据上,会诱使分析人员不断搜寻,直到出现一个讨喜的结果为止。当你资助一项评价时,要为设计阶段提供资金,并在结果出现之前坚持要求一份书面的分析计划。

3. 在符合伦理且可行的情况下,优先选择随机化,包括分阶段推行。 如果一项计划无法同时覆盖所有人,就通过抽签分配获得该服务的先后顺序,或随机决定哪些地点先行。这以极小的额外成本,把一项运营上的限制转变为一次可信的实验,而且往往比拒绝任何人接受治疗更站得住脚。许多最受信赖的政策评价,不过是被随机化而非被选定的推行过程。

4. 把每一种准实验设计都当作一组假设的集合,并要求它们说明各自的假设。 双重差分法的成败取决于平行趋势;工具变量法取决于一个既相关又外生的工具变量;断点回归取决于人们没有操纵自己落在阈值哪一侧。一位优秀的分析人员会指明其结果所依赖的假设,并展示支持该假设的证据;一位不够严谨的分析人员则会将其隐藏起来。要明确地问:"要使这具有因果性,什么必须为真,你又是怎么知道它为真的?"

5. 要求提供证伪检验,而不仅仅是头条估计值。 可信的因果关系研究会试图推翻自己的论断:绘制干预前的趋势图以检验其是否平行,在本不应存在跳跃的假阈值处检验是否出现跳跃,展示该工具变量确实不能预测它不该触及的结果。这些检验的存在标志着诚实的工作;它们的缺失则是一个警示信号,无论效应看起来多大、多受欢迎。

6. 坚持了解缺失数据和退出情况是如何处理的。 询问有多大比例的受试者流失了,缺失的人群是否与被观察到的人群不同,以及分析对他们做出了什么假设。"完整病例分析"——悄悄剔除所有存在缺口的对象——是选择偏倚重新潜入一项看似干净的研究中最常见的方式。即使数据本身无法恢复,缺失数据可能会将结果推向哪个方向,往往是可以判断出来的。

7. 让模型与卫生数据的形态相匹配。 成本会因少数极其昂贵的患者而呈偏态分布,使用量是一种不能为负的计数,而生存数据在随访结束时会被截尾。标准的线性方法与这些数据形态不匹配,可能产生误导;针对每一种情况都存在专门的模型。你不需要懂得其中的数学,但应当懂得足够多的知识,去问一句"这个方法适合成本数据吗?"并期待一个真正的答案。

8. 区分对已接受治疗者的效应,与你能够推广的效应。 许多准实验方法估计的是一种局部效应——对阈值附近人群的影响,或对工具变量恰好推动的那部分人的影响——这未必等同于将该干预措施推广到所有人时的效应。一项围绕65岁展开的断点回归,告诉你的是65岁人群的情况,而不是40岁人群的情况。在将一个数字推而广之之前,先问它究竟是谁的效应。

9. 区分统计显著性与决策相关性。 一个被精确估计的微小效应可能在统计上显著,却在经济上无关紧要;一个巨大的效应可能不确定,但鉴于其利害关系,仍然值得据此行动。要索取效应大小、其置信区间,以及它在你的预算和人群规模下意味着什么——而不仅仅是p值是否越过了某个门槛。决策取决于效应大小和不确定性两者的结合。

10. 像审视内部效度一样审慎地审视外部效度。 一项研究在其自身情境中对因果关系的论证可能无懈可击,但如果人群、卫生系统或基线风险与你的情况不同,它对你而言可能毫无意义。一个在美国保险市场中起作用的工具变量,或一个在斯堪的纳维亚登记数据库中得到验证的设计,未必能转移到一个数据和激励机制都不同的低收入环境中。要把"这种效应在我的系统中是否成立?"作为一个与"这种效应是否真实?"相独立的问题来提出。

11. 进行三角验证,而不是仅仅信任单一一项研究。 当几种基于不同假设的方法——一项试验、一项双重差分分析、一项工具变量估计——都指向同一个方向时,信心才是赚来的;当它们出现分歧时,这种分歧本身就是关于哪些假设站不住脚的信息。对任何重大到足以产生影响的决策,都应委托或寻求不止一条证据线,并把一个孤立的、引人注目的结果当作一个有待检验的假设,而不是一个结论。

12. 把评判过程写下来,并与决策一并保存。 记录你所依据的因果性论断、产生它的设计、它所依赖的假设,以及什么会改变你的想法。这在结果日后受到质疑时能保护机构,并促使一种纪律的养成:在结果已知之前而非之后就说明不确定性。一项推理过程未被记录的评价,不过是配了图表的意见。

与团队讨论的问题

1. 在我们最近一次以证据为依据的重大决策中,比较组是什么——如果没有这项干预措施,它真的会做出同样的事情吗? 这个问题直指反事实,而这正是大多数薄弱证据藏身之处。要越过头条数字,深入结构本身:谁与谁被比较,他们是如何被分配进这些组的,如果什么都没有改变,接受治疗的那一组本会发生什么。真正的张力在于,最方便的比较——同一组的前后对比,或志愿者与非志愿者的对比——通常是混杂程度最高的,而选择接受某项干预措施、或被选中接受该干预措施的人,几乎总是与未被选中的人不同。一场好的讨论会指出具体涉及哪些混杂因素(严重程度、贫困程度、积极性、临床医生的选择),并追问该设计是消除了这些因素,还是仅仅忽略了它们。你要寻找的答案不是"这项研究经过了同行评审",而是关于为什么这个比较是可信的清晰说明——或者坦承它并不可信,而这项决策所依据的其实是打扮成证据的判断。

2. 当我们委托一项评价时,我们买的是一种设计,还是仅仅一份报告? 大多数机构把评价当作一项计划已经运行之后才交付的成果来采购,而这恰恰是最有力的因果设计已经不再可能实现的时候。张力存在于运营上的紧迫性——现在就启动,以后再衡量——与证据质量之间,而证据质量取决于在第一位患者入组之前就做出的决定:一个随机化的推行顺序、一个商定好的比较地区、一份预先登记的结果和分析计划。讨论一下你们的委托流程,是否让分析人员足够早地介入以塑造设计,还是仅仅让他们晚到只能为结果找理由。一个诚实的答案会正视这样一个事实:一项廉价的回顾性评价,如果它带来虚假的信心,可能比根本没有评价更糟糕,并且会审视合同和时间表,在你的机构中,是从结构上促成了良好的设计,还是从结构上使其变得不可能。

3. 有哪种论断是我们会拒绝据以行动的,又有什么样的证据会改变我们的想法? 这个问题检验团队是把证据当作真正的输入,还是当作为一项已经做出的决定进行装点的摆设。事先说明一项论断必须达到的证明标准——以及会让你改变方向的发现——是防范确认偏误、以及对我们喜欢的结果表现出选择性热情的最有力保障。真正的张力在于,利益相关方很少用同一套证据标准来对待受偏爱的项目和不受欢迎的项目;一个受人喜爱的项目会得到疑点利益的照顾,而一个具有威胁性的项目则会被逐条挑剔。一场诚实的讨论会揭示这些双重标准存在于机构的哪些地方,就"足以据以行动"对不同规模的决策意味着什么达成一致,并接受这样一个事实:事先承诺什么会改变自己的想法之所以令人不安,恰恰是因为它真的可能会改变。

4. 当我们从另一个系统借用一个引人注目的结果时,我们假设了什么会随之一并转移过来? 一项研究在其自身情境中对因果关系的论证可能无懈可击,却仍然可能误导你,因为产生其效应的人群、卫生系统、基线风险和激励机制,可能与你的情况截然不同。张力在于,最令人印象深刻的证据通常来自别处——一个美国的保险市场、一个斯堪的纳维亚的登记数据库、一个资源充足的试验点——而它本身的严谨性,诱使你直接照搬这个数字,而不去审视它是否真的适用。讨论一下,要使这种效应在你的人群和系统中重现,什么条件必须为真:基线风险是否可比,你的人力是否具备该干预措施所假设的能力,你的患者是否面临同样的约束?一个诚实的答案会把外部效度当作一个与内部效度相独立的问题,不会仅仅因为一项研究来自远方就本能地打折扣,并会指出原始情境中的哪些特征在真正发挥作用。最糟糕的结果,是把一种在那里真实、在这里却不存在的效应加以推广,然后归咎于这项干预措施本身,而不是归咎于这种迁移。

5. 我们有多少数据是缺失的,我们确定这些缺口是无害的吗? 每一个真实的卫生数据集都有漏洞——患者退出,记录不完整,随访终止——而危险的情形是,数据缺失的原因本身就与结果相关,因此丢弃不完整的记录,会悄悄把选择偏倚重新带回一项看似干净的研究之中。张力存在于"完整病例"分析的便利性——这是大多数工具的默认做法,也是得出结果最快的途径——与诚实地追问那些消失的人是否与留下来的人系统性地不同之间。讨论一下有多大比例的受试者流失了,缺失的人群看起来是否比被观察到的人群更病重、更贫困,或参与度更低,以及分析对他们做出了什么假设。一个好的答案往往能够说明,即使缺失值本身无法恢复,缺失数据会把估计值推向哪个方向,并且会把高比例或无法解释的流失率,视为对整个论断的一种威胁,而不是一个脚注。做不到这一点的团队,会把幸存者当作整个人群来报告。

6. 我们是否曾经依据单一一项研究就采取行动,又是什么会让我们等待第二条证据线? 对一项因果性论断的信心,应当来自以不同方式可能失败的多种方法之间的一致性——一项试验、一项双重差分分析、一项工具变量估计都指向同一个方向——而不是来自一个孤立的、无论执行得多么出色的引人注目的结果。张力在于,三角验证要花费机构很少愿意投入的时间和金钱,而一个孤立而令人印象深刻的发现,会形成一种压力,促使人们在能够委托第二条证据线之前就采取行动。讨论一下哪些决策重大到需要不止一条证据线,以及当不同方法出现分歧时你会怎么做——因为分歧不是应当被平均掉的噪音,而是关于哪些假设站不住脚的信息。一个诚实的答案会区分一个值得检验的假设和一个值得据以行动的结论,并抵制那种仅仅因为一项评价先到达、又说出了人们所期望的话,就把它变成既定事实的惯性。

实践中的卫生经济学案例

索尔维尼亚(Solvenia)卫生部,是一个位于中欧、实行社会保险制度的虚构中高收入国家。该部想知道一项新的社区心力衰竭计划——出院后由护士主导的诊所对患者进行监测——是否减少了代价高昂的急诊再入院。已有十二个地区采用了该计划;八个地区尚未采用。一份早期的内部报告比较了采用地区与未采用地区的再入院率,发现采用地区的再入院率低18%,并建议在全国推广。卫生部的卫生经济学家被要求在数亿克朗投入之前核实这一论断。

她首先提出的问题是反事实。采用该计划的地区并非随机选定:它们更富裕,初级保健组织得更好,并且在计划启动之前再入院率就更低。因此,这种天真的比较把该计划的效应与那些能够采用它的地区本已具有的优势混为一谈——这是一个教科书式的选择问题。一个简单的"采用组对非采用组"的差异,无法将两者区分开来,18%这个数字作为因果效应是无法解读的。

她转而提议采用双重差分设计,使用每个地区在采用日期前后若干年的区域再入院数据。这将采用地区再入院率的变化,与未采用地区再入院率的变化进行比较,从而消去任何固定的地区性优势。至关重要的是,她首先绘制了采用前的趋势图:如果采用者在该计划实施之前就已经比非采用者改善得更快,那么平行趋势假设就不成立,该设计也就失效了。这些趋势接近但并不完全一致,因此她在报告估计值时明确标注了这一保留意见,而不是将其掩盖起来。

由于各地区的采用日期是错开的,她还利用了面板结构,控制了每个地区所有稳定不变的特征,以及诸如一次同时袭击所有地区的严重流感冬季这样的全国性冲击。双重差分估计结果显示再入院率降低了7%——这是真实的、值得拥有的效果,但远不到头条数字的一半,因为原来18%中的大部分,其实是这些地区本已存在的优势,而非该计划的功劳。随后她检查了缺失数据:有两个地区在过渡年份的编码不完整,她展示了无论纳入还是排除这些地区-年份数据,结果都是稳健的。

她坦诚地说明这个估计值是什么、又不是什么。它是在具备开展护士主导诊所所需初级保健能力的地区所观察到的平均效应;八个未采用的地区更贫困、人手更紧张,因此该效应在那里可能更小,或者可能需要该模型未曾计入的投入。这是一个外部效度的问题,她明确地标示出来,而不是想当然地认为7%这个数字会照样适用。她给卫生部的建议既不是"在全国推广",也不是"放弃它",而是"在具备初级保健能力的地区资助这项计划,并在其余地区将推行顺序随机化,以便下一次评价能够解决这一次无法解决的转移问题"。这7%降幅的成本效果,随后被交给一个决策模型(主题2.2——建模),将这一因果估计值转化为付费方可以据以行动的每结果成本。

四种部门视角

初创企业

一家数字健康初创企业通常将卫生计量经济学视为来自买方或监管机构的证据要求:证明你的应用程序确实改变了结果,而不仅仅是证明投入度高的用户表现良好。诱惑在于绘制一张热情的早期采用者的前后对比图,而这几乎纯粹是选择偏倚——这些用户本来就会改善。可信而又负担得起的做法,是在上线之前就设计一个小型的随机试点,或在各站点分阶段推行,从而将产品的效应与选择使用它的人的积极性区分开来。那些从第一次部署起就内置了一个干净比较的创始人,远比那些事后补做一份讨喜分析的创始人,更能在付费方那里赢得信任。

小型企业

一家已站稳脚跟的小型服务提供者——一家团体诊所、一家单点诊所、一家社区药房、一家小型设备供应商——拥有真实的运营数据,但既没有足够的量,也没有分析团队来开展自己的准实验研究,也没有可供围绕其展开随机化的启动时刻。它在计量经济学上的任务主要是评判:阅读制造商、委托方或专业机构摆在它面前的证据,并判断所声称的效应是否会在与自身类似的病例组合中成立。最稳妥的做法是认真地提出外部效度的问题——这是在与我相似的人群、人员配置和系统中展示出来的吗?——而不是尝试它无力承担的因果分析。当它确实产生证据时,在自己的各站点或临床医生之间进行分阶段的变革,或者与一家可比的邻近诊所诚实地进行简单的前后对比,比一张讨喜的内部图表更可信。与追逐付费方证据门槛的初创企业不同,它的动机是避免采纳某种默默地在与研究情况从未匹配的病例组合上浪费稀缺时间和金钱的东西。

大型企业

一家大型服务提供者或保险公司坐拥丰富的纵向数据——理赔、病历、登记数据库——其优势在于能够大规模开展面板分析和准实验分析。风险在于把数据量误当作因果清晰度:一百万条存在混杂的记录,依然无法告诉你一项照护管理计划是否奏效,而一个资源充足的分析团队完全可能制造出精密的模型,把选择偏倚洗白成表面上的效应。成熟的大型企业会把内部绩效报告与因果性评价区分开来,以不同的标准要求二者,并把随机化或分阶段的设计内置到自身的运营推行之中,使常规的变革产生可信的证据,而不仅仅是仪表盘。

政府

一个部委或全国性付费方要做出利害关系最大的因果性决策——在全国范围内推广一项计划、资助或撤销一项福利——而且往往拥有能够创造自然实验的政策杠杆:资格阈值、分阶段推行、区域试点。它的纪律应当是从一开始就把这些推行过程设计成评价,使得不可避免的分阶段实施,产生的是一个双重差分或断点回归,而不是一个无法解读的比较。政府还承担着其他部门所没有的责任:通过事先承诺评价标准、并无论结果是否讨好该政策都予以发布,来防范这样一种政治上的不对称——受偏爱的项目逃过审视,而具有威胁性的发现则遭到质疑。

常见失败模式

• 将相关性与因果性混为一谈。 报告接受治疗的患者表现更好,却不去探究他们为何接受治疗。修正方法:从反事实出发,在解读任何差异之前先指明混杂因素。

• 依据结果进行选择。 把志愿者与非志愿者、完成者与退出者、采用者与非采用者相比较,仿佛这些组是可以互换的。修正方法:采用一种能够处理人们是如何被分配进各组的设计(随机化、双重差分、工具变量、断点回归)。

• 悄无声息的完整病例分析。 剔除所有存在数据缺失的对象,并把剩余部分当作整体来报告。修正方法:报告缺失的程度和模式,并检验在关于缺失数据的不同假设下,结论是否依然成立。

• 未经检验就假设成立。 在未检验平行趋势的情况下呈现双重差分结果,或在未论证外生性的情况下使用一个工具变量。修正方法:要求提供证伪检验,并将其缺失视为一种缺陷。

• 将局部效应推而广之。 把一个基于阈值或工具变量的估计值,应用到它从未描述过的人群身上。修正方法:说明这个数字究竟是谁的效应,并把外部效度与内部效度分开评判。

• 统计显著性的表演。 把p值当作决策依据,忽略效应大小和不确定性。修正方法:要求提供效应大小和置信区间,并结合实际的预算和人群规模加以解读。

• 事后套用分析方法。 反复搜寻一个既有数据集,直到出现一个令人满意的结果,然后将其呈现为事先规划好的。修正方法:在看到数据之前,预先登记设计和分析计划。

成熟度模型

检查清单

• 说明反事实:比较组是什么,为什么它能够显示如果没有该干预措施,接受治疗的一组本会发生什么?
• 识别可能存在的混杂因素和选择机制,并指明应对它们的设计。
• 确认该设计是在数据收集之前就已规划好的,并配有书面的分析计划。
• 针对所选方法,说明其关键假设(平行趋势、工具变量的外生性、无阈值操纵),并检验支持它的证据。
• 要求提供证伪检验,而不仅仅是头条估计值。
• 询问有多少数据缺失,缺失的人群是否与被观察到的人群不同,以及缺失情况是如何处理的。
• 检查模型是否与数据的形态相匹配(偏态的成本、计数、截尾的生存数据)。
• 在将估计值推而广之之前,先确定它究竟是谁的效应(局部性还是普遍性)。
• 结合你的预算和人群规模来解读效应大小和置信区间,而不仅仅是p值。
• 将外部效度——这在我的系统中是否成立?——与内部效度分开评判。
• 对任何重大到足以产生影响的决策,寻求第二条证据线。
• 记录该因果性论断、所用设计、其关键假设,以及什么会改变你的想法。

Key sources

• Andrew Jones, "Health Econometrics" — in Culyer & Newhouse (eds.), Handbook of Health Economics — the standard survey of methods for health data and their pitfalls.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — the reference text for panel and quasi-experimental methods.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — an accessible treatment of causal inference, natural experiments, and the four quasi-experimental designs.
• CONSORT Statement — reporting standards for randomised controlled trials, useful as an appraisal checklist.
• Economics Network, Health Economics for Teachers — econometrics module — https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, and WHO health-systems publications — sources of the routine health data on which much health econometrics is practised.

References

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics