证据综合与荟萃分析

为什么这在卫生经济学中很重要

每一项经济学评价所依赖的输入数据,都必须来自某处:一种治疗的相对效应、一种疾病的进展速度、一种健康状态的生活质量权重、一次不良事件发生的概率。这些正是驱动增量成本效果比的数字,而它们的来源决定了这个比值是否可信。一个决策模型(见主题2.2——建模)的好坏,取决于输入其中的参数,而这些参数是综合的产物——对一整个文献体系进行有意的汇总——而不是任何单一试验的产物。本主题正是关注"模型中的数字来自何处"这一问题的主题。

对管理者而言,利害关系在于,一项综合分析可能在经济学分析尚未运行之前,就悄悄决定了一个资助问题的答案。如果一篇综述挑选了有利的试验、掩盖了一个无效的结果,或者对从未真正可比的研究取平均值,它所产生的效应估计值就会朝着某个特定方向出错,而每一项下游计算都会继承这一错误,并披上一层看似严谨的外衣。全球各地的卫生技术评估(HTA)机构——英国国家卫生与临床优化研究所(NICE)、德国IQWiG、世界卫生组织(WHO)的指南小组——之所以将其建议建立在综合分析之上,正是因为单一一项研究太过脆弱,承担不起一项全国性决策的分量。

这些利害关系同样关乎伦理和公众信任。一份实施良好的系统综述,是一个公共机构抵御被开展了最令人印象深刻的试验的一方、或声音最大的一方所俘获的最有力防线。它是一种透明、可复现的方法,让整个证据基础说话,包括其中不便之处。当一个付费方能够证明其决策来自一份预先设定、全面、经过批判性评估的综合分析时,它就能向临床医生、患者、产业界和法院为这一决策辩护。如果做不到这一点,决策就显得武断——而在卫生领域,关于谁能获得治疗的武断决策,会迅速侵蚀信任。

核心概念

系统综述是一种结构化的方法,用于查找、评估和概括所有与某一特定问题相关的研究,采用一份预先登记的方案,使这一过程可复现并能抵御偏倚。它与传统的叙述性综述的区别在于,它有明确的检索策略、明确说明的纳入和排除标准,以及对每一项纳入研究的批判性评估。目前大多数综述所遵循的报告标准是PRISMA(系统综述和荟萃分析优先报告条目),它要求作者记录从检索到综合的每一个步骤,使读者能够核查具体做了什么。

荟萃分析是这一过程中的统计部分:将若干项研究的结果进行定量汇总,得出一个单一的综合估计值,通常是诸如相对风险、比值比或均数差之类的效应大小。并非每一份系统综述都包含荟萃分析——只有当各项研究足够相似、可以合并时,汇总才是合理的——但在适用的情况下,它能提高精度,并能揭示单个效能不足的研究所遗漏的效应。展示它的经典方式是森林图:每项研究是一条水平线,显示其估计值和置信区间,汇总结果则是底部的一个菱形。

汇总估计值背后存在两种统计模型。固定效应模型假设每项研究估计的都是同一个单一的真实效应,它们之间的差异仅仅是抽样噪音。随机效应模型则假设真实效应确实因研究而异——因为人群、剂量和场景各不相同——并估计这一分布的平均值,赋予较小规模研究更大的权重,得出更宽、也更诚实的不确定性。两者之间的选择并非表面文章:它会改变置信区间,有时还会改变结论。

之所以这一选择很重要,原因在于异质性——研究结果的差异超出偶然性所能解释的程度。临床异质性(不同的患者或治疗)、方法学异质性(不同的研究设计或质量),以及统计异质性(分散的结果),都会威胁一个汇总数字的意义。把真正存在异质性的研究合并在一起,会产生一个不描述任何真实人群的平均值——这在统计学上相当于一个人一只脚在冰里、一只脚在火里,"平均而言很舒适"。探究异质性,而不是把它平均掉,往往正是真正的学习所在之处。

并非所有证据都是平等的,该领域将其组织为一个证据层级:随机试验的系统综述位于顶端,其次是单项随机对照试验,再次是观察性研究,再次是病例系列和专家意见。这个层级是关于某种研究设计偏倚风险的经验法则,而非一种保证——一项执行糟糕的试验可能比一项良好的队列研究更差。现代的改进是GRADE(推荐分级的评估、制定与评价),它将每个结果的证据确定性评为高、中、低或极低,并可能因偏倚风险、不一致性、间接性、不精确性和发表偏倚,而对即使是试验证据也予以降级——或对有力的观察性证据予以升级。如今,WHO、Cochrane以及全球各地的指南机构都在使用GRADE,正是因为它能使确定性评级背后的推理变得明确且可审计。

在不存在头对头试验的情况下——B从未与C进行过对比试验,两者各自只与安慰剂对比过——网络荟萃分析(也称为混合治疗或间接比较荟萃分析)将一个相互关联的治疗网络中的直接证据和间接证据结合起来,以估计所有的比较,包括那些从未被直接研究过的比较。这对HTA而言不可或缺,因为一种新药必须同时与几种现有选项相比较,但它建立在一个强假设之上——即这些试验足够相似,使间接比较得以成立——这一假设必须加以检验,而不能想当然地假定成立。

还有两个概念决定了一项综合分析是否可信。发表偏倚是指具有阳性、显著结果的研究更容易被发表,而阴性结果则被束之高阁的倾向——因此可见的文献会系统性地高估效应。它通常通过漏斗图来筛查,其不对称性可能预示着缺失的小型阴性研究,这也是审阅者不仅检索期刊,还检索试验登记库和灰色文献——学位论文、报告、未发表数据——的原因之一。最后,由于证据不断涌现,一种日益增多的做法是活体综述:一份持续保持最新的综合分析,随着新研究的出现而不断更新,使指南永远不会滞后于科学进展数年之久。Cochrane协作组织(Cochrane)仍然是系统综述方法的国际参考点,其《手册》是该领域的标准手册。

最佳实践

1. 在检索之前撰写并登记方案。 一份系统综述的可信度,来自于在看到结果之前就确定问题、纳入标准、结果指标和分析计划,然后将该方案公开登记(例如在PROSPERO上)。这是防止审阅者无意识地把综述塑造成一个偏好答案的单一最有力保障。当你委托一项综合分析时,应坚持要求一份已登记的方案,并把它的缺失视为一个警示信号,提示结论可能早已被预先选定。

2. 全面检索,包括那些从未被发表过的研究。 仅限于几个数据库和英文期刊的检索,会遗漏一些试验,并偏向阳性结果。全面的综合分析会检索多个数据库、试验登记库、会议摘要、监管档案和灰色文献,并追踪来自研究者和制造商的未发表数据。其意义不在于为穷尽而穷尽,而在于从源头上消除发表偏倚——缺失的研究不成比例地是那些阴性结果。

3. 评估每一项纳入研究的偏倚风险,并让它改变你赋予该结果的权重。 纳入并不等于认可;每项研究都必须针对其可能误导人的具体方式加以评估——随机化不充分、结果评估未设盲、选择性报告、失访。一项以同等权重汇总强弱研究的综合分析,会把薄弱研究的偏倚洗白成一个看似权威的平均值。使用一种公认的评估工具,透明地报告判断结果,并在排除高风险研究后重新运行分析,看结论是否依然成立。

4. 在计算一个汇总数字之前,先判断汇总本身是否合理。 只有当各项研究在人群、干预、比较对象和结果方面足够相似、正在估计一个可比的效应时,荟萃分析才有意义。如果并非如此,诚实的产出应当是一份结构化的叙述性综合,而不是一个虚假的单一数字。在追问"综合估计值是多少?"之前,先问"这些研究回答的是同一个问题吗?"——对不可比的事物计算出一个精确的平均值,比根本不计算平均值更糟糕。

5. 审慎地选择固定效应模型或随机效应模型,并加以论证。 在卫生领域,由于各研究确实存在差异,随机效应模型通常是更诚实的默认选择,因为它产生的区间更宽,反映了真实世界的变异。但它会给予小型研究不成比例的权重,因此在怀疑存在发表偏倚的情况下,它可能放大你所担心的那种偏倚。说明你使用了哪种模型及原因,并展示在另一种模型下汇总估计值会如何变化;一个在两种模型之间反转的结论并不稳健。

6. 探究异质性,而不是把它平均掉。 当研究结果的分歧超出偶然性所能解释的程度时,这种分歧本身就是信息——它可能意味着该治疗在一个亚组中有效,在另一个亚组中无效,或者是质量在驱动表面上的效应。用预先设定的亚组分析和荟萃回归来探究它,但要对事后提出的亚组保持怀疑,因为它们很容易被找到,却难以被信任。一个未经任何审视、只呈现研究为何存在分歧的汇总估计值,掩盖了数据中最有用的部分。

7. 明确筛查发表偏倚和报告偏倚。 将已发表的文献与试验登记库进行对照,找出那些曾经开展却从未报告的研究,在研究数量足够时检查漏斗图的不对称性,并考虑效应是否随研究规模的增大而缩小。这些检验没有一个是决定性的,但它们的缺失应当降低你对一个整洁的阳性结果的信心。发表偏倚的方向几乎总是一致的——它会夸大表面的获益——因此一项未经筛查的综合分析,应当被解读为一个上限。

8. 在决策涉及多个比较对象时使用网络荟萃分析,并检验其核心假设。 真实的资助决策很少是一种药物对安慰剂;它们是在若干种现行方案之间做出选择,而其中大多数从未进行过头对头试验。网络荟萃分析能填补这些空白,但前提是各项试验足够相似,能够支持间接比较——即"传递性"假设——并且在直接证据和间接证据都存在的地方,两者要一致。要求分析人员展示这个网络,检验一致性,并对建立在薄弱间接链条上的比较坦诚说明。

9. 对证据的确定性分级,而不仅仅是效应的大小。 一个来自低确定性证据的巨大效应,作为花费公共资金的依据,要弱于一个来自高确定性证据的适度效应。GRADE通过对每个结果的确定性进行评级、并记录降级或升级的原因,把这两个问题区分开来,使"证据是有力的"从一种断言变成一种经过审计的判断。要坚持要求为决策提供依据的综合分析,针对每一个重要结果都携带一个明确的确定性评级,而不是一个笼统的总体判断。

10. 以一种怀疑者也能复现的方式报告综合分析。 遵循诸如PRISMA之类的公认报告标准:给出完整的检索策略、从识别到纳入的研究流程、被排除研究及其原因、偏倚风险的判断,以及支撑每一个汇总估计值的数据。透明性正是在错误和选择性判断左右一笔预算之前将其捕捉出来的机制。一份检索无法重新运行、排除理由不明的综合分析,无论其摘要多么自信,都不应作为决策的依据。

11. 在证据快速变化的领域,让高风险的综合分析保持"活体"状态。 在一个快速变化的领域——一类新药、一种新出现的病原体、一项被迅速试验的技术——一份综述在发表的那一刻就已经过时,而陈旧的证据会悄悄误导资金和照护的走向。一份活体综述会持续根据新研究进行更新,并预先商定好什么样的新试验会改变结论的规则。要把这份努力留给那些重大到足以证明其合理性的、易变的决策,并明确说明你所依赖的任何综合分析的时效日期。

12. 使综合分析与模型实际需要的参数相匹配。 一个决策模型需要特定的输入——基准情形的相对效应、当地人群的基线风险、一个效用权重——而每一个都可能需要采用自己纳入标准的独立综合分析。从随机试验中提取相对效应,而从当地登记数据库中提取基线风险,是合理且常见的做法;掩盖这两者来自不同证据体系的事实则不然。要使每一个经过综合的输入,都与其在下游的用途相匹配,并交叉引用它所服务的评价(见主题2.1——经济学评价)。

与团队讨论的问题

1. 当我们把一个效应估计值当作已经定论时,我们是否知道它是来自整个文献体系,还是仅仅来自其中可见、讨喜的那一部分? 这个问题瞄准的是发表偏倚和选择性报告,即那些使一项综合分析朝着可预见的方向出错的失误。令人不安的现实是,阳性试验被发表得更快、更频繁、也更显眼,因此一份局限于期刊的综述,即使每一项纳入的研究都是诚实的,也往往会高估获益。要把讨论推向具体的来源:是否检索了试验登记库,以寻找那些曾经开展却从未报告的研究,是否向制造商寻求了未发表的数据,是否做了漏斗图或类似的检验?张力在于,全面检索既昂贵又缓慢,而接受一个干净、已发表的估计值并继续前进的压力始终存在。一个诚实的答案不会声称检索是完美的;它会说明这份综述在寻找缺失研究方面下了多大功夫,并把一个未经筛查的阳性结果当作一个可能的上限,而不是当作真相。

2. 我们所汇总的研究,是否真的在回答同一个问题,还是我们把本不该放在一起的东西凑成了一个整洁的平均值? 这是异质性问题,它决定了一个汇总数字是否真的有任何意义。值得揭示的角度包括临床上的(不同的患者、剂量或比较对象)、方法学上的(试验与薄弱的观察性研究混杂在一起),以及统计学上的(分歧超出偶然性的结果)。诱人的失误在于,无论底层研究是否可比,软件总会返回一个带有看似自信的置信区间的汇总估计值——这个数字的精确性丝毫说明不了它的有效性。讨论一下这份综述是探究了研究为何存在分歧,还是仅仅将它们取了平均值,以及任何亚组差异是预先设定的,还是事后挖掘出来的。一个诚实的答案愿意得出这样的结论:汇总是不恰当的,一份结构化的叙述性综合本会是更真实的产出。

3. 这份证据有多新,一项新研究需要显示出什么,才能改变我们的决策? 综合分析有其保质期,危险在于依据一份检索早在数年前就已结束、而该领域已经继续发展的综述来行动。要明确说明其时效日期,并追问此后又发表了什么,尤其是对于那些一项大型试验就可能推翻一个汇总估计值的快速变化的技术。更深层的纪律在于事先决定,什么样的发现会改变你的想法——一个门槛,把"继续关注文献"从一个模糊的意图,变成一个启动活体更新的操作性触发条件。张力存在于维持一份综合分析持续更新的成本,与一项悄悄依据陈旧证据运行的决策的成本之间;并非每一个问题都值得进行活体综述,但每一个高风险、易变的问题都值得。一个诚实的答案会说明时效日期,指明什么会推翻结论,并明确指派谁负责留意它的到来。

4. 这个问题,以及能够回答它的分析方法,是在任何人看到结果之前就确定下来的,还是这份综述本可以被塑造成一个偏好的结论? 这瞄准的是整个学科中最有力的一道保障:一份提前登记的方案,其纳入标准、结果指标和汇总计划都在数据能够影响它们之前就已确定。它所防范的失误之所以隐蔽,是因为它很少是故意的——一位先看到结果的审阅者,可能出于善意调整一个纳入边界、提升一个次要结果的地位,或改变模型选择,而这些调整恰好都有利于某个特定的答案。要追问是否存在一份登记在诸如PROSPERO这样的公共登记库中的方案,最终的综述是否与之相符,以及任何偏离是被声明和论证过的,还是悄悄发生的。张力在于,预先登记很不方便——它禁止那种感觉像是良好科学做法的"边做边学"的灵活性——而它的缺失很容易被找借口开脱。一个诚实的答案能够指出那份登记的方案,说明这份综述在哪些地方以及为什么偏离了它,并把一份未登记的综合分析,当作其结论可能在证据出现之前就已被选定的分析来对待。

5. 当决策涉及若干种从未相互比较过的治疗方法时,我们是否信任那种把它们拼接在一起的间接比较? 真实的资助选择通常是在若干种现行方案之间做出的,其中大多数从未进行过头对头检验,因此综合分析要依赖一种通过共享比较对象来借力的网络荟萃分析。值得揭示的角度是,分析人员是否真的展示了试验网络,"传递性"假设是否成立——即试验人群和背景照护是否足够相似,使间接比较有意义——以及在直接证据和间接证据都存在的地方,两者是否一致。诱人的失误在于,无论底层链条多么薄弱或不可比,软件都会返回一整套两两比较的估计值,使一个脆弱的间接结果获得与一个稳健的直接结果同等的权威性。讨论一下哪些对比建立在单一薄弱的间接链条之上,而这些恰恰是否正是驱动该建议的比较。一个诚实的答案会把连接良好、经过一致性检验的比较,与薄弱的比较区分开来,并把后者当作低确定性来处理,而不是把它们掩埋在一张整洁的联赛积分表里。

6. 我们是否把一个巨大的效应和一个确定的效应当作同一回事,而它们其实并不相同? 这把一个估计值的大小,与我们有理由对它抱有的信心区分开来——这正是GRADE存在的意义所在,即把这一区别明确化。张力在于,一个巨大的点估计值很有说服力,也容易让人乐于为之花钱,而其背后的确定性可能因为证据不一致、不精确、间接,或笼罩在发表偏倚的阴影下而很低。要追问每一个重要的结果是否都携带自己的确定性评级,它为什么被降级或升级,以及这项建议究竟是被效应大小所驱动,还是被一种对证据能够承受多少分量的诚实解读所驱动。令人不安的情形是一个适度但高确定性的获益,与一个引人注目但低确定性的获益相竞争:纪律在于优先选择你能够信任的证据,而不是最讨喜的数字。一个诚实的答案拒绝把"巨大"和"确定"合并成一个单一的判断,并让确定性评级、而不仅仅是点估计值,来决定决策对这个结果赋予多大的权重。

实践中的卫生经济学案例

马里迪亚(Maridia)是一个虚构的中低收入国家,正在制定其基本药物清单,该国的国家药品与卫生技术委员会必须决定,在初级保健中为无并发症的高血压推荐哪一类降压药作为一线用药。有四类药物是候选方案,均已过专利期且价格可负担,但临床问题在于,按每位接受治疗患者计算,哪一类能预防最多的卒中和心脏病发作。委员会无法自行开展试验;它必须综合世界已知的知识,然后将一个相对效应估计值交给其经济学团队,与当地的成本和事件发生率相结合。

委员会的证据部门从一份已登记的方案开始:问题、四种比较对象、结果指标(心血管事件和全因死亡率)、纳入标准和分析计划,这一切都在检索之前就已确定。检索涵盖了几个数据库、两个试验登记库,以及收录了类似马里迪亚这样情境下试验的WHO区域文献,因为仅仅依赖高收入国家的期刊,可能引入一个与本国不匹配的人群。检索流程按PRISMA方式记录:识别出数千条记录,大多数在标题阶段被排除,数十项随机试验被纳入,每一项都经过偏倚风险评估。发现三项由行业资助的大型试验存在选择性报告;该部门标记了它们,并计划在剔除它们后进行一次敏感性分析。

核心困难在于,几乎没有试验对这四类药物进行过头对头比较——大多数试验只是用一种药物对比安慰剂,或对比单一的替代方案。一个简单的两两荟萃分析只能回答委员会实际面对的一小部分比较。因此,该部门构建了一个网络荟萃分析,通过共享的比较对象把这些类别连接起来,一次性估计全部六项两两对比。在信任它之前,他们检验了该网络的传递性——试验人群和背景照护是否足够相似,使间接比较有意义?——并检验了在直接证据和间接证据都存在的地方两者是否一致。结果大致一致;有一项对比建立在一条薄弱的间接链条之上,该部门将其标记为低确定性。

异质性是真实存在且具有信息价值的。在年龄更大、风险更高的人群中开展的试验,显示出比年轻队列试验更大的绝对获益,这一点很重要,因为马里迪亚接受治疗的人群将偏向比试验平均年龄更年轻。该部门没有盲目地汇总,而是运行了预先设定的亚组分析和荟萃回归,并报告了以基线风险为条件的效应。针对最大规模比较的漏斗图显示出轻微的不对称,与少数缺失的小型阴性研究相一致;结合那些存在选择性报告的试验,这促使他们对最有利那一类药物的优势保持谨慎。在随机效应模型下,四类药物中有三类之间的差异很小,它们的置信区间大幅重叠。

该部门用GRADE对每个结果进行分级。所有四类药物都优于不治疗,这一证据是高确定性的;而任何一类明显优于其他类别的证据,只是低到中等确定性,因不一致性、不精确性和疑似发表偏倚而被降级。这一区别正是决策的关键。委员会得出结论:由于这几类药物在临床上十分接近,且均价格低廉,经济学决策应当由价格、耐受性和供应保障来驱动,而不是由一个脆弱的临床优越性声称来驱动——而这一结论之所以能够显现出来,正是因为这份综合分析把效应大小与确定性区分开来。委员会把一个带有明确不确定性的相对效应估计值交给经济学团队,转化为每避免一次事件的成本(见主题2.1——经济学评价),并委托了一次活体更新:如果两年后一项即将开展的大型实用性试验,使某一特定对比超出了预先商定的边界,该建议将被重新审视。每项试验内部单一研究的因果推理——其自身的效应估计值是否可信——属于主题2.3——卫生计量经济学的范畴;这个委员会的任务,是把它们妥善地汇总起来。

四种部门视角

初创企业

一家数字健康或医疗器械初创企业很少委托一份完整的系统综述,但它是从另一端遇到综合分析的——作为其唯一一项有前景的研究必须经受住HTA机构对更广泛领域所做综合分析检验的一方。诱惑在于依赖一项讨喜的试验和一份精心挑选支持性论文的叙述性综述,而一位认真的评估者会立刻看穿这一点。更明智的做法是及早诚实地梳理现有的证据基础,使初创企业了解自己的产品在证据层级中处于什么位置,以及付费方会要求哪种比较。一家在公平综合分析的背景下呈现自身证据、并对自身数据的确定性坦诚相待的小公司,比一家过度渲染一个孤立结果的公司,能赢得更多的信任。

小型企业

一家规模较小但已站稳脚跟的服务提供者——一家团体诊所、一家单点专科诊所、一家小型设备或诊断供应商——既没有初创企业那种由投资者支持的证据推广量,也没有大型企业的综合分析团队,但它仍然必须能够读懂综合分析,才能做出稳态的决策。它现实的任务是消费,而不是生产:阅读一份指南的确定性评级,检查一份综述的人群是否与它实际治疗的患者相似,并留意某个采购或转诊习惯背后的证据是否已经悄悄过时。陷阱在于全盘依赖供应商精心挑选的证据材料包,或依赖单一一项令人印象深刻的试验,因为该诊所没有时间去评估更广泛的领域。恰当的做法是依靠诸如Cochrane、国家HTA机构、专业学会指南等可信机构已经在维护的综合分析,把它们的GRADE确定性评级当作头条信息,并对任何供应商的说法都提出一个有纪律的问题:这个说法在系统综述中处于什么位置,它有多新?

大型企业

一家大型制造商、服务提供者集团或保险公司,把综合分析作为一项产业化能力来运行:专职的证据综合和卫生经济学与结果研究团队,为多个司法辖区的申报制作系统综述和网络荟萃分析。其优势在于方法学的深度,以及构建一个涵盖所有相关比较对象的网络荟萃分析的能力;风险在于,同样的能力也可能被用来生产一份经过精心设计、有利于赞助方产品的综述——通过狭窄的检索、一个便利的模型选择,或悄悄的排除。企业的可信度取决于登记方案、遵循PRISMA、提交可复现的分析,并邀请HTA机构日益要求的独立复现。成熟的企业会认为,一份展现出真实不确定性的透明综合分析,比一份审阅者能够拆穿的光鲜综合分析更为持久。

政府

一个部委、全国性付费方或HTA机构,是综合分析的主要消费者和裁判,其纪律在于要求并按照一套公开的标准来开展综合分析。诸如NICE、IQWiG和WHO指南小组等机构,把建议建立在系统综述之上,并用GRADE对证据的确定性分级,正是为了使决策站得住脚、可复现,而不是被最有说服力的申报材料所俘获。政府还承担着其他部门所没有的责任:维护使诚实的综合分析成为可能的基础设施——试验登记库、综述协作组织、方法指南——并使高风险的综述保持"活体"状态,使国家指南不至于滞后于科学进展。一份综合分析所遗漏的内容,以及因一个错误的汇总估计值而受影响的患者,其问责最终都落在这里。

常见失败模式

• 披着证据外衣的叙述性综述。 一份精心挑选、非系统性的文献解读,却以一份综合分析的权威姿态呈现。修正方法:在信任任何"综述"之前,要求提供一份已登记的方案、明确的检索策略,以及PRISMA式的报告。

• 汇总不可比的研究。 对人群、剂量或设计各不相同的试验计算出一个精确的平均值,产生一个不描述任何真实患者的数字。修正方法:首先评估临床异质性和方法学异质性,并在汇总不合理时采用结构化的叙述性综合。

• 忽视那些从未被发表的研究。 仅检索几个数据库、仅限于期刊,导致缺失的阴性研究夸大了效应。修正方法:检索登记库、监管机构和灰色文献,寻求未发表的数据,并明确筛查发表偏倚。

• 把异质性平均掉。 报告一个单一的汇总估计值,却掩盖了研究之间存在强烈分歧这一事实。修正方法:用预先设定的亚组分析和荟萃回归来探究分歧,并报告变异情况,而不仅仅是均值。

• 把纳入当作认可。 对强弱研究赋予同等权重,把偏倚洗白成一个看似权威的平均值。修正方法:评估每项研究的偏倚风险,并在排除高风险研究后重新运行分析。

• 把效应大小和确定性混为一谈。 依据一个来自低确定性证据的巨大效应采取行动,仿佛它已成定论。修正方法:用GRADE对每个结果的确定性分级,并让确定性、而不仅仅是点估计值,来指导决策。

• 未经检验的间接比较。 在未检验传递性或一致性的情况下构建网络荟萃分析,使一个间接结果建立在不可比的试验之上。修正方法:展示网络,检验假设,并把薄弱的间接链条标记为低确定性。

• 陈旧的综合分析。 把一项决策锚定在一份检索早在数年前就已结束、而该领域已继续发展的综述上。修正方法:说明时效日期,检查此后出现了什么新证据,并使易变、高风险的综述保持活体状态。

成熟度模型

检查清单

• 确认在检索之前已登记方案,包含预先设定的问题、结果指标和分析计划。
• 检查检索是否涵盖了多个数据库、试验登记库和灰色文献——而不仅仅是期刊。
• 核实每一项纳入的研究都经过了偏倚风险评估,并且高风险研究在敏感性分析中经过了检验。
• 确定各项研究是否足够相似、可以汇总;如果不是,应预期得到一份结构化的叙述性综合,而不是一个单一数字。
• 注意是否使用了固定效应模型或随机效应模型及原因,以及结论在另一种模型下是否依然成立。
• 追问异质性是如何被探究的,以及亚组分析是预先设定的还是事后提出的。
• 寻找一项明确的发表偏倚检验(登记库对照、漏斗图),并把一个阳性结果解读为一个上限。
• 对于涉及多个比较对象的决策,确认任何网络荟萃分析都展示了其网络,并检验了传递性和一致性。
• 要求为每一个重要的结果提供GRADE(或同等的)确定性评级,与效应大小相独立。
• 确认综合分析以可复现的方式报告(PRISMA),检索、排除情况和汇总数据均可获取。
• 记录时效日期,以及什么样的新发现会重新打开这一决策。
• 使每一个经过综合的输入都与其所服务的模型和评价相匹配,并记录不同输入分别来自哪些不同的证据体系。

Key sources

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (eds. Higgins, Thomas et al.) — the international standard manual for systematic-review and meta-analysis methods.
• PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) — the reporting standard for systematic reviews and meta-analyses — https://www.prisma-statement.org
• GRADE Working Group — the framework for rating certainty of evidence and strength of recommendations — https://www.gradeworkinggroup.org
• NICE Decision Support Unit Technical Support Documents on evidence synthesis and network meta-analysis — methods guidance used in health technology assessment — https://www.sheffield.ac.uk/nice-dsu
• WHO Handbook for Guideline Development — how the World Health Organization uses systematic review and GRADE in global guidelines — https://www.who.int
• Cochrane and the international living-evidence collaborations — reference practice for keeping high-stakes syntheses current.

References

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org