人工智能卫生经济学

为什么这对卫生经济学很重要

人工智能(AI)已经在世界各地的卫生系统中从演示走向部署,资金也随之跟进:支付方、部委和服务提供者集团被要求购买诊断算法、分诊工具和决策支持系统,理由是它们能够削减成本或改善结果。这一承诺往往是真实的,但支撑它的证据常常比一种药物或一台设备所拥有的证据更薄弱,而其经济学的运作方式也有所不同。一位套用标准采购思维——固定价格、固定性能、一次性评估——的繁忙管理者,会以某种日后才会浮现的方式为这些技术错误定价,表现为维护账单、人力争端,或一场公平方面的丑闻。

其利害关系是卫生经济学中普通利害关系的加剧版。公共资金花在了那些收益取决于临床医生实际如何使用它们、而非它们在已发表研究中表现如何的工具上。安全性取决于一种可能随着人群和实践变化而悄悄退化的性能。而公平问题以一种特定的新方式暴露出来:一种针对某一人群训练的算法,可能系统性地未能服务好另一人群,把一项采购决策变成了一项分配决策。截至2020年代中期,美国食品药品监督管理局(FDA)和欧盟等监管机构已经开始为这类产品构建框架,但报销和评价实践落后于技术本身,让决策者只能临场应对。

本主题正是关于这一差距。它不会重新讲授经济评价——成本效果机制属于主题2.1《经济评价》,不确定性建模属于主题2.2《建模》——也不会重新涵盖诸如应用程序和远程医疗保健这类一般性数字工具,那属于主题5.2《数字健康经济学》。本主题讨论的是人工智能所特有的经济学:评价会学习的工具、为临床劳动的替代或增强赋值,以及将算法偏差视为落在真实人群身上的一种成本(公平的概念本身属于主题3.4《公平》)。

核心概念

医疗保健中的人工智能指使用计算系统——其中最具影响力的是用机器学习构建的系统,其模型是从数据中训练出来的,而非被明确编程——来执行原本需要临床判断的任务。在经济学上最重要的两大类是AI诊断(一种读取扫描图像、切片或信号并给出结论的算法)和临床决策支持系统(一种向人类决策者提出建议、排序或标记的工具)。二者通常都被监管为医疗软件——即用于医疗目的的软件——FDA等机构将其称为"作为医疗器械的软件"。

重塑这一经济学的第一个概念,是一款AI产品往往并非固定不变的。一台传统设备在你将其退役那天的表现,与你安装它那天的表现是一样的;而一个学习型模型可能会发生变化,或是因为供应商对其重新训练,或是因为其周围的世界发生了变化。概念漂移——以及与之相关的数据集偏移问题,即模型在实际服务中遇到的人群与其训练时所用的人群产生偏离——意味着性能可能悄悄退化。一项必须被监测、重新验证并定期重新训练的技术,带有一系列持续的成本和风险,而一次性的评估会遗漏这些。

第二个概念是自动化的劳动经济学。AI可以替代临床劳动(取代人类完成的一项任务)或增强它(使人类更快或更好地完成工作)。这一区分是经济性的,而非修辞性的:替代承诺带来人力节约,但这种节约是集中的、会重新分配工作,并可能使一个职业去技能化;增强承诺带来质量或吞吐量的提升,但往往会增加成本,而非消除成本。你实际购买的是哪一种,决定了价值的来源——以及商业方案是否建立在可兑现的节约之上,而如果被释放的时间只是被重新吸收,这种节约可能永远不会实现。

第三个概念是自动化偏差:人类过度信任机器输出的倾向,仅仅因为一项建议来自计算机就接受了一个错误的建议。这对评价而言很重要,因为一款决策支持工具在现实世界中的有效性,取决于人机团队,而非算法本身。一款单独测试时准确、却诱发自动化偏差、或因警报疲劳而被忽视的工具,不会带来其建模所预测的收益。

第四个概念是作为公平成本的算法偏差。当一个模型对某一亚组的表现更差时——因为该群体在训练数据中代表性不足,或因为使用了一个有偏差的代理指标作为标签——它可能系统性地剥夺该群体获得其他人所获收益的机会,或使其暴露于伤害之中。用经济学术语来说,这是一种分配性损失,而一个笼统的平均有效性数字会将其完全掩盖;一款工具可能在平均意义上具有成本效益,同时却使境况最差的人变得更糟。指出并测量这种损失,是诚实评价AI的核心(公平的测量机制属于主题3.4《公平》)。

评价框架仍然是卫生技术评估(HTA)——对一项技术的成本、收益和更广泛后果的系统性评估——但AI拉伸了这一框架。诸如英格兰国家卫生与临床优化研究所(NICE)、德国IQWiG和加拿大CDA-AMC这样的机构,正在调整其方法以适应会更新的技术,而欧盟人工智能法案(2024年通过)将许多医疗AI系统归类为高风险,给商业方案增加了一层合规成本。

最佳实践

1. 首先决定你购买的是替代还是增强,因为价值来源不同。 一个替代型方案建立在可兑现的节约之上——更少的判读工时、被关闭的诊疗单元、被重新调配的人员——只有当被释放的能力真正被撤除或重新使用、而非悄悄被重新吸收时,这些节约才算数。一个增强型方案建立在更好的结果或更高的吞吐量之上,通常伴随着额外的成本。应说明你所主张的是哪一种,并要求商业方案接受支持这一具体主张的证据检验,而非两者的混合。

2. 对整个生命周期进行成本核算,而非仅仅是许可费用。 一种医疗算法的购买价格往往是最小的一项。应加上与临床系统的集成、临床医生培训、工作流程如今所需的人工监督、持续的性能监测、定期的重新验证和重新训练、事故调查,以及诸如欧盟AI法案这类制度所带来的合规负担。一款相对于放射科医生薪水而言看似便宜的工具,一旦其真实的总拥有成本被摆上台面,可能就会显得昂贵。

3. 评价人机团队,而非算法本身。 一个模型独立的敏感性和特异性是输入指标,而非答案。真正决定价值的是临床医生如何根据其输出采取行动——他们是过度信任它(自动化偏差)、忽视它(警报疲劳),还是妥善地将其融入判断之中。应坚持要求来自预期工作流程和人力的证据,并将从未在实际服务中测试过的、令人印象深刻的计算机模拟准确性,视为一项未经证实的主张。

4. 将算法偏差视为一种可测量的成本,而非合规脚注。 应要求按你的人群实际所包含的群体——年龄、性别、族裔、肤色、共病情况、语言、社会经济地位——细分报告性能,而不仅仅是汇总报告。一款提高了平均结果、却扩大了群体间差距的工具,带有一种应纳入评估的公平成本;应使其可见并加以权衡,因为对一项公共服务而言,一个掩盖了受损亚组的平均数是不够好的(见主题3.4《公平》)。

5. 为一项学习型技术的维护定价,并将其纳入合同。 由于性能可能漂移,应从第一天起就将持续的监测和重新验证作为一项运营成本编列预算,并将维护义务写入合同。应在购买之前确立,当模型退化时由谁负责,重新验证的频率如何,以及什么会触发撤回——从而使"谁在监视这个模型"这个问题由设计来回答,而非在一次事故之后才被发现。

6. 对会更新的模型,坚持要求一份变更管理计划。 一项在采购之后会发生变化的技术,打破了"评估是一次性事件"这一假设。应优先选择那些将未来变更范围预先明确并加以治理的安排——这正是FDA针对自适应AI/ML设备的"预先确定的变更控制计划"背后的思路——以便你知道供应商可以在无需重新批准的情况下更改什么,以及什么会需要一次全新的评价。购买一项对模型进行无限变更的权利,就是在购买一种未经定价的风险。

7. 要求一个真实的比较对象,并警惕从准确性到结果的跳跃。 相关的问题很少是"这个AI准确吗",而是"在计入一切之后,它在结果和成本上是否胜过现行做法"——更高的诊断准确性并不会自动转化为更好的健康或更低的支出。更多的发现可能意味着更多的随访、更多的过度诊断,以及更多没有收益的成本。应要求提供证据,将该工具与下游结果和净资源使用相联系,并与真实的照护标准相比较,而非与一个稻草人相比较(因果推断标准属于主题2.3《卫生计量经济学》)。

8. 使评估的严谨程度与决策的利害关系及可逆性相匹配。 一款临床医生能够以低成本推翻其建议的低风险增强型工具,所需的评价应比一款决定谁被召回的自主诊断工具更为轻量。应根据该工具出错的后果以及撤销的难度,来调整你所要求的证据和你所承诺的监测强度,而非对一切都套用同一套模板(这是优先排序的纪律;见主题3.3《配给》)。

9. 诚实地对反事实人力状况建模。 如果这个方案依赖于人员节约,就应明确说明这些人员原本会做什么,以及这种节约是否真实。在一个存在人力短缺的系统中,"被释放"的临床医生时间通常会被未满足的需求重新吸收,因此其收益是提供了更多的照护,而非节省了资金——这是一种真实的收益,但性质不同,它会改变你的组织中应由谁来签署这份商业方案。

10. 在信赖证据之前先将其本地化。 一个在某个国家、支付方或患者构成中经过验证的模型,在你这里的表现可能有所不同,因为人群、疾病患病率、影像设备或编码实践存在差异。应要求在部署之前,基于代表你自身人群的数据进行验证,并将供应商来自别处的头条数字视为一个需要本地测试的假设,而非一个可以直接采信的结果。

11. 在进入之时就规划退出。 学习型工具会失效、漂移、失去监管地位,或被取代,而临床服务在这些情况发生时必须能够继续运行。在部署之前,应确认员工保留了在没有该工具的情况下工作的技能和能力,数据和工作流程没有与单一供应商纠缠到无法离开的地步,并且一次撤回本身不会伤害患者——去技能化是一种缓慢的成本,只有当你试图停止使用时才会显现。

12. 将AI评价保留在你现有的、经过扩展的卫生技术评估和治理体系之内——而非另开一条快车道。 将AI视为特殊事物的压力,可能会成为绕开适用于任何其他卫生技术的审查的借口。应通过你在其他地方使用的同一套经济评价、安全和公平治理机制来处理这些决策,增加AI特有的漂移、偏差和人为因素问题,而不是让供应商的热情取代这一学问的严谨性。

需要与团队讨论的问题

1. 我们购买这款工具是为了替代临床工作,还是为了改进它——我们的商业方案是否诚实地与这个答案相匹配? 这个问题迫使人们做出大多数商业方案都模糊处理的选择,即同时宣称人力节约和质量提升,却对两者都未加证明。如果主张是替代,就应追问这种节约是否可以兑现:岗位是否真的会被关闭,还是被释放的时间会被等候名单吞噬,使真正的收益变成"更多的照护"而非"更少的成本"?如果主张是增强,就应追问增加的质量是否能够证明增加的成本是合理的,因为增强几乎总是会增加支出。诚实的答案会指出一个主要的价值来源,说明组织中谁对实现它负责,并承认哪些节约是投机性的。一个说不清自己究竟在买什么的团队,还没有准备好购买。

2. 这个算法可能对谁服务不足,我们会在它造成伤害之前察觉吗? 算法偏差很少在头条结果中显现出来;它隐藏在一个看起来不错的平均数之中。应追问训练数据中哪些群体代表性不足或缺失,模型所学到的标签是一个公平的代理指标,还是一个有偏差的指标,以及你是否拥有足够细致的数据来检测按族裔、性别、肤色、语言或贫困程度划分的差距。张力在于,收集和监测亚组表现需要花费金钱和精力,而一次承受压力的部署会想要跳过这些步骤。一个诚实的答案会明确说明你将监测哪些亚组、差距达到什么阈值会触发行动,并坦诚承认你目前无法看见的群体——因为一种你无法测量的公平危害,会通过投诉被发现。

3. 当这个模型退化、变化,或必须被关闭的那一天到来时,我们的计划是什么? 与传统设备不同,一项学习型技术可能悄悄漂移、被其供应商重新训练、失去监管地位,或干脆失效——而服务必须继续运行。讨论一下谁负责监视实际服务中的性能,模型多久重新验证一次,以及什么样可观察的触发条件会导致你撤回它。审视你的临床医生在依赖它两年之后,是否仍然有能力在没有它的情况下工作,以及你的数据和工作流程是否与单一供应商纠缠到无法承受离开的地步。诚实的答案是一位具名的负责人、一个监测节奏、一个撤回触发条件,以及一种得到保留的备用能力——而不是寄望于供应商会一直维持其正常运行。

4. 我们是否对这款工具的整个生命周期进行了成本核算,还是只算了它的购买价格? 许可费用通常是一份医疗AI预算中最小的一项,但它却是主导着提交到董事会的商业方案的那个数字。应追问团队,列出这款工具所产生的每一项下游成本:与临床系统的集成、员工培训、工作流程如今所需的常设人工监督、持续的性能监测、定期的重新验证和重新训练、事故调查,以及诸如欧盟AI法案这类制度所带来的合规负担。张力在于,这些成本中许多是反复出现、分散的,因此它们落在了从未被咨询过的运营预算上,而节约却是在中央、预先入账的。一个诚实的答案会把这款工具在其现实生命周期内的总拥有成本与收益相比较,说明每一项反复出现的费用由哪个预算承担,并抵制供应商本能地拿许可费用与临床医生的薪水相比较、仿佛其他一切都不会改变的做法。

5. 我们购买的是算法本身,还是我们的临床医生实际使用它的方式? 一个模型独立的敏感性和特异性描述的是这件工具在实验台上的表现,而非真正提供照护的人机团队,而模型收益悄悄消失的地方,正是这两者之间的差距。讨论一下你的临床医生是否可能过度信任其输出(自动化偏差)、在大量警报中忽视它(警报疲劳),还是明智地将其融入判断——以及你的工作流程、培训和文化中有哪些因素会推向每一种结果。令人不安的一点是,同一个算法可能在一处服务中有所帮助,而在另一处造成伤害,纯粹是因为周围人的行为方式不同,因此来自他人部署的证据只是关于你自己情况的一个假设,而非一个结果。一个诚实的答案会坚持要求来自预期工作流程和人力的证据,将人为因素和变更管理工作规划为购买的一部分,并将从未在实际服务中测试过的、令人印象深刻的计算机模拟准确性,视为一项未经证实的主张。

6. 相较于一个真实的比较对象,这款工具在结果和成本上是否真的胜过现行做法? 诱人的问题是"这个AI准确吗";而与决策相关的问题是"在计入一切之后,它在重要的事情上是否比我们现在的做法做得更好"。应审视这一比较是与你真正的照护标准相比,还是与一个被削弱的稻草人相比,以及更高的诊断准确性是否已被证明能转化为更好的健康,而非仅仅是更多的发现、更多的随访、更多的过度诊断和更多的成本。张力在于,准确性容易展示、也易于营销,而下游结果和净资源方面的证据却缓慢、昂贵,且常常缺失——因此压力会促使人们接受前者作为后者的代理指标。一个诚实的答案会指出真实的比较对象,要求提供将该工具与下游结果和净资源使用相联系的证据,并愿意在从准确性到收益的链条尚未得到证明时说"尚未证实"(因果推断标准属于主题2.3《卫生计量经济学》)。

实践中的卫生经济学案例

草原卫生局是一个虚构的、位于加拿大西部的单一支付方区域卫生服务机构,正在考虑引入一套用于筛查糖尿病视网膜病变的AI系统——这是糖尿病患者中可预防失明的主要原因之一。目前,来自社区诊所的视网膜照片由一支规模不大的眼科医生和经过培训的判读员队伍来判读,而该地区的人手已经跟不上需求:农村和原住民社区尤其面临长时间等待,一些患者的图像甚至还未被判读就已失去随访联系。一家供应商提供了一种能够自动判读图像的算法,只将阳性或无法判读的病例转诊给人工处理。其宣传的卖点是人力节约和更快的结果。

该卫生局的卫生经济学家首先明确了究竟在购买什么。供应商将其框定为替代——算法取代了判读员的时间——但在一个存在筛查积压的系统中,被释放的判读能力会被未经检测的积压病例所吸收,而非被兑现。他们得出的结论是,真正的收益是能力的增强:更多的人得到筛查、更早地得到筛查,尤其是在服务不足的社区,并且下游可预防失明的情况有望减少。这一重新界定改变了整个论证。这种节约不是薪酬预算中的一个数字;它是健康收益和公平收益,必须依据主题2.1《经济评价》的每质量调整生命年成本机制来赋值,而非简单的人员编制相减。

随后,他们直接审视了公平维度。该模型主要是在另一个国家的城市人群视网膜图像上训练的;其已发表的准确性在汇总层面上很强,但从未在该卫生局的原住民和农村患者身上测试过,而这些患者的糖尿病患病率很高,其影像常常是在光线多变的条件下用较旧的相机拍摄的。团队拒绝接受供应商的头条数字可以直接照搬。他们委托在一个具有代表性的样本上进行本地验证,并要求按社区、相机型号和图像质量来报告性能——因为一款恰恰在需求最大之处表现更差的工具,会把一项本应减少不平等的筛查项目,变成一项扩大不平等的项目,这种算法偏差成本无论在危害还是在声誉上都会远远超过许可费用。

全生命周期成本核算让财务总监感到意外。除了许可费用之外,这个方案还必须承担与影像系统的集成、诊所员工的培训、对无法判读图像进行人工复核的常设安排,以及至关重要的一点——随着相机、人群和糖尿病治疗方式多年来的变化,对概念漂移进行持续监测。团队将维护和重新验证义务写入合同,为模型更新明确规定了预先确定的范围,并指定了一位对实际服务中性能负责的临床负责人。他们还坚持要求一个备用方案:保留足够的人工判读能力,使这款工具一旦被撤回也不会使服务陷入瘫痪。

该卫生局批准了一次分阶段部署:先进行本地验证,然后从需求最高的社区开始进行受监测的推行,亚组表现仪表盘每季度审查一次,并设有一个预先商定的准确性下限,一旦触及便会引发调查或撤回。这一经济学评价被判定为有利的——这款工具将稀缺的专科能力延伸到了此前被遗漏的人群——但评估明确指出,其价值取决于监测和公平保障措施,而非算法本身。董事会所汲取的教训是,一次AI采购是一项持续的承诺,而非一次性的购买,而公平问题不是一条脚注,而是这一论证的核心。

四种部门视角

初创企业

一家健康AI初创企业通常拥有关于算法准确性的有力证据,却只有关于经济价值或真实世界效果的薄弱证据,其生存取决于一条可能尚不存在的报销路径。诱惑在于把准确性当作结果来推销,并低估买家最终会要求的维护、监测和公平方面的工作成本。那些从一开始就为可评价性而设计的创始人——预先设定亚组表现指标、内置监测机制,并在具有代表性的人群上进行验证——构建出的是一种支付方真正能够购买的东西。可信的卖点不是在某个基准测试上最佳的曲线下面积,而是一项关于结果、成本和谁受益的、经过真实工作流程测试的、站得住脚的主张。

小型企业

一家规模较小但已站稳脚跟的服务提供者——一家放射科诊所、一家独立诊所、一家专科实验室,或一家小众软件供应商——将购买AI视为一项已经拍板的商业决策,而非一场生死攸关的赌博,它的制约与初创企业恰恰相反:评价、集成和监测一款学习型工具的能力有限,而非产品有限。这样的买家很少拥有数据科学团队来开展本地验证,也没有治理职能来监视漂移,因此它异常容易受到供应商头条数字的影响,也容易受到那些比销售本身持续更久的反复成本——监督、重新验证、合规——的影响。明智的姿态是依靠现有的共享或外部保障——一个专业机构的评价、一份国家卫生技术评估的结论、一项集体采购安排——而非试图独自承担它无力负担的审查工作。它独有的风险是悄然发生的锁定和去技能化:一家围绕单一工具重塑其工作流程的小型诊所,可能会发现离开它、或没有它的情况下工作,已经变得无法负担,因此在这里,保留一个备用方案并仔细阅读合同的退出条款,比许可价格更重要。

大型企业

一家大型医院集团或保险公司将AI作为一个投资组合来购买,并要面对供应商所掩饰的运营现实:集成、临床医生的采纳、警报疲劳、大规模的监测,以及在多个地点依赖工具所带来的去技能化风险。在这一规模上,替代与增强之争是一个带有劳资关系后果的人力战略问题,而一次搞砸的"节省人力"部署,在争端和返工上所付出的代价,可能超过它曾经节省的一切。大型企业也是算法偏差从单一个案变成系统性负债的地方,因此成熟的企业会建立常设治理机制——模型登记册、性能仪表盘、重新验证时间表——并将AI监督视为一项永久性职能,而非一个项目。

政府

一个部委或国家支付方通过监管、卫生技术评估方法和报销设计,设定其他所有人所遵循的规则,它还承担着市场不会为其定价的失灵——落在受保护群体身上的偏差、危及安全的漂移,以及自动化在整个系统范围内的人力后果。它的杠杆是最广泛的:按风险对医疗AI进行分类(如欧盟AI法案所做的那样)、要求进行具有代表性的验证和上市后监测,以及决定是否以及如何为学习型技术付费。它的纪律也必须是最广泛的,因为一条仅凭供应商的准确性主张就放行AI的快车道,或一条按算法判读数量付费的报销规则,会同时在每一个服务提供者身上传播同一个错误。政府独有的职责,是使评价、公平和监测成为默认的准入条件,而非可选的附加项(其政策机制属于主题3.2《卫生政策》)。

常见失败模式

• 把准确性当作结果来推销。 把一个高诊断准确性数字当作健康或成本收益的证明。对策: 要求提供将该工具与下游结果和净资源使用相联系、并与真实的现行做法相比较的证据。

• 记录永远无法兑现的节约。 宣称的人力节约被未满足的需求悄悄重新吸收。对策: 说明岗位是否真的会关闭;如果被释放的时间被重新使用,就把这个方案的价值评估为提供了更多照护,而非节省了资金。

• 忽视环节中的人。 只评价算法本身,遗漏了自动化偏差和警报疲劳。对策: 在预期的工作流程和人力条件下评价人机团队。

• 用平均数掩盖公平损害。 只报告汇总性能,遗漏了该工具服务不足的某个亚组。对策: 要求并监测按你的人群所包含的群体细分的性能,并设定行动阈值。

• 对学习型工具进行一次性评估。 把一个自适应模型当作固定不变的设备来对待,从不重新验证它。对策: 为持续的监测、重新验证和一份变更控制计划编列预算并纳入合同。

• 因疏忽而造成锁定和去技能化。 变得如此依赖单一工具和供应商,以至于无法撤回,员工也无法在没有它的情况下工作。对策: 保留备用能力,并在进入之时就规划退出。

• 为AI开设一条特殊快车道。 因为这项技术令人兴奋而绕开正常的卫生技术评估、安全和公平审查。对策: 通过现有的治理机制来处理AI,并增加漂移、偏差和人为因素方面的问题。

成熟度模型

检查清单

• 明确说明这款工具是替代还是增强临床劳动,并使商业方案与这一主张相匹配。
• 对整个生命周期进行成本核算——集成、培训、监督、监测、重新验证、重新训练和合规——而不仅仅是许可费用。
• 要求提供来自预期人机工作流程的证据,而非独立的算法准确性数据。
• 要求按你人群所包含的亚组报告性能,并为任何公平差距设定行动阈值。
• 在部署之前,基于代表你自身人群的数据对模型进行验证。
• 确认一个真实的比较对象,以及准确性能够转化为结果和净资源使用的证据。
• 为持续的监测、重新验证和一份预先确定的变更控制计划编列预算并纳入合同。
• 指定一位对实际服务中性能负责的负责人,以及一个触发调查或撤回的条件。
• 诚实地对反事实人力状况建模,包括节约是否可以兑现,还是会被重新吸收。
• 保留备用能力并规划退出,防范去技能化和供应商锁定。
• 通过现有的卫生技术评估、安全和公平治理机制来处理这项决策,并增加AI特有的问题。

主要来源

• WHO,《人工智能用于健康的伦理与治理》— 世界卫生组织关于卫生领域AI的指导文件,包括公平和治理原则。
• 美国食品药品监督管理局 — 关于作为医疗器械的软件(SaMD)以及针对自适应AI/ML设备的预先确定变更控制计划的指导文件。
• 欧盟 — 《人工智能法案》(2024年),将许多医疗AI系统归类为高风险。
• NICE — 数字健康技术证据标准框架,以及不断演变的、用于评价AI和数据驱动技术的方法(截至2020年代中期)。
• OECD — 《Health at a Glance》以及OECD关于卫生系统中AI的研究,提供跨国背景。
• ISPOR — 关于卫生技术经济评价的良好实践指南,应用于AI赋能的照护。

参考文献

1. Artificial intelligence in healthcare — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence_in_healthcare
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Clinical decision support system — Wikipedia — https://en.wikipedia.org/wiki/Clinical_decision_support_system
4. Medical software — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
5. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
6. Automation — Wikipedia — https://en.wikipedia.org/wiki/Automation
7. Deskilling — Wikipedia — https://en.wikipedia.org/wiki/Deskilling
8. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
9. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
10. Health technology assessment — Wikipedia — https://en.wikipedia.org/wiki/Health_technology_assessment
11. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
12. Diabetic retinopathy — Wikipedia — https://en.wikipedia.org/wiki/Diabetic_retinopathy
13. World Health Organization — Ethics and Governance of Artificial Intelligence for Health — https://www.who.int/publications/i/item/9789240029200
14. U.S. Food and Drug Administration — Artificial Intelligence and Machine Learning in Software as a Medical Device — https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-software-medical-device
15. NICE — Evidence Standards Framework for Digital Health Technologies — https://www.nice.org.uk/corporate/ecd7