AI健康経済学

なぜ健康経済学において重要か

人工知能(AI)は、世界中の医療制度において実証から展開へと移行しており、資金は今やそれに続いている。支払者、省庁、提供者団体は、費用を削減するかアウトカムを改善するという約束のもとで、診断アルゴリズム、トリアージ道具、意思決定支援システムを買うよう求められている。その約束はしばしば本物であるが、それを支持するエビデンスは薬や機器よりもしばしば薄く、経済学は異なる振る舞いをする。標準的な購入の反射——固定価格、固定性能、一度限りの評点——を適用する多忙な指導者は、これらの技術に誤って価格をつけ、それは後になって、維持管理費、労働力紛争、あるいは公平性のスキャンダルとして表面化するだろう。

その利害は、健康経済学の通常の利害の、鋭くされたものである。公的資金は、その便益が公表された研究でどう機能するかではなく、臨床医が実際にどう使うかにかかっている道具に費やされる。安全性は、人口と実践が変化するにつれて静かに劣化しうる性能にかかっている。そして公平性は、特有の新しい方法で露呈する。一つの人口で訓練されたアルゴリズムは、別の人口を系統的にうまくサービスできず、調達の決定を分配的な決定に変える。2020年代半ば時点で、米国食品医薬品局(FDA)や欧州連合のような規制当局はこれらの製品のための枠組みを構築し始めているが、払い戻しと評価の実践は技術に遅れをとっており、意思決定者は即興でやらなければならない。

このトピックはその隔たりについてである。それは経済評価を再び教えるものではない——費用対効果の機構はトピック2.1——経済評価に、不確実性のモデリングはトピック2.2——モデリングにある——また、アプリや遠隔医療のような一般的なデジタル道具を再びカバーするものでもなく、それらはトピック5.2——デジタルヘルス経済学に属する。それはAIに特有の経済学を担う。学習する道具を評価すること、臨床労働の代替あるいは増強に価値をつけること、そしてアルゴリズムのバイアスを実在の人々に降りかかる費用として扱うことである(公平性の概念そのものはトピック3.4——公平性にある)。

中核概念

医療における人工知能は、計算システム——最も重要なのは機械学習で構築されたもので、モデルは明示的にプログラムされるのではなくデータで訓練される——を用いて、そうでなければ臨床的判断を要するであろう仕事を行うことを指す。経済的に最も重要な二つの系統は、AI診断(スキャン、スライド、あるいは信号を読み取り所見を返すアルゴリズム)と臨床意思決定支援システム(人間の意思決定者に推奨し、順位づけし、あるいは旗を立てる道具)である。どちらも通常、医療用ソフトウェア——医療目的を意図したソフトウェア——として規制され、FDAなどはこれを「医療機器としてのソフトウェア」と呼ぶ。

経済学を作り変える最初の概念は、AI製品がしばしば固定されていないということである。従来の機器は、廃止する日でもインストールした日と同じように機能する。学習するモデルは、販売業者がそれを再訓練するか、あるいはその周りの世界が変化するために、変化しうる。コンセプトドリフト——そして、モデルがサービス中に出会う人口が訓練された人口から乖離する、データセットシフトの関連する問題——は、性能が静かに劣化しうることを意味する。監視され、再検証され、定期的に再訓練されなければならない技術は、一度限りの評点では見逃される継続的な費用とリスクの流れを担う。

二番目の概念は自動化の労働経済学である。AIは臨床労働を代替する(人間が行っていた仕事を置き換える)ことも、それを増強する(人間をより速く、あるいはより良くする)こともできる。その区別は経済的であって修辞的ではない。代替は労働力の節約を約束するが、それを集中させ、仕事を再配分し、専門職を脱技能化しうる。増強は質あるいは処理能力の向上を約束するが、それを取り除くのではなくしばしば費用を加える。あなたが実際に何を買っているかが、価値がどこから来るかを決定する——そして事業計画が、解放された時間が単に再吸収されれば決して実現しないかもしれない現金化可能な節約に依拠しているかどうかもである。

三番目の概念は自動化バイアスである。機械の出力を過信する人間の傾向であり、それがコンピュータから来たという理由で誤った推奨を受け入れることである。これが評価にとって重要なのは、意思決定支援道具の現実世界での有効性が、アルゴリズム単独ではなく人間と機械のチームにかかっているからである。単独では正確であるが自動化バイアスを引き起こす、あるいはアラート疲労によって無視される道具は、そのモデル化された便益を届けないだろう。

四番目の概念は、公平性の費用としてのアルゴリズムバイアスである。モデルがある下位集団に対してより悪く機能するとき——その集団が訓練データにおいて過少代表されていたため、あるいはバイアスのかかった代理がラベルとして用いられたため——それはその集団が他の人々が受ける便益を系統的に否定するか、害にさらしうる。経済的な用語では、これは見出しの平均有効性の数字が完全に隠す分配的な損失である。道具は平均して費用対効果が高い一方で、最も恵まれない人々をより悪くしうる。その損失を名指し測定することは、AIを正直に評価することの核心である(公平性の測定機構はトピック3.4——公平性にある)。

評価の枠組みは医療技術評価(HTA)——技術の費用、便益、より広い帰結の体系的な評点——のままであるが、AIはそれを引き伸ばす。イングランドの国立医療技術評価機構(NICE)、ドイツのIQWiG、カナダのCDA-AMCのような機関は、更新される技術にその手法を適応させており、EU人工知能法(2024年採択)は多くの医療AIシステムを高リスクに分類し、事業計画が担わなければならないコンプライアンス費用の層を加える。

ベストプラクティス

1. 代替と増強のどちらを買っているかを最初に決めよ。価値は異なる場所から来るからである。 代替の事例は現金化可能な節約——より少ない読影時間、閉じられるセッション、再配置された職員——に依拠するが、それは解放された能力が実際に取り除かれるか再利用される場合にのみ数え、静かに再吸収される場合は数えない。増強の事例は、通常は追加の費用を伴う、より良いアウトカムあるいはより高い処理能力に依拠する。どちらを主張しているかを述べ、事業計画を両方の混合ではなくその特定の主張を支持するエビデンスに照らして保て。

2. ライセンスではなく全ライフサイクルを費用計上せよ。 医療アルゴリズムの購入価格はしばしば最小の項目である。臨床システムとの統合、臨床医の訓練、ワークフローが今や要求する人間の監督、継続的な性能監視、定期的な再検証と再訓練、インシデント調査、そしてEU AI法のような制度のコンプライアンス負担を加えよ。放射線科医の給料に対して安く見える道具は、その真の総所有費用がページに載れば高価に見えうる。

3. アルゴリズムではなく人間と機械のチームを評価せよ。 モデルの単独の感度と特異度は入力であって答えではない。真の価値を決定するのは、臨床医がその出力にどう行動するか——過信する(自動化バイアス)か、無視する(アラート疲労)か、それともうまく使うか——である。意図されたワークフローと労働力からのエビデンスを主張し、サービス中に一度も試験されていない印象的なイン・シリコの精度を証明されていない主張として扱え。

4. アルゴリズムバイアスを、コンプライアンスの脚注としてではなく測定可能な費用として扱え。 性能を、集約だけでなく、あなたの人口が実際に含む集団——年齢、性別、民族性、肌の色、併存疾患、言語、社会経済的地位——によって分解して報告するよう要求せよ。平均アウトカムを上げながら集団間の隔たりを広げる道具は、評点に属する公平性の費用を持つ。それを可視化し重みづけせよ。なぜなら、害を受けた下位集団を隠す平均は公共サービスには十分でないからである(トピック3.4——公平性を参照)。

5. 学習する技術の維持管理に価格をつけ、それを契約せよ。 性能はドリフトしうるため、初日から継続的な監視と再検証を経常費用として予算化し、維持管理の義務を契約に書き込め。誰がモデルが劣化したときに説明責任を負うか、どれほどの頻度で再検証されるか、何が撤回を引き起こすかを購入前に確立せよ——「誰がモデルを見守るか」がインシデントの後に発見されるのではなく設計によって答えられるようにである。

6. 更新されるモデルのための変更管理計画を主張せよ。 調達後に変化する技術は、評点が一度限りのイベントであるという前提を壊す。将来の変更の範囲が事前に指定され統治される取り決め——適応的なソフトウェア/機械学習対応機器のためのFDAの「事前決定済み変更管理計画」の背後にあるアプローチ——を優先せよ。それにより、販売業者が再承認なしに何を変更できるか、何が新たな評価を要求するかがわかる。モデルを変更する無制限の権利を買うことは、価格づけされていないリスクを買うことである。

7. 本物の比較対象を要求し、精度からアウトカムへの飛躍に警戒せよ。 関連する問いは、めったに「AIは正確か」ではなく「それはアウトカムと費用において現在の実践を上回るか」である——そしてより高い診断精度は自動的により良い健康あるいはより低い支出に変換されない。より多くの所見は、より多くの追跡調査、より多くの過剰診断、そして便益のないより多くの費用を意味しうる。道具を下流のアウトカムと実際の標準治療に対する純資源利用に結びつけるエビデンスを、藁人形ではなく要求せよ(因果推論の基準はトピック2.3——医療計量経済学にある)。

8. 評点の厳密さを決定の利害と可逆性に一致させよ。 臨床医が安価に覆せる低リスクの増強道具は、誰が再召喚されるかを決定する自律的な診断よりも軽い評価に値する。道具が間違っていることの帰結とそれを元に戻す難しさに、要求するエビデンス——そして委任する監視——を比例させよ。すべてに一つの雛形を適用するのではなくである(これは優先順位づけの規律であり、トピック3.3——配給を参照)。

9. 反実仮想の労働力を正直にモデル化せよ。 その事例が職員の節約にかかっているなら、その職員がそうでなければ何をするか、そしてその節約が本物かどうかを明示せよ。労働力不足のある制度では、「解放された」臨床医の時間は通常、満たされていない需要によって再吸収され、したがって便益は節約された資金ではなくより多く提供されるケアである——本物の利得であるが、誰が事業計画を承認すべきかを変える異なる利得である。

10. エビデンスを信頼する前にそれを現地化せよ。 ある国、支払者、あるいは患者構成で検証されたモデルは、人口、疾病の有病率、画像機器、あるいはコーディングの実践が異なるため、あなたのものでは異なる性能を発揮するかもしれない。展開前にあなた自身の人口を代表するデータでの検証を要求し、他所からの販売業者の見出しの数字を、銀行に預けられる結果としてではなく現地で試験すべき仮説として扱え。

11. 入口の時点で出口を計画せよ。 学習する道具は失敗し、ドリフトし、規制上の地位を失い、あるいは取って代わられ、臨床サービスはそのときも稼働し続けなければならない。展開前に、職員がその道具なしで働く技能と能力を保持していること、データとワークフローが一つの販売業者と離脱が不可能なほど絡み合っていないこと、そして撤回それ自体が患者を害さないことを確認せよ——脱技能化はゆっくりとした費用であり、止めようとしたときにのみ現れる。

12. AI評価を既存のHTAとガバナンスの中に留め、拡張せよ——別個の高速車線としてではなく。 AIを特別として扱う圧力は、他の健康技術に適用される精査を回避する言い訳になりうる。これらの決定を、あなたが他所で用いるのと同じ経済評価、安全性、公平性のガバナンスを通し、規律を販売業者の熱意で置き換えるのではなく、ドリフト、バイアス、人的要因というAI特有の問いを加えよ。

チームと議論すべき問い

1. 私たちはこの道具を臨床業務を置き換えるために買っているのか、それを改善するために買っているのか——そして私たちの事業計画はその答えに正直に一致しているか。 この問いは、ほとんどの事業計画がぼかす選択を強制する。どちらも証明せずに、労働力の節約と質の向上を同時に主張することである。主張が代替であれば、その節約が現金化可能かどうかを追及せよ。ポストは実際に閉じられるのか、それとも解放された時間は待機リストに飲み込まれ、真の便益を「費用が少ない」ではなく「ケアが多い」にするのか。主張が増強であれば、加えられた質が加えられた費用を正当化するかどうかを追及せよ。なぜなら増強はほぼ常に支出を加えるからである。誠実な答えは価値の一つの主要な源を名指し、組織の中で誰がそれを実現する説明責任を負うかを述べ、どの節約が投機的であるかを認める。何を買っているかをはっきり言えないチームは買う準備ができていない。

2. このアルゴリズムは誰をうまくサービスできないだろうか、そして害を引き起こす前に私たちはそれに気づくだろうか。 アルゴリズムバイアスはめったに見出しの結果に見えない。それは良く見える平均の中に隠れる。訓練データの中であなたの人口のどの集団が薄いあるいは存在しなかったか、モデルが学習したラベルが公正な代理かバイアスのかかった代理か、そして民族性、性別、肌の色、言語、あるいは困窮度による隔たりを検出するのに十分細かくデータを分解しているかを問え。緊張関係は、下位集団の性能を収集し監視することが、圧力のかかった展開がスキップしたがる資金と労力を要するということである。誠実な答えは、監視する下位集団、隔たりが行動を引き起こす閾値、そして現在見ることができない集団の率直な認めを具体的に示す——測定できない公平性の害は苦情を通じて発見することになる害だからである。

3. このモデルが劣化する、変化する、あるいは停止されなければならない日のために私たちの計画は何か。 従来の機器とは異なり、学習する技術は静かにドリフトし、販売業者によって再訓練され、規制上の地位を失い、あるいは単純に失敗しうる——そしてサービスは続かなければならない。誰がサービス中の性能を見守る説明責任を負うか、どれほどの頻度でモデルが再検証されるか、そしてどの観察可能なトリガーがそれを撤回させるかを議論せよ。2年間の依存の後、あなたの臨床医がそれなしで働く能力をまだ持っているか、そしてあなたのデータとワークフローが一つの供給業者とあまりに絡み合っていて離脱が手に負えないかどうかを探れ。誠実な答えは、名指された所有者、監視の頻度、撤回のトリガー、そして保持されたフォールバック能力である——販売業者が物事を機能させ続けるだろうという希望ではない。

4. 私たちはこの道具の全ライフサイクルを費用計上したか、それともその購入価格だけか。 ライセンスは通常、医療AI予算の中で最小の項目であるが、それは理事会に届く事業計画を支配する数字である。チームに、その道具が生み出すすべての下流の費用——臨床システムとの統合、職員の訓練、ワークフローが今や要求する常設の人的監督、継続的な性能監視、定期的な再検証と再訓練、インシデント調査、そしてEU AI法のような制度のコンプライアンス負担——を名指すよう追及せよ。緊張関係は、これらの費用の多くが反復的で拡散しており、したがって相談されたことのない運用予算に降りかかる一方で、節約は中央で事前に計上されるということである。誠実な答えは、道具の現実的な生涯にわたる総所有費用を便益に対して置き、どの予算が各反復的な項目を担うかを名指し、何も変わらないかのようにライセンス料を臨床医の給料と比較する販売業者の本能に抵抗する。

5. 私たちはアルゴリズムを買っているのか、それとも私たちの臨床医が実際にそれをどう使うかを買っているのか。 モデルの単独の感度と特異度はベンチの上の道具を記述するのであって、ケアを届ける人間と機械のチームを記述するのではなく、その二つの隔たりこそが、モデル化された便益が静かに消える場所である。あなたの臨床医が出力を過信しそうか(自動化バイアス)、アラートの洪水の中でそれを無視しそうか(アラート疲労)、それとも判断に賢明に組み込むか、そしてあなたのワークフロー、訓練、文化の何がそれぞれに向けて押すかを議論せよ。不快な点は、同じアルゴリズムが純粋にその周りの人々の振る舞い方のために、あるサービスでは助け、別のサービスでは害しうるということであり、したがって他人の展開からのエビデンスはあなたのものについての仮説であって結果ではない。誠実な答えは、意図されたワークフローと労働力から引き出されたエビデンスを主張し、人的要因と変更管理の仕事を購入の一部として計画し、サービス中に一度も試験されていない印象的なイン・シリコの精度を証明されていない主張として扱う。

6. この道具は、本物の比較対象に対して、アウトカムと費用において実際に現在の実践を上回るのか。 魅力的な問いは「AIは正確か」であり、決定に関連する問いは「それはすべてが数えられたとき、重要なことにおいて私たちが今やっていることより良くやるか」である。比較があなたの本物の標準治療に対してか弱められた藁人形に対してか、そしてより高い診断精度が単により多くの所見、より多くの追跡調査、より多くの過剰診断、より多くの費用ではなくより良い健康に変換されることが示されているかを追及せよ。緊張関係は、精度は実証しやすく安価に売り込めるが、下流のアウトカムと純資源のエビデンスは遅く高くつきしばしば欠けているということであり、したがって前者を後者の代理として受け入れる圧力がある。誠実な答えは本物の比較対象を名指し、道具を下流のアウトカムと純資源利用に結びつけるエビデンスを要求し、精度から便益への連鎖が示されていないときに「まだ証明されていない」と言う意志を持つ(因果推論の基準はトピック2.3——医療計量経済学にある)。

実践例:健康経済学の一例

プレーリー・ヘルス・オーソリティは、カナダ西部の架空の単一支払者の地域医療サービスであり、糖尿病を持つ人々の予防可能な失明の主要な原因である糖尿病網膜症をスクリーニングするAIシステムを検討している。今日、地域のクリニックからの網膜写真は少数の眼科医と訓練された評価者のプールによって読影されており、その地域は追いつくことができない。特に農村部と先住民のコミュニティは長い待機に直面し、一部の患者は画像が一度も読影されないまま追跡から失われる。ある販売業者は、画像を自動的に読み取り、陽性あるいは評価不能な症例だけを人間に照会するアルゴリズムを提供する。見出しの売り込みは労働力の節約とより速い結果である。

当局の健康経済学者たちは、何が買われているのかを突き止めることから始める。販売業者はそれを代替として枠づける——アルゴリズムが評価者の時間を置き換える——が、スクリーニングの滞留がある制度では、解放された評価者の能力は未検査の滞留によって吸収され、現金化されない。彼らが結論づける真の便益は能力の増強である。より多くの人々が、より早く、特に十分にサービスされていないコミュニティでスクリーニングされ、下流での予防可能な失明の妥当な減少を伴う。その再枠づけは事例全体を変える。節約は給与予算の項目ではない。それは健康の利得と公平性の利得であり、単純な人員の引き算ではなくトピック2.1——経済評価からの質調整生存年あたり費用の機構を用いて、そのように評価されなければならない。

次に彼らは公平性の次元を直接に取り調べる。モデルは主に別の国の都市人口の網膜画像で訓練されており、その公表された精度は集約では強いが、糖尿病の有病率が高く画像撮影がしばしば変動する光の中で古いカメラで行われる、当局の先住民と農村の患者では試験されていない。チームは販売業者の見出しの数字を移転可能なものとして受け入れることを拒否する。彼らは代表的な標本での現地検証を委託し、コミュニティ、カメラの種類、画像の質によって性能を報告することを要求する。なぜなら、まさに必要が最大である場所でより悪く機能する道具は、不平等を減らすことを意図したスクリーニングプログラムをそれを広げるものに変えてしまい、そのアルゴリズムバイアスの費用は害と評判の両方においてライセンス料を矮小化するだろうからである。

全ライフサイクルの費用計上は財務担当理事を驚かせる。ライセンスを超えて、その事例は画像システムとの統合、クリニック職員の訓練、評価不能な画像の人間による再読影のための常設の取り決め、そして決定的に、カメラ、人口、糖尿病治療が年を経て変化するにつれてのコンセプトドリフトの継続的な監視を担わなければならない。チームは維持管理と再検証の義務を契約に書き込み、モデル更新のための事前決定された範囲を指定し、サービス中の性能に対する説明責任のある臨床的所有者を名指す。彼らはまたフォールバックも主張する。道具の撤回がサービスを盲目にしないよう、十分な人間の評価能力が保持される。

当局は段階的な展開を承認する。まず現地検証、次に最も必要の高いコミュニティから始まる監視された展開であり、下位集団の性能ダッシュボードが四半期ごとに見直され、事前に合意された精度の下限が調査あるいは撤回を引き起こす。経済学は好意的と判断される——その道具は乏しい専門家の能力を、以前は見逃されていた人々に拡張する——しかし評点は、価値がアルゴリズム単独ではなく監視と公平性の保護措置にかかっていることを明確にする。理事会が学ぶ教訓は、AIの購入は一度限りの買い物ではなく継続的なコミットメントであり、公平性の問いは脚注ではなく事例の中心だったということである。

4つのセクターレンズ

スタートアップ

医療AIのスタートアップは通常、アルゴリズムの精度の強いエビデンスと、経済的価値あるいは現実世界の効果の弱いエビデンスを持ち、その存続はまだ存在しないかもしれない払い戻しの経路にかかっている。誘惑は、精度をあたかもアウトカムであるかのように売り、買い手が最終的に要求するであろう維持管理、監視、公平性の仕事を過小評価することである。最初から評価可能性のために設計する創業者——下位集団の性能を事前に指定し、監視を組み込み、代表的な人口で検証する——は、支払者が実際に買えるものを構築する。説得力のある売り込みは、ベンチマークで最良の曲線下面積ではない。それは、実際のワークフローで試験された、アウトカム、費用、そして誰が便益を受けるかについての擁護可能な主張である。

中小企業

放射線科の診療所、単一拠点のクリニック、専門検査室、あるいはニッチなソフトウェア供給業者といった小規模だが確立した提供者は、生存への賭けではなく確定した事業上の決定としてAIを買い、その制約はスタートアップの逆である——限られた製品ではなく、学習する道具を評価し、統合し、監視する限られた能力である。そのような買い手はめったに、現地検証を実行するデータサイエンスチームやドリフトを見守るガバナンス機能を持たず、したがって販売業者の見出しの数字と、販売を超えて続く経常費用——監督、再検証、コンプライアンス——に異例なほどさらされている。賢明な姿勢は、単独で資金を提供できない精査を試みるのではなく、専門団体の評価、国のHTAの評点、共同購入の取り決めのような、存在する共有あるいは外部の保証に頼ることである。その特有のリスクは静かなロックインと脱技能化である。一つの道具の周りにワークフローを作り変えた小規模な診療所は、離脱すること、あるいはそれなしで働くことがもはや手頃でないことに気づくかもしれず、したがってフォールバックを保持し契約の離脱条件を読むことが、ここではライセンス価格よりも重要である。

大企業

大規模な病院グループあるいは保険者は、AIをポートフォリオとして買い、販売業者が取り繕う運用上の現実——統合、臨床医の採用、アラート疲労、規模での監視、そして多くの拠点にわたって道具に依存することの脱技能化リスク——と共に生きる。この規模では、代替対増強の問いは労使関係の帰結を伴う労働力戦略の問いであり、失敗した「労働節約」の展開は、それが節約した以上に紛争と手直しに費用がかかりうる。大企業はまた、アルゴリズムバイアスが単一の事例ではなく体系的な負債になる場所でもあり、したがって成熟した企業は常設のガバナンス——モデル登録簿、性能ダッシュボード、再検証スケジュール——を構築し、AIの監督をプロジェクトではなく恒久的な機能として扱う。

政府

省庁あるいは国の支払者は、規制、HTAの手法、払い戻しの設計を通じて、他の全員がプレーする規則を設定し、市場が価格づけしないであろう失敗——保護される集団に降りかかるバイアス、安全性を害するドリフト、そして制度全体にわたる自動化の労働力への帰結——を担う。そのレバーは最も広い。医療AIをリスクによって分類すること(EU AI法が行うように)、代表的な検証と市販後監視を要求すること、そして学習する技術がどう、あるいはそもそも支払われるかを決定することである。その規律もまた最も広くなければならない。なぜなら、販売業者の精度の主張だけでAIを通過させる高速車線や、アルゴリズムの読影の量に対して支払う払い戻し規則は、一度に全提供者にわたって過ちを伝播させるからである。政府の特有の仕事は、評価、公平性、監視を、任意の追加としてではなく参入のデフォルトの条件にすることである(政策の機構はトピック3.2——医療政策にある)。

よくある失敗パターン

• 精度をアウトカムとして売ること。 高い診断精度の数字を健康あるいは費用の便益の証明として扱うこと。対策: 道具を下流のアウトカムと実際の現在の実践に対する純資源利用に結びつけるエビデンスを要求する。

• 決して現金化されない節約を計上すること。 静かに満たされていない需要によって再吸収される労働力の節約を主張すること。対策: ポストが実際に閉じられるかどうかを述べる。解放された時間が再利用されるなら、事例をより多くのケアとして評価し、節約された資金としてではない。

• 輪の中の人間を無視すること。 アルゴリズム単独を評価し、自動化バイアスとアラート疲労を見逃すこと。対策: 意図されたワークフローと労働力の中で人間と機械のチームを評価する。

• 平均化して公平性の害を消し去ること。 集約の性能だけを報告し、道具がうまくサービスできない下位集団を見逃すこと。対策: あなたの人口が含む集団によって分解された性能を、行動の閾値とともに要求し監視する。

• 学習する道具の一度限りの評点。 適応的なモデルを固定された機器のように扱い、決して再検証しないこと。対策: 継続的な監視、再検証、変更管理計画のために予算を組み契約する。

• 放置によるロックインと脱技能化。 一つの道具と販売業者にあまりに依存するようになり、撤退が不可能で職員がもはやそれなしで働けなくなること。対策: フォールバック能力を保持し、入口の時点で出口を計画する。

• AIのための特別な高速車線。 技術が刺激的であるという理由で通常のHTA、安全性、公平性の精査を迂回すること。対策: AIを既存のガバナンスに通し、ドリフト、バイアス、人的要因の問いで拡張する。

成熟度モデル

チェックリスト

• 道具が臨床労働を代替するのか増強するのかを明示的に述べ、事業計画をその主張に一致させている。
• 統合、訓練、監督、監視、再検証、再訓練、コンプライアンスを含む全ライフサイクルを費用計上している(ライセンスだけでなく)。
• 単独のアルゴリズムの精度ではなく、意図された人間と機械のワークフローからのエビデンスを要求している。
• あなたの人口が含む下位集団によって報告された性能を、いかなる公平性の隔たりに対する行動の閾値とともに要求している。
• 展開前にあなた自身の人口を代表するデータでモデルを検証している。
• 本物の比較対象と、精度がアウトカムと純資源利用に変換されるエビデンスを確認している。
• 継続的な監視、再検証、事前決定された変更管理計画のために予算を組み契約している。
• サービス中の性能に対する説明責任のある所有者と、調査あるいは撤回のトリガーを名指している。
• 節約が現金化可能か再吸収されるかを含め、反実仮想の労働力を正直にモデル化している。
• フォールバック能力を保持し出口を計画し、脱技能化と販売業者のロックインに対して守っている。
• 決定を既存のHTA、安全性、公平性ガバナンスに通し、AI特有の問いで拡張している。

Key sources

• WHO, Ethics and Governance of Artificial Intelligence for Health — World Health Organization guidance on AI in health, including equity and governance principles.
• U.S. Food and Drug Administration — guidance on Software as a Medical Device (SaMD) and predetermined change control plans for adaptive AI/ML-enabled devices.
• European Union — Artificial Intelligence Act (2024), classifying many medical AI systems as high-risk.
• NICE — Evidence Standards Framework for Digital Health Technologies, and evolving methods for evaluating AI and data-driven technologies (as of the mid-2020s).
• OECD — Health at a Glance and OECD work on AI in health systems, for cross-country context.
• ISPOR — good-practice guidance on the economic evaluation of health technologies, applied to AI-enabled care.

References

1. Artificial intelligence in healthcare — Wikipedia — https://en.wikipedia.org/wiki/Artificial_intelligence_in_healthcare
2. Machine learning — Wikipedia — https://en.wikipedia.org/wiki/Machine_learning
3. Clinical decision support system — Wikipedia — https://en.wikipedia.org/wiki/Clinical_decision_support_system
4. Medical software — Wikipedia — https://en.wikipedia.org/wiki/Medical_software
5. Concept drift — Wikipedia — https://en.wikipedia.org/wiki/Concept_drift
6. Automation — Wikipedia — https://en.wikipedia.org/wiki/Automation
7. Deskilling — Wikipedia — https://en.wikipedia.org/wiki/Deskilling
8. Automation bias — Wikipedia — https://en.wikipedia.org/wiki/Automation_bias
9. Algorithmic bias — Wikipedia — https://en.wikipedia.org/wiki/Algorithmic_bias
10. Health technology assessment — Wikipedia — https://en.wikipedia.org/wiki/Health_technology_assessment
11. Artificial Intelligence Act — Wikipedia — https://en.wikipedia.org/wiki/Artificial_Intelligence_Act
12. Diabetic retinopathy — Wikipedia — https://en.wikipedia.org/wiki/Diabetic_retinopathy
13. World Health Organization — Ethics and Governance of Artificial Intelligence for Health — https://www.who.int/publications/i/item/9789240029200
14. U.S. Food and Drug Administration — Artificial Intelligence and Machine Learning in Software as a Medical Device — https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-software-medical-device
15. NICE — Evidence Standards Framework for Digital Health Technologies — https://www.nice.org.uk/corporate/ecd7