Эконометрика здравоохранения

Почему это важно для экономики здравоохранения

Почти каждое решение руководителя здравоохранения опирается на причинное утверждение: этот препарат снижает смертность, эта клиника сократила госпитализации, эта реформа оплаты сократила время ожидания. Утверждение легко сформулировать и трудно заслужить. Две группы пациентов различаются по результату, но они различались и до того, как кто-либо вмешался, — более больные люди ищут больше помощи, более богатые регионы первыми принимают новые программы, мотивированные клиники добровольно идут на пилоты. Основная проблема в том, что мы никогда не наблюдаем, что случилось бы с пролеченной группой, останься она без лечения. Всё в этой теме — о честном приближении к этому недостающему сравнению.

Ставки — публичные деньги и жизни. Уверенное, но ошибочное причинное утверждение направляет бюджет на вмешательство, которое ничего не делает, или отзывает то, что тихо спасало жизни; обе ошибки оплачиваются результатами, а не только деньгами. Когда национальный плательщик решает развернуть программу по всей стране на основании региональной оценки, качество причинного рассуждения этой оценки — разница между масштабированием успеха и масштабированием иллюзии. Руководители редко проводят анализ сами, но они его заказывают, финансируют и действуют на его основе, а значит, навык оценки принадлежит именно им.

Эта тема намеренно не учебник по статистике (см. границы охвата книги). Она не будет выводить оценщик или рекомендовать программное обеспечение. Её задача — сказать вам, для чего предназначен каждый метод, когда причинное утверждение заслуживает вашего доверия и как заказывать и оценивать эконометрическую работу, чтобы вас не обманула изощрённая модель и вы не отвергли хорошее доказательство. Там, где анализ питает решенческо-аналитическую модель, экстраполирующую за пределы данных, этот механизм относится к теме 2.2 «Моделирование»; здесь мы остаёмся с самой оценкой и вопросом, причинна ли она.

Основные понятия

Эконометрика здравоохранения — применение статистических методов к данным здоровья и здравоохранения для измерения связей и, прежде всего, для поддержки причинного вывода — попытки установить, что изменение одного вызывает изменение другого, а не просто движется вместе с ним. Эта дисциплина существует, потому что корреляция в данных здравоохранения обильна и обманчива, а чистый эксперимент, который решил бы вопрос, часто невозможен, неэтичен или недоступен по цене.

Центральное препятствие — смешивающие факторы: третий фактор, влияющий и на то, кто получает вмешательство, и на то, какой результат он испытывает, создавая ассоциацию, не являющуюся причинной. Пациенты на новом антикоагулянте могут кровоточить меньше, чем на старом, не потому, что препарат безопаснее, а потому, что осторожные врачи давали его пациентам с более низким риском. Возраст, депривация, тяжесть заболевания и клиническое суждение — неумолимые смешивающие факторы в данных здравоохранения, а те, что вы можете измерить, редко оказываются наиболее важными.

Тесно связано смещение отбора: люди в ваших пролеченной и сравнительной группах были распределены по ним процессом — самоотбором, клинической сортировкой, географией, административной приемлемостью, — который сам связан с результатом. Услуга телемедицины, используемая уверенными в цифровых технологиях людьми, покажет хорошие результаты отчасти потому, что её пользователи изначально были здоровее и более организованы. Отбор — не помеха, которую нужно отряхнуть с данных; часто это вся история целиком, а задача метода — её нейтрализовать.

Золотой стандарт для этого — рандомизированное контролируемое испытание (РКИ), в котором участники распределяются в лечение или контроль случайным образом. Рандомизация работает, потому что в среднем она уравновешивает как продуманные вами смешивающие факторы, так и непродуманные, поэтому любое различие в результате можно приписать вмешательству. Дисциплины, защищающие испытание, — анализ пациентов в группе, в которую они были рандомизированы, известный как анализ намерения лечить, и предварительная регистрация результата — существуют, чтобы остановить проблему отбора, прокрадывающуюся обратно через боковую дверь.

Испытания не всегда осуществимы, поэтому значительная часть эконометрики здравоохранения работает с наблюдательными данными и заимствует достоверность у естественного эксперимента — ситуации, где что-то вне контроля участников (развёртывание политики, правило приемлемости, лотерея, внезапное изменение цены) имитирует случайное распределение. Повторяются четыре квазиэкспериментальных дизайна:

• Разность разностей сравнивает изменение результатов для группы, подвергшейся вмешательству, с изменением для не подвергшейся сравнительной группы за тот же период. Её достоверность опирается на предположение «параллельных трендов»: что в отсутствие вмешательства результаты обеих групп двигались бы синхронно.
• Оценивание методом инструментальных переменных использует переменную, влияющую на то, кто получает лечение, но не имеющую прямого эффекта на результат, кроме как через лечение, — расстояние до клиники, номер лотереи, случайно назначенный рецензент, — чтобы изолировать вариацию в лечении, свободную от смешивающих факторов. Валидный инструмент подлинно трудно найти и невозможно полностью проверить.
• Разрывный регрессионный дизайн использует резкий порог — оценку риска, возраст, границу дохода, — определяющий приемлемость. Люди чуть выше и чуть ниже границы практически идентичны, кроме доступа к вмешательству, поэтому их сравнение приближается к локальному эксперименту.
• Методы панельных данных отслеживают одни и те же единицы (пациентов, больницы, регионы) во времени, позволяя аналитику контролировать всё стабильное для единицы, что никогда не меняется, и таким образом устранить большой класс смешивающих факторов, который единственный поперечный срез устранить не может.

Наконец, пропущенные данные лежат в основе всего этого. Пациенты выбывают, записи неполны, и — критически важно — причина пропуска данных часто связана с результатом, поэтому отбрасывание неполных записей тихо вновь вносит смещение отбора. Как обрабатывалась пропущенность — один из первых вопросов, который стоит задать о любом исследовании.

Лучшие практики

1. Начинайте с контрфактического, а не с метода. Прежде чем кто-либо выберет оценщик, вынудите к вопросу: каково сравнение и почему мы должны верить, что оно говорит нам, что случилось бы без вмешательства? Достоверность каждого результата течёт из этого сравнения, а не из изощрённости статистики поверх него. Если ответ туманен, никакая техника его не спасёт.

2. Заказывайте дизайн до сбора данных, а не после. Сильнейшие причинные утверждения приходят из дизайнов, спланированных заранее, — рандомизированного развёртывания, предварительно зарегистрированного анализа, согласованной сравнительной группы, — потому что подгонка метода к существующим данным приглашает аналитика продолжать поиск, пока не появится лестный результат. Финансируя оценку, финансируйте фазу дизайна и настаивайте на письменном плане анализа до появления результатов.

3. Предпочитайте рандомизацию там, где она этична и осуществима, включая поэтапное развёртывание. Если программа не может охватить всех сразу, распределите порядок доступа по лотерее или рандомизируйте, какие площадки идут первыми. Это превращает операционное ограничение в достоверный эксперимент при незначительных дополнительных издержках и часто более защитимо, чем отказ кому-либо в лечении. Многие из наиболее доверяемых оценок политики — это просто развёртывания, которые были рандомизированы, а не выбраны.

4. Относитесь к каждому квазиэкспериментальному дизайну как к пакету предположений и заставляйте их заявлять свои. Разность разностей живёт и умирает параллельными трендами; инструментальные переменные — инструментом, одновременно релевантным и экзогенным; разрывный регрессионный дизайн — тем, что люди не манипулируют тем, на какую сторону порога они попадают. Хороший аналитик называет предположение, от которого зависит его результат, и показывает доказательства в его пользу; слабый его скрывает. Спрашивайте явно: «что должно быть верным, чтобы это было причинным, и откуда вы знаете, что это так?»

5. Требуйте тесты фальсификации, а не только заглавную оценку. Достоверная причинная работа пытается сломать своё собственное утверждение: строит графики предвмешательственных трендов, чтобы проверить их параллельность, проверяет на скачки на фиктивных порогах, где их не должно быть, показывает, что инструмент не предсказывает результаты, которых он не должен касаться. Наличие этих проверок сигнализирует о честной работе; их отсутствие — предупреждение, независимо от того, насколько велик или желателен эффект.

6. Настаивайте на знании того, как обрабатывались пропущенные данные и выбывание. Спрашивайте, какая доля субъектов была потеряна, отличаются ли пропущенные от наблюдаемых и какое предположение сделал анализ о них. «Анализ по завершённым случаям» — молчаливое отбрасывание всех с пробелом — самый распространённый способ, которым смещение отбора вновь проникает в исследование, выглядевшее чистым. Направление, в котором пропущенные данные сдвинули бы результат, часто можно узнать, даже когда сами значения невосстановимы.

7. Подбирайте модель под форму данных здравоохранения. Издержки скошены немногими очень дорогими пациентами, использование — счёт, который не может быть отрицательным, а данные о выживаемости цензурированы, когда наблюдение заканчивается. Стандартные линейные методы плохо подходят для них и могут вводить в заблуждение; для каждого случая существуют специализированные модели. Вам не нужно знать математику, но следует знать достаточно, чтобы спросить «подходит ли этот метод для данных об издержках?» и ожидать реального ответа.

8. Отделяйте эффект на пролеченных от эффекта, который вы могли бы масштабировать. Многие квазиэкспериментальные методы оценивают локальный эффект — воздействие на людей вблизи порога или на тех, кого инструмент случайно сдвинул, — который может не равняться эффекту развёртывания вмешательства на всех. Разрывный регрессионный дизайн вокруг 65 лет говорит о 65-летних, а не о 40-летних. Прежде чем обобщать число, спросите, чей это на самом деле эффект.

9. Отличайте статистическую значимость от релевантности для решения. Точно оценённый крошечный эффект может быть статистически значимым и экономически тривиальным; крупный эффект может быть неопределённым и всё же стоящим действия, учитывая ставки. Просите размер эффекта, его доверительный интервал и что он значит в масштабе вашего бюджета и населения, а не только преодолел ли p-значение порог. Решение зависит от величины и неопределённости вместе.

10. Судите о внешней валидности так же тщательно, как о внутренней. Исследование может быть безупречным в отношении причинности в своей собственной обстановке и всё же нерелевантным для вашей, если различаются население, система здравоохранения или базовый риск. Инструмент, сработавший на страховом рынке США, или дизайн, валидированный в скандинавском регистре, может не перенестись в обстановку с низким доходом и другими данными и стимулами. Спрашивайте «удержался бы этот эффект в моей системе?» как отдельный вопрос от «реален ли этот эффект?»

11. Триангулируйте, а не доверяйте единственному исследованию. Когда несколько методов с разными предположениями — испытание, разность разностей, оценка инструментальных переменных — указывают в одном направлении, уверенность заслужена; когда они расходятся, разногласие — это информация о том, какие предположения не выполняются. Заказывайте или ищите более одной линии доказательств для любого решения, достаточно крупного, чтобы иметь значение, и относитесь к единственному поразительному результату как к гипотезе, а не выводу.

12. Записывайте оценку и держите её при решении. Записывайте, на какое причинное утверждение вы опирались, какой дизайн его произвёл, на каком предположении оно держалось и что изменило бы ваше мнение. Это защищает организацию, когда результаты позже оспариваются, и вынуждает к дисциплине заявления неопределённости до, а не после того, как результат станет известен. Оценка, чьё рассуждение недокументировано, — это мнение с диаграммой.

Вопросы для обсуждения с командой

1. Для последнего крупного решения, которое мы обосновали доказательствами, какой была сравнительная группа — и сделала бы она на самом деле то же самое без вмешательства? Этот вопрос идёт прямо к контрфактическому, где прячется большинство слабых доказательств. Проталкивайтесь мимо заглавного числа к структуре: кого сравнивали с кем, как их распределили по этим группам, и что случилось бы с пролеченной группой, если бы ничего не изменилось. Честные противоречия в том, что самое удобное сравнение — до-и-после в одной группе, или добровольцы против недобровольцев — обычно наиболее подвержено смешивающим факторам, и что люди, выбравшие вмешательство или выбранные для него, почти всегда отличаются от тех, кто не был. Хорошее обсуждение называет конкретные действующие смешивающие факторы (тяжесть, депривацию, мотивацию, отбор клинициста) и спрашивает, нейтрализовал ли дизайн их или просто проигнорировал. Ответ, который вы ищете, — не «исследование прошло рецензирование», а ясный отчёт о том, почему сравнение достоверно, — или признание, что нет, и что решение опиралось на суждение, одетое как доказательство.

2. Когда мы заказываем оценку, покупаем ли мы дизайн или просто отчёт? Большинство организаций закупают оценку как результат, прибывающий после того, как программа уже работает, — именно тогда, когда сильнейшие причинные дизайны уже стали невозможными. Противоречие между операционной срочностью — запустить сейчас, измерить позже — и доказательным качеством, зависящим от решений, принятых до включения первого пациента: рандомизированного порядка развёртывания, согласованного сравнительного региона, предварительно зарегистрированного результата и плана анализа. Обсудите, приглашает ли ваш процесс заказа аналитиков достаточно рано, чтобы формировать дизайн, или лишь достаточно поздно, чтобы рационализировать результат. Честный ответ сталкивается с фактом, что дешёвая ретроспективная оценка может быть хуже, чем никакая, если она даёт ложную уверенность, и рассматривает, делают ли контракты и сроки хороший дизайн структурно возможным или структурно невозможным в вашей организации.

3. На какое утверждение мы откажемся действовать, и какое доказательство изменило бы наше мнение? Этот вопрос проверяет, относится ли команда к доказательствам как к подлинному вкладу или как к украшению уже принятого решения. Заранее назвать стандарт доказательности, которому должно соответствовать утверждение, — и находку, которая заставила бы вас изменить курс, — сильнейшая защита от предвзятости подтверждения и от избирательного энтузиазма, встречающего результаты, которые нам нравятся. Реальное противоречие в том, что заинтересованные стороны редко держат любимые и нелюбимые программы у одной и той же доказательной планки; любимая инициатива получает презумпцию сомнения, угрожающая — разбирается по косточкам. Честное обсуждение выводит на поверхность, где живут эти двойные стандарты в вашей организации, согласовывает, что означает «достаточно хорошо для действия» для решений разного масштаба, и принимает, что заранее взять обязательство о том, что изменило бы ваше мнение, неудобно именно потому, что может.

4. Когда мы заимствуем поразительный результат из другой системы, что мы предполагаем переносится вместе с ним? Исследование может быть безупречным в отношении причинности в своей собственной обстановке и всё же вводить вас в заблуждение, потому что население, система здравоохранения, базовый риск и стимулы, произведшие его эффект, могут быть совсем не такими, как ваши. Противоречие в том, что самое впечатляющее доказательство обычно приходит откуда-то ещё — со страхового рынка США, из скандинавского регистра, с хорошо обеспеченной ресурсами площадки испытания, — и сама его строгость соблазняет импортировать число, а не допросить его соответствие. Обсудите, что должно быть верным для вашего населения и системы, чтобы эффект воспроизвёлся: сопоставим ли базовый риск, есть ли у вашей рабочей силы мощность, которую предполагало вмешательство, сталкиваются ли ваши пациенты с теми же ограничениями? Честный ответ относится к внешней валидности как к отдельному вопросу от внутренней валидности, сопротивляется рефлексу дисконтировать отдалённое исследование просто потому, что оно отдалено, и называет, какие черты исходной обстановки выполняют работу. Худший исход — масштабирование эффекта, который был реален там и отсутствует здесь, а затем обвинение вмешательства, а не переноса.

5. Сколько наших данных пропущено, и уверены ли мы, что пробелы невинны? У каждого реального набора данных здравоохранения есть дыры — пациенты выбывают, записи неполны, наблюдение заканчивается, — и опасный случай, когда причина пропуска данных сама связана с результатом, так что отбрасывание неполных записей тихо контрабандой возвращает смещение отбора в исследование, выглядевшее чистым. Противоречие между удобством анализа «по завершённым случаям», который является настройкой по умолчанию в большинстве инструментов и быстрейшим путём к результату, и честностью вопроса о том, отличаются ли систематически исчезнувшие люди от оставшихся. Обсудите, какая доля субъектов была потеряна, выглядят ли пропущенные более больными, бедными или менее вовлечёнными, чем наблюдаемые, и что анализ предположил о них. Хороший ответ часто может сказать, в каком направлении пропущенные данные сдвинули бы оценку, даже когда сами значения невосстановимы, и относится к высокой или необъяснённой частоте выбывания как к угрозе всему утверждению, а не к сноске. Провал в том, чтобы назвать это, — команда, сообщающая о выживших так, будто они были всем населением.

6. Действуем ли мы когда-либо на основании единственного исследования, и что заставило бы нас подождать вторую линию доказательств? Уверенность в причинном утверждении должна приходить из согласия между методами, ошибающимися по-разному, — испытанием, разностью разностей, оценкой инструментальных переменных, указывающими в одном направлении, — а не из одного поразительного результата, каким бы хорошо выполненным он ни был. Противоречие в том, что триангуляция стоит времени и денег, которые организация редко хочет тратить, а единственная впечатляющая находка создаёт давление действовать до того, как можно заказать вторую линию. Обсудите, какие решения достаточно крупны, чтобы требовать более одной линии доказательств, и что вы делаете, когда методы расходятся, — потому что расхождение не шум, который нужно усреднить, а информация о том, какие предположения не выполняются. Честный ответ отличает гипотезу, достойную проверки, от вывода, достойного действия, и сопротивляется импульсу, превращающему единственную оценку в устоявшийся факт просто потому, что она пришла первой и сказала то, на что люди надеялись.

На практике: пример из экономики здравоохранения

Министерство здравоохранения Сольвении, вымышленной страны с доходом выше среднего в Центральной Европе с системой социального страхования, хочет узнать, снижает ли новая программа общественной помощи при сердечной недостаточности — клиники под руководством медсестёр, наблюдающие пациентов после выписки — дорогостоящие экстренные повторные госпитализации. Двенадцать регионов уже её приняли; восемь — нет. Ранний внутренний отчёт сравнил показатели повторной госпитализации в принявших и не принявших регионах, обнаружил их на 18 процентов ниже у принявших, и рекомендовал национальное развёртывание. Экономиста министерства просят проверить утверждение, прежде чем будут обязаны сотни миллионов крон.

Её первый вопрос — контрфактическое. Принявшие регионы не были выбраны случайно: они были богаче, имели лучше организованную первичную помощь и более низкие показатели повторной госпитализации до начала программы. Наивное сравнение поэтому смешивает эффект программы с уже существующим преимуществом регионов, которые могли её принять, — учебниковая проблема отбора. Простая разница между принявшими и не принявшими не может разделить эти два фактора, и цифра в 18 процентов неинтерпретируема как причинный эффект.

Вместо этого она предлагает дизайн разности разностей, используя несколько лет региональных данных о повторной госпитализации до и после даты принятия каждым регионом. Это сравнивает изменение повторных госпитализаций в принявших регионах с изменением в не принявших, вычитая любое фиксированное региональное преимущество. Критически важно, что сначала она строит графики предпринятийных трендов: если принявшие уже улучшались быстрее, чем не принявшие, до программы, предположение о параллельных трендах не выполняется, и дизайн недействителен. Тренды близки, но не идентичны, поэтому она сообщает оценку с этой оговоркой на виду, а не спрятанной.

Поскольку даты принятия были распределены по времени между регионами, она также использует панельную структуру, контролируя всё стабильное для каждого региона и общенациональные шоки, такие как плохая зима с гриппом, ударившая по всем регионам одновременно. Оценка разности разностей составляет сокращение повторных госпитализаций на 7 процентов — реальное и стоящее того, но намного меньше половины заглавной цифры, потому что большая часть исходных 18 процентов была уже существующим преимуществом регионов, а не программой. Затем она проверяет пропущенные данные: у двух регионов было неполное кодирование в переходный год, и она показывает, что результат сохраняется независимо от того, включены эти регионы-годы или исключены.

Она откровенна в том, чем является и чем не является оценка. Это средний эффект в регионах с мощностью первичной помощи для управления клиниками под руководством медсестёр; восемь не принявших регионов беднее и хуже укомплектованы персоналом, поэтому эффект там может быть меньше или может потребовать инвестиции, которую модель не оценивает. Это вопрос внешней валидности, и она явно его отмечает, а не предполагает, что 7 процентов перенесутся. Её рекомендация министерству — ни «развернуть национально», ни «отказаться от этого», а «финансировать там, где существует мощность первичной помощи, и рандомизировать порядок развёртывания в оставшихся регионах, чтобы следующая оценка могла решить вопрос переноса, который эта не может». Затратная эффективность сокращения на 7 процентов затем передаётся модели решений (тема 2.2 «Моделирование»), которая превращает причинную оценку в издержку на результат, на которую плательщик может действовать.

Четыре отраслевых ракурса

Стартап

Стартап цифрового здравоохранения обычно сталкивается с эконометрикой здравоохранения как с требованием доказательств от покупателя или регулятора: докажите, что ваше приложение действительно меняет результаты, а не просто что вовлечённые пользователи чувствуют себя хорошо. Соблазн — график до-и-после для восторженных ранних последователей, что почти чистое смещение отбора — эти пользователи улучшились бы в любом случае. Достоверный, доступный по цене ход — небольшой рандомизированный пилот или поэтапное развёртывание по площадкам, спроектированное до запуска, изолирующее эффект продукта от мотивации людей, которые его выбрали. Основатели, встраивающие чистое сравнение в первое развёртывание, несут намного больший вес у плательщиков, чем те, кто позже подгоняет лестный анализ.

Малый бизнес

Устоявшийся небольшой поставщик — групповая практика, отдельная клиника, аптека сообщества, небольшой поставщик устройств — обладает реальными операционными данными, но ни объёмом, ни аналитической командой для проведения собственных квазиэкспериментальных исследований, и у него нет момента запуска, вокруг которого можно рандомизировать. Его эконометрическая задача в основном оценочная: чтение доказательств, которые производитель, заказчик или профессиональный орган представляет ему, и суждение о том, удержался ли бы заявленный эффект в клиентуре, подобной его собственной. Самый устойчивый ход — жёстко задавать вопрос о внешней валидности — было ли это показано в населении, уровне укомплектованности персоналом и системе, похожей на мою? — а не пытаться провести причинный анализ, на который у него нет ресурсов. Там, где он всё же генерирует доказательства, поэтапное изменение по собственным площадкам или клиницистам, или простое честное чтение до-и-после против сопоставимой соседней практики более достоверно, чем лестная внутренняя диаграмма. В отличие от стартапа, гонящегося за доказательной планкой плательщика, его стимул — избежать принятия чего-то, что тихо тратит дефицитное время и деньги на клиентуру, никогда не соответствовавшую исследованию.

Предприятие

Крупный поставщик или страховщик располагает богатыми продольными данными — претензиями, записями, регистрами, — и его преимущество — способность проводить панельные и квазиэкспериментальные анализы в масштабе. Риск — принять объём данных за причинную ясность: миллион смешанных записей всё равно не может сказать вам, сработала ли программа управления помощью, а хорошо обеспеченная ресурсами аналитическая команда может производить изощрённые модели, отмывающие смещение отбора в кажущийся эффект. Зрелое предприятие отделяет внутреннюю отчётность о результативности от причинной оценки, держит их у разных стандартов и встраивает рандомизированные или поэтапные дизайны в собственные операционные развёртывания, так что рутинное изменение производит доверяемое доказательство, а не просто панели показателей.

Государство

Министерство или национальный плательщик принимает решения с наивысшими ставками — масштабирование программы по всей стране, финансирование или отзыв льготы — и часто располагает политическими рычагами, создающими естественные эксперименты: пороги приемлемости, поэтапные развёртывания, региональные пилоты. Его дисциплина должна состоять в том, чтобы проектировать эти развёртывания как оценки с самого начала, так что неизбежное поэтапное развёртывание производит разность разностей или разрывный регрессионный дизайн, а не неинтерпретируемое сравнение. Государство также несёт обязанность, которой нет у других секторов: защищаться от политической асимметрии, при которой любимые программы избегают проверки, а угрожающие находки оспариваются, заранее беря обязательство по стандартам оценки и публикуя результаты независимо от того, льстят они политике или нет.

Типичные ошибки

• Смешение корреляции с причинностью. Сообщение о том, что пролеченные пациенты чувствовали себя лучше, без рассмотрения того, почему их лечили. Решение: начинайте с контрфактического и называйте смешивающие факторы до интерпретации любого различия.

• Отбор по результату. Сравнение добровольцев с недобровольцами, завершивших с выбывшими или принявших с непринявшими, будто группы взаимозаменяемы. Решение: используйте дизайн (рандомизацию, разность разностей, инструментальные переменные, разрывный регрессионный дизайн), учитывающий, как людей распределили по группам.

• Молчаливый анализ по завершённым случаям. Отбрасывание всех с пропущенными данными и сообщение об остатке, будто это целое. Решение: сообщайте масштаб и паттерн пропущенности и проверяйте, устоят ли выводы при разных предположениях о ней.

• Предположение без проверки. Представление разности разностей без проверки параллельных трендов или инструмента без обоснования его экзогенности. Решение: требуйте тесты фальсификации и относитесь к их отсутствию как к дефекту.

• Обобщение локального эффекта. Применение оценки, основанной на пороге или инструменте, к населению, которое она никогда не описывала. Решение: указывайте, чей эффект представляет число, и оценивайте внешнюю валидность отдельно от внутренней.

• Театр статистической значимости. Отношение к p-значению как к решению, игнорирование размера эффекта и неопределённости. Решение: требуйте величины и доверительные интервалы, сформулированные против реального бюджета и населения.

• Подгонка анализа задним числом. Поиск в существующем наборе данных, пока не появится приятный результат, а затем его представление, будто он был запланирован заранее. Решение: предварительно регистрируйте дизайн и план анализа до просмотра данных.

Модель зрелости

Контрольный список

• Указано контрфактическое: какова сравнительная группа и почему она показала бы, что сделала бы пролеченная группа без вмешательства?
• Определены вероятные смешивающие факторы и механизмы отбора, назван дизайн, их учитывающий.
• Подтверждено, что дизайн был спланирован до сбора данных, с письменным планом анализа.
• Для выбранного метода названо ключевое предположение (параллельные тренды, экзогенность инструмента, отсутствие манипуляции порогом), и доказательства для него проверены.
• Требуются тесты фальсификации, а не только заглавная оценка.
• Задан вопрос о том, сколько данных пропущено, отличаются ли пропущенные от наблюдаемых и как обрабатывалась пропущенность.
• Проверено, что модель соответствует форме данных (скошенные издержки, счёты, цензурированная выживаемость).
• Установлено, чей эффект представляет оценка (локальный или общий), прежде чем его обобщать.
• Размер эффекта и доверительный интервал прочитаны против вашего бюджета и населения, а не только p-значения.
• Внешняя валидность — удержалось бы это в моей системе? — оценена отдельно от внутренней валидности.
• Для любого решения, достаточно крупного, чтобы иметь значение, найдена вторая линия доказательств.
• Записаны причинное утверждение, дизайн, его ключевое предположение и то, что изменило бы ваше мнение.

Ключевые источники

• Andrew Jones, "Health Econometrics" — в Culyer & Newhouse (ред.), Handbook of Health Economics — стандартный обзор методов для данных здравоохранения и их подводных камней.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — справочный текст по панельным и квазиэкспериментальным методам.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — доступное изложение причинного вывода, естественных экспериментов и четырёх квазиэкспериментальных дизайнов.
• CONSORT Statement — стандарты отчётности для рандомизированных контролируемых испытаний, полезные как оценочный контрольный список.
• Economics Network, Health Economics for Teachers — модуль эконометрики — https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, и публикации ВОЗ по системам здравоохранения — источники рутинных данных здравоохранения, на которых практикуется значительная часть эконометрики здравоохранения.

Список литературы

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics