Синтез доказательств и метаанализ

Почему это важно для экономики здравоохранения

Каждая экономическая оценка опирается на вклады, которые должны были откуда-то взяться: относительный эффект лечения, скорость прогрессирования заболевания, вес качества жизни состояния здоровья, вероятность нежелательного явления. Это числа, движущие инкрементальным соотношением затрат и эффективности, и откуда они приходят решает, достоверно ли соотношение. Модель решений (см. тему 2.2 «Моделирование») хороша ровно настолько, насколько хороши подаваемые в неё параметры, а эти параметры — продукт синтеза, продуманного объединения целой литературы, а не единственного испытания. Это тема, владеющая вопросом «откуда берутся числа в модели».

Для руководителя ставки в том, что синтез может тихо решить вопрос финансирования ещё до того, как проведена экономика. Если обзор выборочно берёт благоприятные испытания, хоронит нулевой результат или усредняет по никогда не сопоставимым исследованиям, произведённая им оценка эффекта будет неверна в определённом направлении, и каждый нижестоящий расчёт унаследует эту ошибку с налётом строгости. Органы оценки медицинских технологий (ОМТ) по всему миру — Национальный институт здравоохранения и качества медицинской помощи Англии (NICE), IQWiG Германии, панели рекомендаций Всемирной организации здравоохранения (ВОЗ) — строят свои рекомендации на синтезах именно потому, что единственное исследование слишком хрупко, чтобы нести вес национального решения.

Ставки также этические и касаются общественного доверия. Хорошо проведённый систематический обзор — сильнейшая защита, которой обладает публичный орган от захвата тем, кто провёл самое запоминающееся испытание или громче всех кричал. Это прозрачный, воспроизводимый метод, позволяющий заговорить всей доказательной базе, включая неудобные её части. Когда плательщик может показать, что его решение последовало из предварительно определённого, всеобъемлющего, критически оценённого синтеза, он может защитить это решение перед клиницистами, пациентами, отраслью и судами. Когда не может, решение выглядит произвольным — а в здравоохранении произвольные решения о том, кого лечить, быстро разъедают доверие.

Основные понятия

Систематический обзор — структурированный метод поиска, оценки и обобщения всех исследований, касающихся конкретного вопроса, с использованием предварительно зарегистрированного протокола, так что процесс воспроизводим и устойчив к предвзятости. Он отличается от традиционного описательного обзора явной стратегией поиска, заявленными критериями включения и исключения и критической оценкой каждого включённого исследования. Стандарт отчётности, которому теперь следует большинство обзоров, — PRISMA (Предпочтительные элементы отчётности для систематических обзоров и метаанализов), который просит авторов документировать каждый шаг от поиска до синтеза, чтобы читатель мог проверить, что было сделано.

Метаанализ — статистическая часть этого процесса: количественное объединение результатов нескольких исследований в единую объединённую оценку, обычно размера эффекта, такого как относительный риск, отношение шансов или разность средних. Не каждый систематический обзор содержит метаанализ — объединение легитимно только когда исследования достаточно похожи, чтобы их комбинировать, — но там, где это уместно, оно повышает точность и может выявить эффект, который отдельные недостаточно мощные исследования упустили. Каноничный способ его отображения — лесной график: каждое исследование — горизонтальная линия, показывающая его оценку и доверительный интервал, объединённый результат — ромб у подножия.

За объединённой оценкой стоят две статистические модели. Модель фиксированного эффекта предполагает, что каждое исследование оценивает один единственный истинный эффект, а различия между ними — лишь шум выборки. Модель случайных эффектов предполагает, что истинный эффект подлинно различается между исследованиями — потому что различаются популяции, дозы и обстановки, — и оценивает среднее этого распределения, давая больший вес меньшим исследованиям и более широкую, более честную неопределённость. Выбор между ними не косметический: он меняет доверительный интервал, а иногда и вывод.

Причина, по которой выбор важен, — неоднородность — степень, в которой результаты исследований различаются больше, чем объяснила бы случайность. Клиническая неоднородность (разные пациенты или лечения), методологическая неоднородность (разные дизайны или качество исследований) и статистическая неоднородность (рассеянные результаты) — все угрожают смыслу объединённого числа. Объединение подлинно неоднородных исследований производит среднее, не описывающее никакое реальное население, — статистический эквивалент человека с одной ногой во льду и другой в огне, находящегося «в среднем в комфорте». Исследование неоднородности, а не её усреднение, часто там, где живёт настоящее знание.

Не все доказательства равны, и эта область организует их в иерархию доказательств: систематические обзоры рандомизированных испытаний наверху, затем отдельные рандомизированные контролируемые испытания, затем наблюдательные исследования, затем серии случаев и экспертное мнение. Иерархия — эмпирическое правило о риске предвзятости в дизайне исследования, а не гарантия — плохо проведённое испытание может быть хуже хорошего когортного исследования. Современное уточнение — GRADE (Оценка качества рекомендаций, разработки и оценки), которое оценивает достоверность доказательств для каждого результата как высокую, умеренную, низкую или очень низкую и может понижать даже доказательства испытаний за риск предвзятости, непоследовательность, косвенность, неточность и предвзятость публикации — или повышать сильные наблюдательные доказательства. GRADE теперь используется ВОЗ, Cochrane и органами разработки руководств по всему миру именно потому, что делает рассуждение за оценкой достоверности явным и проверяемым.

Там, где прямых испытаний не существует — B никогда не испытывался против C, только каждый против плацебо — сетевой метаанализ (также называемый смешанным или непрямым сравнительным метаанализом) объединяет прямые и непрямые доказательства по связанной сети методов лечения для оценки всех сравнений, включая никогда не изучавшиеся напрямую. Он незаменим для ОМТ, где новый препарат нужно сравнить сразу с несколькими существующими вариантами, но опирается на сильное предположение — что испытания достаточно похожи, чтобы непрямое сравнение было валидным, — которое нужно проверять, а не предполагать.

Две дополнительные идеи формируют то, можно ли доверять синтезу. Предвзятость публикации — тенденция публиковать исследования с положительными, значимыми результатами, тогда как отрицательные лежат в ящике стола, — так что видимая литература систематически завышает эффекты. Её часто проверяют воронкообразным графиком, чья асимметрия может сигнализировать о недостающих небольших отрицательных исследованиях, и это одна из причин, по которой рецензенты ищут в реестрах испытаний и серой литературе — диссертациях, отчётах, неопубликованных данных, — а не только в журналах. Наконец, поскольку доказательства продолжают поступать, растущая практика — живой обзор: синтез, непрерывно обновляемый по мере появления новых исследований, так что руководство никогда не отстаёт на годы от науки. Сотрудничество Cochrane (Cochrane) остаётся международной точкой отсчёта для методов систематического обзора, и его Руководство — стандартное пособие этой области.

Лучшие практики

1. Пишите и регистрируйте протокол до поиска. Достоверность систематического обзора приходит из решения о вопросе, критериях включения, результатах и плане анализа до просмотра результатов, а затем публичной регистрации этого протокола (например, в PROSPERO). Это единственная сильнейшая защита от того, что рецензент неосознанно формирует обзор под предпочитаемый ответ. Заказывая синтез, настаивайте на зарегистрированном протоколе и относитесь к его отсутствию как к предупреждению, что выводы, возможно, были выбраны первыми.

2. Ищите всеобъемлюще, включая исследования, которые никто не опубликовал. Поиск, ограниченный парой баз данных и англоязычными журналами, упустит испытания и сместится к положительным результатам. Всеобъемлющий синтез ищет в нескольких базах данных, реестрах испытаний, тезисах конференций, регуляторных досье и серой литературе и добивается неопубликованных данных от исследователей и производителей. Смысл не в исчерпывающести ради неё самой, а в нейтрализации предвзятости публикации у источника — недостающие исследования непропорционально отрицательные.

3. Оценивайте риск предвзятости в каждом включённом исследовании и позволяйте ему менять вес, который вы придаёте результату. Включение — не одобрение; каждое исследование нужно оценить на конкретные способы, которыми оно могло бы ввести в заблуждение, — неадекватную рандомизацию, неослеплённую оценку результата, избирательную отчётность, выбывание. Синтез, объединяющий сильные и слабые исследования с равным весом, отмывает предвзятость слабых в авторитетно выглядящее среднее. Используйте признанный инструмент оценки, прозрачно сообщайте суждения и проводите анализ с исключением исследований высокого риска, чтобы увидеть, устоит ли вывод.

4. Решите, легитимно ли вообще объединение, прежде чем вычислять объединённое число. Метаанализ имеет смысл только когда исследования достаточно похожи по населению, вмешательству, сравнению и результату, чтобы оценивать сопоставимый эффект. Если нет, честный результат — структурированный описательный синтез, а не ложное единственное число. Спрашивайте «отвечают ли эти исследования на один и тот же вопрос?» прежде чем спрашивать «какова объединённая оценка?» — точное среднее несопоставимых вещей хуже, чем отсутствие среднего.

5. Осознанно выбирайте модель фиксированного или случайных эффектов и обосновывайте её. Модель случайных эффектов обычно более честна по умолчанию в здравоохранении, где исследования подлинно различаются, потому что она производит более широкие интервалы, отражающие реальную вариацию. Но она даёт непропорциональный вес малым исследованиям, поэтому там, где подозревается предвзятость публикации, она может усилить именно ту предвзятость, которой вы опасаетесь. Указывайте, какую модель вы использовали и почему, и показывайте, как объединённая оценка меняется при альтернативе; вывод, переворачивающийся между ними, не устойчив.

6. Исследуйте неоднородность, а не усредняйте её. Когда результаты исследований расходятся больше, чем объясняет случайность, это расхождение — информация: оно может означать, что лечение работает в одной подгруппе и не работает в другой, или что качество определяет кажущийся эффект. Исследуйте это предварительно определёнными анализами подгрупп и метарегрессией, но относитесь к постфактумным подгруппам скептически, потому что их легко найти и трудно доверять. Объединённая оценка, представленная без какого-либо изучения того, почему исследования расходятся, скрывает самую полезную часть данных.

7. Явно проверяйте предвзятость публикации и отчётности. Сравнивайте опубликованную литературу с реестрами испытаний, чтобы найти исследования, которые были проведены, но никогда не сообщены, изучайте асимметрию воронкообразного графика там, где существует достаточно исследований, и рассматривайте, не уменьшается ли эффект с ростом размера исследования. Ни один из этих тестов не окончателен, но их отсутствие должно снижать вашу уверенность в аккуратном положительном результате. Направление предвзятости публикации почти всегда одно и то же — она завышает кажущуюся выгоду, — поэтому непроверенный синтез следует читать как верхнюю границу.

8. Используйте сетевой метаанализ, когда решение имеет много сравнений, и проверяйте его центральное предположение. Реальные решения о финансировании редко сталкивают один препарат с плацебо; они выбирают среди нескольких активных вариантов, большинство из которых никогда не испытывались напрямую. Сетевой метаанализ заполняет эти пробелы, но только если испытания достаточно похожи для непрямого сравнения — предположение «транзитивности» — и если прямые и непрямые доказательства согласуются там, где существуют оба. Требуйте, чтобы аналитик показал сеть, проверил согласованность и был откровенен в отношении сравнений, опирающихся на тонкие непрямые цепи.

9. Оценивайте достоверность доказательств, а не только размер эффекта. Крупный эффект из доказательств низкой достоверности — более слабое основание для расходования публичных денег, чем скромный эффект из доказательств высокой достоверности. GRADE разделяет эти вопросы, оценивая достоверность по результату и документируя, почему она была понижена или повышена, превращая «доказательства сильны» из утверждения в проверенное суждение. Настаивайте, чтобы синтез, питающий решение, нёс явную оценку достоверности для каждого важного результата, а не единственный глобальный вердикт.

10. Сообщайте синтез так, чтобы скептик мог его воспроизвести. Следуйте признанному стандарту отчётности, такому как PRISMA: давайте полную стратегию поиска, поток исследований от выявленных до включённых, исключённые исследования с причинами, суждения о риске предвзятости и данные за каждой объединённой оценкой. Прозрачность — механизм, посредством которого ошибки и избирательные выборы перехватываются до того, как они сдвинут бюджет. Синтез, чей поиск нельзя перезапустить или чьи исключения необъяснены, не должен закреплять решение, каким бы уверенным ни был его реферат.

11. Держите высокоставочные синтезы живыми там, где доказательства движутся быстро. В быстро меняющейся области — новом классе препаратов, возникающем патогене, быстро испытываемой технологии — обзор устаревает в момент публикации, и застоявшиеся доказательства тихо направляют деньги и помощь не туда. Живой обзор непрерывно обновляется по новым исследованиям, с заранее согласованными правилами о том, когда новое испытание меняет вывод. Резервируйте это усилие для решений, достаточно крупных и волатильных, чтобы его оправдать, и будьте явны в отношении даты актуальности любого синтеза, на который вы опираетесь.

12. Подбирайте синтез под параметр, который модели фактически нужен. Модели решений нужны конкретные вклады — относительный эффект для базового случая, базовый риск для местного населения, вес полезности, — и каждому может понадобиться собственный синтез с собственными критериями включения. Взятие относительного эффекта из рандомизированных испытаний, но базового риска из местного регистра легитимно и распространено; сокрытие того, что эти два пришли из разных массивов доказательств, — нет. Согласуйте каждый синтезированный вклад с тем, как он будет использован ниже по течению, и перекрёстно ссылайтесь на оценку, которую он питает (см. тему 2.1 «Экономическая оценка»).

Вопросы для обсуждения с командой

1. Когда мы принимаем оценку эффекта как установленную, знаем ли мы, пришла ли она из всей литературы или только из видимой, лестной её части? Этот вопрос нацелен на предвзятость публикации и избирательную отчётность — провалы, делающие синтез неверным в предсказуемом направлении. Неудобная реальность в том, что положительные испытания публикуются быстрее, чаще и заметнее отрицательных, поэтому обзор, ограниченный журналами, будет склонен завышать выгоду, даже если каждое включённое исследование честно. Продвиньте обсуждение к конкретному происхождению: искались ли в реестрах испытаний исследования, которые были проведены, но никогда не сообщены, запрашивались ли неопубликованные данные у производителей, проводилась ли проверка воронкообразным графиком или сопоставимая? Противоречие в том, что всеобъемлющий поиск дорог и медленен, и всегда есть давление принять чистую опубликованную оценку и двигаться дальше. Честный ответ не заявляет, что поиск был идеальным; он указывает, насколько усердно обзор искал недостающие исследования, и относится к непроверенному положительному результату как к вероятной верхней границе, а не истине.

2. Действительно ли объединяемые нами исследования отвечают на один и тот же вопрос, или мы сфабриковали аккуратное среднее из вещей, которые не принадлежат друг другу? Это вопрос о неоднородности, и он решает, значит ли объединённое число вообще что-либо. Аспекты, достойные вывода на поверхность, — клинические (разные пациенты, дозы или сравнения), методологические (испытания смешаны со слабыми наблюдательными исследованиями) и статистические (результаты, расходящиеся больше, чем объясняет случайность). Соблазнительный провал в том, что программное обеспечение всегда вернёт объединённую оценку с уверенно выглядящим доверительным интервалом, независимо от того, сопоставимы ли лежащие в основе исследования, — точность числа ничего не говорит о его валидности. Обсудите, исследовал ли обзор, почему исследования расходятся, или просто усреднил их, и были ли какие-либо различия подгрупп предварительно определены или выуживались постфактум. Честный ответ готов заключить, что объединение было неуместным и что структурированный описательный синтез был бы более правдивым результатом.

3. Насколько актуальны эти доказательства, и что должно было бы показать новое исследование, чтобы изменить наше решение? У синтезов есть срок годности, и опасность — действовать на основе обзора, чей поиск закрылся годы назад, пока область двигалась дальше. Явно назовите дату актуальности и спросите, что было опубликовано с тех пор, особенно для быстро меняющихся технологий, где единственное крупное испытание может перевернуть объединённую оценку. Более глубокая дисциплина — заранее решить, какая находка изменила бы ваше мнение, — порог, превращающий «продолжать следить за литературой» из смутного намерения в операционный триггер для живого обновления. Противоречие между издержкой поддержания синтеза живым и издержкой решения, тихо работающего на застоявшихся доказательствах; не каждый вопрос оправдывает живой обзор, но каждый высокоставочный, волатильный — да. Честный ответ указывает дату актуальности, называет, что перевернуло бы вывод, и назначает ответственность за то, чтобы заметить, когда это произойдёт.

4. Были ли вопрос и анализ, который на него ответит, зафиксированы до того, как кто-либо увидел результаты, — или обзор мог быть сформирован под предпочитаемый вывод? Это нацелено на единственную сильнейшую защиту во всей дисциплине: протокол, зарегистрированный заранее, с критериями включения, результатами и планом объединения, установленными до того, как данные могли на них повлиять. Провал, от которого это защищает, тонок, потому что редко бывает намеренным, — рецензент, увидевший результаты первым, может добросовестно скорректировать границу включения, продвинуть вторичный результат или переключить выбор модели способами, которые все случайно благоприятствуют определённому ответу. Спросите, существует ли протокол в публичном реестре, таком как PROSPERO, соответствует ли ему финальный обзор и были ли объявлены и обоснованы любые отклонения, а не сделаны тихо. Противоречие в том, что предварительная регистрация неудобна — она запрещает гибкость «мы учились по ходу дела», ощущающуюся как хорошая наука, — и её отсутствие легко извинить. Честный ответ может указать на зарегистрированный протокол, пройтись по тому, где обзор отклонился от него и почему, и относиться к незарегистрированному синтезу как к тому, чьи выводы, возможно, были выбраны до появления доказательств.

5. Когда решение охватывает несколько методов лечения, никогда не испытывавшихся друг против друга, доверяем ли мы непрямому сравнению, сшивающему их вместе? Реальные решения о финансировании обычно сталкивают несколько активных вариантов друг с другом, большинство из которых никогда не тестировались напрямую, поэтому синтез опирается на сетевой метаанализ, заимствующий силу через общие сравнения. Аспекты, которые стоит вывести на поверхность, — действительно ли аналитик показал сеть испытаний, выполняется ли предположение «транзитивности» — что популяции испытаний и фоновая помощь достаточно похожи, чтобы непрямое сравнение что-то значило, — и согласуются ли прямые и непрямые доказательства там, где существуют оба. Соблазнительный провал в том, что программное обеспечение вернёт полный набор попарных оценок, какими бы тонкими или несопоставимыми ни были лежащие в основе цепи, придавая хрупкому непрямому результату тот же авторитет, что и надёжному прямому. Обсудите, какие контрасты опираются на единственное слабое непрямое звено и являются ли они именно теми сравнениями, что движут рекомендацией. Честный ответ отличает хорошо связанные, проверенные на согласованность сравнения от тонких и несёт последние как низкую достоверность, а не хоронит их в аккуратной турнирной таблице.

6. Относимся ли мы к крупному эффекту и достоверному эффекту как к одному и тому же, тогда как это не так? Это отделяет размер оценки от уверенности, на которую мы имеем право в отношении неё, — различие, которое GRADE существует, чтобы сделать явным. Противоречие в том, что крупная точечная оценка убедительна и на неё легко тратить деньги, тогда как достоверность за ней может быть низкой, потому что доказательства непоследовательны, неточны, косвенны или затенены предвзятостью публикации. Спросите, несёт ли каждый важный результат собственную оценку достоверности, почему она была понижена или повышена, и движима ли рекомендация размером эффекта или честным прочтением того, сколько могут выдержать доказательства. Неудобный случай — скромная, но высокодостоверная выгода, конкурирующая с драматичной, но низкодостоверной: дисциплина в том, чтобы предпочесть доказательства, которым можно доверять, числу, которое льстит. Честный ответ отказывается сворачивать «крупный» и «достоверный» в единый вердикт и позволяет оценке достоверности, а не только точечной оценке, определять, сколько веса решение придаёт результату.

На практике: пример из экономики здравоохранения

Национальный комитет по лекарствам и медицинским технологиям Маридии — вымышленной страны с доходом ниже среднего, строящей свой перечень основных лекарств — должен решить, какой класс препаратов, снижающих артериальное давление, рекомендовать как первую линию при неосложнённой гипертонии в первичной помощи. Четыре класса — кандидаты, все без патента и доступны по цене, но клинический вопрос в том, какой предотвращает больше всего инсультов и сердечных приступов на пролеченного пациента. Комитет не может проводить собственные испытания; он должен синтезировать то, что мир уже знает, а затем передать оценку относительного эффекта своей экономической команде для сочетания с местными издержками и частотой событий.

Доказательное подразделение комитета начинает с зарегистрированного протокола: вопрос, четыре сравнения, результаты (сердечно-сосудистые события и смертность от всех причин), критерии включения и план анализа — всё зафиксировано до поиска. Поиск охватывает несколько баз данных, два реестра испытаний и региональную литературу ВОЗ, индексирующую испытания из обстановок, подобных собственной обстановке Маридии, потому что опора только на журналы стран с высоким доходом импортировала бы население, которое может не соответствовать. Поток документируется в стиле PRISMA: несколько тысяч выявленных записей, большинство исключены по заголовку, несколько десятков рандомизированных испытаний включены, каждое оценено на риск предвзятости. Обнаруживается, что три крупных финансируемых отраслью испытания сообщали избирательно; подразделение их отмечает и планирует анализ чувствительности без них.

Основная трудность в том, что почти ни одно испытание не сравнивало четыре класса напрямую — большинство тестировало один препарат против плацебо или против единственной альтернативы. Простой попарный метаанализ может ответить лишь на часть сравнений, с которыми фактически сталкивается комитет. Поэтому подразделение строит сетевой метаанализ, связывающий классы через их общие сравнения, и оценивает все шесть попарных контрастов сразу. Прежде чем доверять ему, они проверяют транзитивность сети — достаточно ли похожи популяции испытаний и фоновая помощь для непрямого сравнения? — и проверяют, согласуются ли прямые и непрямые доказательства там, где существуют оба. В основном да; один контраст опирается на тонкую непрямую цепь, которую подразделение отмечает как низкую достоверность.

Неоднородность реальна и информативна. Испытания на более старых, более рискованных популяциях показывают большие абсолютные выгоды, чем испытания на более молодых когортах, что важно, потому что пролеченное население Маридии будет смещено к более молодым по сравнению со средним по испытаниям. Вместо слепого объединения подразделение проводит предварительно определённые анализы подгрупп и метарегрессию и сообщает эффект, обусловленный базовым риском. Воронкообразный график по крупнейшему сравнению показывает лёгкую асимметрию, согласующуюся с несколькими недостающими небольшими отрицательными исследованиями; в сочетании с избирательно сообщавшими испытаниями это ведёт их к осторожному отношению к преимуществу наиболее благоприятного класса. При модели случайных эффектов различия между тремя из четырёх классов малы, а их доверительные интервалы сильно перекрываются.

Подразделение оценивает каждый результат по GRADE. Доказательства того, что все четыре класса превосходят отсутствие лечения, — высокой достоверности; доказательства того, что какой-либо один класс явно превосходит остальные, — лишь низкой-умеренной, понижены за непоследовательность, неточность и подозреваемую предвзятость публикации. Это различие и есть решение. Комитет заключает, что, поскольку классы клинически близки и все дёшевы, экономика должна определяться ценой, переносимостью и надёжностью поставок, а не хрупким заявлением о клиническом превосходстве, — вывод, ставший видимым только потому, что синтез отделил размер эффекта от достоверности. Он передаёт экономической команде оценку относительного эффекта с явной неопределённостью для превращения в издержку на предотвращённое событие (см. тему 2.1 «Экономическая оценка») и заказывает живое обновление: если крупное прагматичное испытание, ожидаемое через два года, сдвинет указанный контраст за пределы заранее согласованной границы, рекомендация будет пересмотрена. Причинное рассуждение внутри каждого отдельного исследования — достоверна ли его собственная оценка эффекта — относится к теме 2.3 «Эконометрика здравоохранения»; задачей этого комитета было хорошо их объединить.

Четыре отраслевых ракурса

Стартап

Стартап цифрового здравоохранения или устройств редко заказывает полный систематический обзор, но сталкивается с синтезом с другой стороны — как сторона, чьё единственное многообещающее исследование должно пережить синтез более широкой области органом ОМТ. Соблазн — опираться на одно лестное испытание и описательный обзор отобранных вручную поддерживающих статей, что серьёзный оценщик немедленно распознает. Более мудрый ход — честно и рано отобразить существующую доказательную базу, чтобы стартап знал, где его продукт находится в иерархии и какое сравнение потребует плательщик. Небольшая фирма, представляющая свои доказательства в контексте честного синтеза и откровенная в отношении достоверности собственных данных, заслуживает больше доверия, чем та, что перепродаёт изолированный результат.

Малый бизнес

Небольшой, но устоявшийся поставщик — групповая практика, отдельная специализированная клиника, скромный поставщик устройств или диагностики — не обладает ни объёмом инвесторской доказательной кампании стартапа, ни синтезирующей командой предприятия, но всё же должен читать синтезы достаточно хорошо для решений устойчивого состояния. Его реалистичная задача — потребление, а не производство: чтение оценки достоверности в руководстве, проверка того, напоминает ли население обзора пациентов, которых он фактически лечит, и замечание, когда доказательства за привычкой закупки или направления тихо устарели. Ловушка — полностью полагаться на выборочно собранный пакет доказательств поставщика или единственное запоминающееся испытание, потому что у практики нет времени оценить более широкую область. Соразмерный ход — опираться на синтезы, которые уже поддерживают доверяемые органы — Cochrane, национальные агентства ОМТ, руководства профессиональных обществ, — относиться к их оценкам достоверности GRADE как к заглавным и задавать один дисциплинированный вопрос о любом заявлении поставщика: как это соотносится с систематическим обзором и насколько это актуально?

Предприятие

Крупный производитель, группа поставщиков или страховщик проводит синтез как индустриальную способность: выделенные команды по синтезу доказательств и исследованию исходов, производящие систематические обзоры и сетевые метаанализы в поддержку заявок в множестве юрисдикций. Сила — методологическая глубина и способность построить сетевой метаанализ, охватывающий каждое релевантное сравнение; риск — что та же способность может быть обращена на производство обзора, спроектированного в пользу продукта спонсора, — через узкий поиск, удобный выбор модели или тихие исключения. Достоверность предприятия зависит от регистрации протоколов, следования PRISMA, представления воспроизводимых анализов и приглашения, а не сопротивления независимому воспроизведению, которого всё чаще требуют органы ОМТ. Зрелое предприятие относится к прозрачному синтезу, показывающему подлинную неопределённость, как к более долговечному, чем отполированный, который рецензент может разобрать.

Государство

Министерство, национальный плательщик или орган ОМТ — главный потребитель и арбитр синтезов, и его дисциплина — требовать их и проводить по опубликованному стандарту. Такие органы, как NICE, IQWiG и панели руководств ВОЗ, строят рекомендации на систематических обзорах и оценивают достоверность доказательств по GRADE именно для того, чтобы решения были защитимы и воспроизводимы, а не захвачены самой убедительной заявкой. Государство также несёт обязанности, которых нет у других секторов: поддерживать инфраструктуру — реестры испытаний, сотрудничества по обзорам, методические указания, — делающую честный синтез возможным, и держать высокоставочные обзоры живыми, чтобы национальное руководство не отставало от науки. Подотчётность за то, что синтез упускает, и за пациентов, затронутых неверной объединённой оценкой, в конечном счёте лежит здесь.

Типичные ошибки

• Описательный обзор, одетый как доказательство. Отобранное вручную, несистематическое чтение литературы, представленное с авторитетом синтеза. Решение: требуйте зарегистрированный протокол, явную стратегию поиска и отчётность в стиле PRISMA, прежде чем доверять любому «обзору».

• Объединение несопоставимых исследований. Вычисление точного среднего по испытаниям с разными популяциями, дозами или дизайнами, производящее число, не описывающее ни одного реального пациента. Решение: сначала оцените клиническую и методологическую неоднородность и используйте структурированный описательный синтез, когда объединение не обосновано.

• Игнорирование исследований, которые никогда не были опубликованы. Поиск только в паре баз данных и только в журналах, так что недостающие отрицательные исследования завышают эффект. Решение: ищите в реестрах, у регуляторов и в серой литературе, добивайтесь неопубликованных данных и явно проверяйте предвзятость публикации.

• Усреднение неоднородности. Сообщение единственной объединённой оценки при подавлении факта, что исследования сильно расходятся. Решение: исследуйте расхождение предварительно определённым анализом подгрупп и метарегрессией и сообщайте вариацию, а не только среднее.

• Отношение к включению как к одобрению. Взвешивание слабых и сильных исследований одинаково, отмывание предвзятости в авторитетное среднее. Решение: оценивайте риск предвзятости в каждом исследовании и проводите анализ с исключением исследований высокого риска.

• Смешение размера эффекта с достоверностью. Действие на основе крупного эффекта из доказательств низкой достоверности, будто он установлен. Решение: оценивайте достоверность по результату с помощью GRADE и позволяйте ей, а не только точечной оценке, определять решение.

• Непроверенное непрямое сравнение. Построение сетевого метаанализа без проверки транзитивности или согласованности, так что непрямой результат опирается на несопоставимые испытания. Решение: показывайте сеть, проверяйте предположения и отмечайте тонкие непрямые цепи как низкую достоверность.

• Застоявшийся синтез. Привязка решения к обзору, чей поиск закрылся годы назад в области, которая с тех пор продвинулась. Решение: указывайте дату актуальности, проверяйте, что появилось с тех пор, и держите волатильные высокоставочные обзоры живыми.

Модель зрелости

Контрольный список

• Подтверждено, что протокол был зарегистрирован до поиска, с предварительно определёнными вопросом, результатами и планом анализа.
• Проверено, что поиск охватывал несколько баз данных, реестры испытаний и серую литературу, а не только журналы.
• Проверено, что каждое включённое исследование было оценено на риск предвзятости и что исследования высокого риска были проверены в анализе чувствительности.
• Установлено, что исследования достаточно похожи для объединения; если нет, ожидается структурированный описательный синтез, а не единственное число.
• Отмечено, использовалась ли модель фиксированного или случайных эффектов и почему, и переживает ли вывод альтернативу.
• Задан вопрос о том, как исследовалась неоднородность, и были ли анализы подгрупп предварительно определены или постфактумны.
• Найдена явная проверка предвзятости публикации (сравнение с реестром, воронкообразный график), и положительный результат прочитан как верхняя граница.
• Для решений с несколькими сравнениями подтверждено, что любой сетевой метаанализ показал свою сеть и проверил транзитивность и согласованность.
• Требуется оценка достоверности GRADE (или эквивалентная) для каждого важного результата, отдельно от размера эффекта.
• Подтверждено, что синтез сообщён воспроизводимо (PRISMA), с доступными поиском, исключениями и данными за каждой объединённой оценкой.
• Записаны дата актуальности и то, какая новая находка пересмотрела бы решение.
• Каждый синтезированный вклад согласован с моделью и оценкой, которую он питает, с документированием того, откуда пришли разные вклады из разных доказательств.

Ключевые источники

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (ред. Higgins, Thomas и др.) — международное стандартное пособие по методам систематического обзора и метаанализа.
• PRISMA Statement (Предпочтительные элементы отчётности для систематических обзоров и метаанализов) — стандарт отчётности для систематических обзоров и метаанализов — https://www.prisma-statement.org
• Рабочая группа GRADE — структура для оценки достоверности доказательств и силы рекомендаций — https://www.gradeworkinggroup.org
• Технические вспомогательные документы Отдела поддержки решений NICE о синтезе доказательств и сетевом метаанализе — методическое руководство, используемое в оценке медицинских технологий — https://www.sheffield.ac.uk/nice-dsu
• Руководство ВОЗ по разработке руководств — как Всемирная организация здравоохранения использует систематический обзор и GRADE в глобальных руководствах — https://www.who.int
• Cochrane и международные сотрудничества по живым доказательствам — эталонная практика поддержания высокоставочных синтезов актуальными.

Список литературы

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org