근거 종합과 메타분석

보건경제학에서 이것이 중요한 이유

모든 경제성 평가는 어딘가에서 와야 했던 입력에 기대고 있습니다. 치료의 상대적 효과, 질병이 진행되는 속도, 건강 상태의 삶의 질 가중치, 이상 반응의 가능성입니다. 이것들이 점증적 비용효과비를 움직이는 숫자이며, 그것이 어디서 왔는지가 그 비율이 믿을 만한지를 결정합니다. 의사결정 모형(주제 2.2 — 모델링 참조)은 투입되는 모수만큼만 좋으며, 그 모수는 어떤 단일 시험이 아니라 종합, 곧 문헌 전체를 의도적으로 합친 것의 산물입니다. 이 주제가 "모형 속 숫자가 어디서 오는가"를 맡습니다.

책임자에게 걸려 있는 것은, 종합이 경제학이 수행되기도 전에 재원 질문을 조용히 결정할 수 있다는 점입니다. 리뷰가 유리한 시험만 골라내거나, 귀무 결과를 묻어 버리거나, 결코 비교할 수 없었던 연구들에 걸쳐 평균을 내면, 그것이 산출하는 효과 추정치는 특정 방향으로 틀리게 되며, 모든 하류의 계산이 엄밀함의 외피를 쓴 채 그 오류를 물려받습니다. 영국의 국립보건임상최적화연구원(NICE), 독일의 IQWiG, 세계보건기구(WHO)의 지침 패널 같은 전 세계 보건의료기술평가(HTA) 기관은 권고를 종합에 기초해 세우는데, 단일 연구는 국가적 결정의 무게를 감당하기에 너무 취약하기 때문입니다.

걸려 있는 것은 윤리적이고 공적 신뢰에 관한 것이기도 합니다. 잘 수행된 체계적 문헌고찰은 가장 기억에 남는 시험을 수행한 쪽이나 가장 크게 외친 쪽에 공공 기관이 포획되는 것에 대한 가장 강한 방어입니다. 불편한 부분까지 포함해 근거 기반 전체가 말하게 하는, 투명하고 재현 가능한 방법입니다. 지불자가 자신의 결정이 사전에 명시되고, 포괄적이며, 비판적으로 평가된 종합에서 따라 나왔음을 보일 수 있다면, 그 결정을 임상의, 환자, 업계, 법원에 변호할 수 있습니다. 그럴 수 없다면 결정은 자의적으로 보이며, 보건에서 누가 치료받는지에 대한 자의적 결정은 신뢰를 빠르게 갉아먹습니다.

핵심 개념

체계적 문헌고찰은 특정 질문에 관련된 모든 연구를 찾아내고, 평가하고, 요약하는 구조화된 방법이며, 사전 등록된 프로토콜을 사용하여 과정이 재현 가능하고 편향에 강하도록 합니다. 명시적인 검색 전략, 명시된 포함 및 제외 기준, 포함된 각 연구에 대한 비판적 평가에서 전통적인 서술적 리뷰와 구별됩니다. 오늘날 대부분의 리뷰가 따르는 보고 기준은 PRISMA(체계적 문헌고찰 및 메타분석을 위한 보고 항목)이며, 독자가 무엇이 이루어졌는지 확인할 수 있도록 저자에게 검색에서 종합까지 모든 단계를 문서화하도록 요구합니다.

메타분석은 그 과정의 통계적 부분으로, 여러 연구의 결과를 대개 상대 위험, 오즈비, 평균 차이 같은 효과 크기의 단일 결합 추정치로 정량적으로 합치는 것입니다. 모든 체계적 문헌고찰이 메타분석을 포함하는 것은 아니며, 합치기는 연구들이 결합할 만큼 충분히 비슷할 때만 정당합니다. 그러나 적절한 곳에서는 정밀도를 높이고, 검정력이 부족한 개별 연구가 놓친 효과를 드러낼 수 있습니다. 이를 표시하는 표준적인 방법은 포리스트 도표입니다. 각 연구는 추정치와 신뢰구간을 보여 주는 가로선이고, 합쳐진 결과는 아래쪽의 다이아몬드입니다.

두 가지 통계 모형이 합쳐진 추정치의 뒤에 있습니다. 고정 효과 모형은 모든 연구가 하나의 참된 효과를 추정하고 있으며, 그들 사이의 차이는 표본 잡음일 뿐이라고 가정합니다. 변량 효과 모형은 인구 집단, 용량, 환경이 다르기 때문에 참된 효과가 연구마다 진정으로 다르다고 가정하고 그 분포의 평균을 추정하여, 작은 연구에 더 많은 가중치를 주고 더 넓고 더 정직한 불확실성을 줍니다. 둘 사이의 선택은 장식이 아닙니다. 신뢰구간을 바꾸고 때로는 결론을 바꿉니다.

그 선택이 중요한 이유는 이질성, 곧 연구 결과가 우연이 설명하는 것 이상으로 다른 정도입니다. 임상적 이질성(다른 환자나 치료), 방법론적 이질성(다른 연구 설계나 질), 통계적 이질성(흩어진 결과)은 모두 합쳐진 숫자의 의미를 위협합니다. 진정으로 이질적인 연구를 결합하면 어떤 실제 인구 집단도 설명하지 못하는 평균이 나옵니다. 한 발은 얼음에, 한 발은 불에 둔 사람이 "평균적으로 편안하다"는 것과 통계적으로 같습니다. 이질성을 평균으로 지워 버리지 않고 조사하는 것이 흔히 진짜 배움이 있는 곳입니다.

모든 근거가 같지는 않으며, 이 분야는 이를 근거 위계로 조직합니다. 맨 위에 무작위 시험의 체계적 문헌고찰, 그다음에 개별 무작위 대조 시험, 그다음에 관찰 연구, 그다음에 증례 연속과 전문가 의견이 있습니다. 위계는 연구 설계의 편향 위험에 대한 경험칙이지 보증이 아닙니다. 부실하게 수행된 시험은 좋은 코호트 연구보다 나쁠 수 있습니다. 현대적인 정교화는 각 성과에 대한 근거의 확실성을 높음, 중간, 낮음, 매우 낮음으로 평가하고, 시험 근거조차 편향 위험, 비일관성, 비직접성, 부정확성, 출판 편향 때문에 등급을 낮추거나, 강한 관찰 근거의 등급을 높일 수 있는 GRADE(권고 평가, 개발 및 평가의 등급화)입니다. GRADE는 확실성 등급 뒤의 추론을 명시적이고 감사 가능하게 만들기 때문에 WHO, 코크란, 전 세계 지침 기관이 사용합니다.

직접 비교 시험이 없는 곳, 곧 B가 C와 비교된 적이 없고 각각 위약과만 비교된 곳에서는 네트워크 메타분석(혼합 치료 비교 또는 간접 비교 메타분석이라고도 함)이 연결된 치료 네트워크 전반에서 직접 근거와 간접 근거를 결합하여, 직접 연구된 적 없는 것을 포함한 모든 비교를 추정합니다. 새로운 약을 여러 기존 선택지와 한꺼번에 비교해야 하는 HTA에는 필수 불가결하지만, 간접 비교가 타당할 만큼 시험들이 충분히 비슷하다는 강한 가정에 의존하며, 이는 가정할 것이 아니라 점검되어야 합니다.

두 가지 생각이 더 종합을 믿을 수 있는지를 좌우합니다. 출판 편향은 긍정적이고 유의한 결과를 가진 연구는 출판되고 부정적인 연구는 서랍 속에 있는 경향이며, 그래서 눈에 보이는 문헌은 체계적으로 효과를 과대평가합니다. 흔히 깔때기 도표로 점검하며, 그 비대칭은 빠진 작은 부정적 연구를 시사할 수 있고, 리뷰어가 저널만이 아니라 시험 등록부와 학위 논문, 보고서, 미출판 자료 같은 회색 문헌을 검색하는 이유 중 하나이기도 합니다. 마지막으로 근거가 계속 도착하므로, 점점 늘고 있는 관행은 살아 있는 리뷰, 곧 새 연구가 나올 때마다 종합을 지속적으로 최신 상태로 유지하여 지침이 과학에서 몇 년씩 뒤처지지 않게 하는 것입니다. 코크란 협력체(코크란)는 체계적 문헌고찰 방법의 국제적 기준점으로 남아 있으며, 그 핸드북이 이 분야의 표준 지침서입니다.

모범 사례

1. 검색하기 전에 프로토콜을 작성하고 등록하십시오. 체계적 문헌고찰의 신뢰성은 질문, 포함 기준, 성과, 분석 계획을 결과를 보기 전에 정한 뒤 그 프로토콜을 공개적으로(예: PROSPERO에) 등록하는 데서 나옵니다. 이것이 리뷰어가 무의식적으로 리뷰를 선호하는 답으로 몰아가는 것에 대한 가장 강한 단일 방어입니다. 종합을 의뢰할 때는 등록된 프로토콜을 요구하고, 그 부재를 결론이 먼저 선택되었을 수 있다는 경고로 다루십시오.

2. 아무도 출판하지 않은 연구까지 포함해 포괄적으로 검색하십시오. 두어 개의 데이터베이스와 영어 저널로 제한한 검색은 시험을 놓치고 긍정적 결과 쪽으로 기울게 됩니다. 포괄적인 종합은 여러 데이터베이스, 시험 등록부, 학술대회 초록, 규제 서류, 회색 문헌을 검색하고, 연구자와 제조사의 미출판 자료를 추적합니다. 요점은 철저함 그 자체가 아니라 출판 편향을 근원에서 무력화하는 것입니다. 빠진 연구는 불균형하게 부정적인 연구입니다.

3. 포함된 모든 연구에서 편향 위험을 평가하고, 그것이 결과에 부여하는 가중치를 바꾸게 하십시오. 포함은 보증이 아닙니다. 각 연구는 그것이 오도할 수 있는 구체적인 방식, 곧 부적절한 무작위 배정, 눈가림이 없는 성과 평가, 선택적 보고, 탈락에 대해 평가되어야 합니다. 강한 연구와 약한 연구를 같은 가중치로 합치는 종합은 약한 연구의 편향을 권위 있어 보이는 평균 속으로 세탁합니다. 인정받는 평가 도구를 사용하고, 판단을 투명하게 보고하며, 고위험 연구를 제외하고 분석을 실행하여 결론이 유지되는지 확인하십시오.

4. 합쳐진 숫자를 계산하기 전에 합치기가 애초에 정당한지 결정하십시오. 메타분석은 연구들이 인구 집단, 개입, 비교 대상, 성과에서 비교 가능한 효과를 추정할 만큼 충분히 비슷할 때만 의미가 있습니다. 그렇지 않다면 정직한 산출은 가짜 단일 숫자가 아니라 구조화된 서술적 종합입니다. "결합 추정치는 무엇인가?"를 묻기 전에 "이 연구들이 같은 질문에 답하고 있는가?"를 물으십시오. 비교할 수 없는 것들의 정밀한 평균은 평균이 없는 것보다 나쁩니다.

5. 고정 효과 모형과 변량 효과 모형을 의도적으로 선택하고, 정당화하십시오. 연구가 진정으로 다른 보건 분야에서는 변량 효과 모형이 대개 더 정직한 기본값입니다. 실제 세계의 변이를 반영하는 더 넓은 구간을 산출하기 때문입니다. 그러나 작은 연구에 불균형한 가중치를 주므로, 출판 편향이 의심되는 곳에서는 두려워하는 바로 그 편향을 증폭할 수 있습니다. 어느 모형을 썼고 왜 그랬는지 밝히고, 대안 아래에서 합쳐진 추정치가 어떻게 움직이는지 보여 주십시오. 둘 사이에서 뒤집히는 결론은 견고하지 않습니다.

6. 이질성을 평균으로 지우지 말고 조사하십시오. 연구 결과가 우연이 설명하는 것보다 더 갈릴 때, 그 갈림은 정보입니다. 치료가 한 하위 집단에서는 효과가 있고 다른 곳에서는 없다는 뜻일 수도, 질이 겉보기 효과를 좌우한다는 뜻일 수도 있습니다. 사전 명시된 하위 집단 분석과 메타회귀로 이를 탐색하되, 사후 하위 집단은 찾기 쉽고 믿기 어려우므로 회의적으로 다루십시오. 연구들이 왜 불일치하는지 아무 검토 없이 제시된 합쳐진 추정치는 자료의 가장 유용한 부분을 숨기고 있는 것입니다.

7. 출판 및 보고 편향을 명시적으로 점검하십시오. 출판된 문헌을 시험 등록부와 대조하여 수행되었으나 보고되지 않은 연구를 찾고, 연구가 충분히 있는 곳에서는 깔때기 도표의 비대칭을 살펴보며, 연구 규모가 커질수록 효과가 줄어드는지 고려하십시오. 이 검사 중 어느 것도 결정적이지 않지만, 그 부재는 깔끔한 긍정적 결과에 대한 확신을 낮춰야 합니다. 출판 편향의 방향은 거의 언제나 같으며, 겉보기 편익을 부풀리므로, 점검되지 않은 종합은 상한으로 읽어야 합니다.

8. 결정에 비교 대상이 많을 때 네트워크 메타분석을 사용하고, 그 핵심 가정을 점검하십시오. 실제 재원 결정은 하나의 약을 위약과 맞붙이는 경우가 드뭅니다. 대부분 직접 비교 시험이 이루어진 적 없는 여러 활성 선택지 가운데 고릅니다. 네트워크 메타분석은 그 간극을 메우지만, 시험들이 간접 비교에 충분히 비슷하고("이행성" 가정), 둘 다 있는 곳에서 직접 근거와 간접 근거가 일치할 때만 그렇습니다. 분석가가 네트워크를 보여 주고, 일관성을 시험하며, 얇은 간접 사슬에 기댄 비교에 대해 솔직하도록 요구하십시오.

9. 효과의 크기만이 아니라 근거의 확실성에 등급을 매기십시오. 낮은 확실성의 근거에서 나온 큰 효과는 높은 확실성의 근거에서 나온 적당한 효과보다 공적 자금을 쓰는 데 약한 근거입니다. GRADE는 성과별로 확실성을 평가하고 등급이 왜 낮아지거나 높아졌는지 문서화하여 이 질문들을 분리하며, "근거가 강하다"를 주장에서 감사를 거친 판단으로 바꿉니다. 결정에 투입되는 종합이 단일한 전반적 판결이 아니라 중요한 각 성과에 대한 명시적인 확실성 등급을 지니도록 요구하십시오.

10. 회의적인 사람이 재현할 수 있도록 종합을 보고하십시오. PRISMA 같은 인정받는 보고 기준을 따르십시오. 전체 검색 전략, 확인된 연구에서 포함된 연구에 이르는 흐름, 이유를 붙인 제외된 연구, 편향 위험 판단, 모든 합쳐진 추정치 뒤의 자료를 제시하십시오. 투명성은 오류와 선택적 선택이 예산을 움직이기 전에 잡히는 메커니즘입니다. 검색을 다시 실행할 수 없거나 제외가 설명되지 않은 종합은 초록이 아무리 자신만만해도 결정의 닻이 되어서는 안 됩니다.

11. 근거가 빠르게 움직이는 곳에서는 중대한 종합을 살아 있게 유지하십시오. 새로운 약물 계열, 새로 출현한 병원체, 빠르게 시험되는 기술처럼 빠르게 변하는 분야에서 리뷰는 출판되는 순간 낡은 것이 되며, 낡은 근거는 돈과 의료를 조용히 엉뚱한 곳으로 이끕니다. 살아 있는 리뷰는 새로운 연구에 맞춰 지속적으로 갱신하며, 새 시험이 결론을 바꾸는 때에 대한 사전에 합의된 규칙을 갖습니다. 그 노력은 이를 정당화할 만큼 크고 변동성이 큰 결정에 쓰고, 의존하는 모든 종합의 시점 날짜를 명시하십시오.

12. 종합을 모형이 실제로 필요로 하는 모수에 맞추십시오. 의사결정 모형은 기본 사례의 상대 효과, 지역 인구 집단의 기저 위험, 효용 가중치 같은 구체적인 입력을 필요로 하며, 각각이 자체 포함 기준을 갖는 자체 종합을 필요로 할 수 있습니다. 상대 효과는 무작위 시험에서, 기저 위험은 지역 등록부에서 가져오는 것은 정당하고 흔합니다. 둘이 서로 다른 근거 집합에서 왔다는 사실을 숨기는 것은 그렇지 않습니다. 종합된 각 입력을 하류에서 쓰일 방식에 맞추고, 그것이 투입되는 평가를 상호 참조하십시오(주제 2.1 — 경제성 평가 참조).

팀과 논의할 질문

1. 효과 추정치를 확정된 것으로 받아들일 때, 우리는 그것이 문헌 전체에서 나왔는지 눈에 보이고 돋보이는 부분에서만 나왔는지 알고 있습니까? 이 질문은 출판 편향과 선택적 보고, 곧 종합을 예측 가능한 방향으로 틀리게 만드는 실패를 겨냥합니다. 불편한 현실은 긍정적 시험이 부정적 시험보다 더 빨리, 더 자주, 더 눈에 띄게 출판된다는 것이며, 그래서 저널에 국한된 리뷰는 포함된 모든 연구가 정직하더라도 편익을 과대평가하는 경향이 있습니다. 논의를 구체적인 출처로 밀어붙이십시오. 수행되었으나 보고되지 않은 연구를 찾으려고 시험 등록부를 검색했는가, 제조사에 미출판 자료를 요청했는가, 깔때기 도표나 비슷한 점검을 했는가? 긴장은 포괄적 검색이 비싸고 느리며, 깔끔한 출판된 추정치를 받아들이고 넘어가라는 압력이 늘 있다는 것입니다. 정직한 답은 검색이 완벽했다고 주장하지 않고, 리뷰가 빠진 연구를 얼마나 열심히 찾았는지 밝히며, 점검되지 않은 긍정적 결과를 진실이 아니라 있을 법한 상한으로 다룹니다.

2. 우리가 합치고 있는 연구들은 실제로 같은 질문에 답하고 있습니까, 아니면 서로 어울리지 않는 것들로 깔끔한 평균을 만들어 낸 것입니까? 이것은 이질성 질문이며, 합쳐진 숫자가 조금이라도 의미가 있는지를 결정합니다. 드러낼 만한 관점은 임상적(다른 환자, 용량, 비교 대상), 방법론적(시험과 약한 관찰 연구의 혼합), 통계적(우연 이상으로 불일치하는 결과)입니다. 유혹적인 실패는 기저 연구들이 비교 가능한지와 관계없이 소프트웨어가 언제나 자신만만해 보이는 신뢰구간과 함께 합쳐진 추정치를 돌려준다는 것입니다. 숫자의 정밀성은 그 타당성에 대해 아무것도 말해 주지 않습니다. 리뷰가 연구들이 왜 불일치하는지 조사했는지 아니면 단지 평균을 냈는지, 하위 집단 차이가 사전에 명시되었는지 사후에 낚시질한 것인지 논의하십시오. 정직한 답은 합치기가 부적절했으며 구조화된 서술적 종합이 더 진실한 산출이었으리라는 결론을 내릴 용의가 있습니다.

3. 이 근거는 얼마나 최신이며, 새로운 연구가 무엇을 보여 주어야 우리의 결정이 바뀌겠습니까? 종합에는 유통 기한이 있으며, 위험은 분야가 앞서 나갔는데도 몇 년 전에 검색이 끝난 리뷰에 근거해 행동하는 것입니다. 시점 날짜를 명시적으로 밝히고 그 이후에 무엇이 출판되었는지 물으십시오. 특히 하나의 대규모 시험이 합쳐진 추정치를 뒤집을 수 있는 빠르게 움직이는 기술에서 그렇습니다. 더 깊은 규율은 어떤 발견이 우리 생각을 바꿀지 미리 정하는 것이며, 이는 "문헌을 계속 지켜본다"를 모호한 의도에서 살아 있는 갱신을 위한 작동 가능한 기준으로 바꾸는 문턱입니다. 긴장은 종합을 살아 있게 유지하는 비용과 결정이 낡은 근거로 조용히 굴러가는 비용 사이에 있습니다. 모든 질문이 살아 있는 리뷰를 정당화하지는 않지만, 중대하고 변동성이 큰 질문은 모두 그렇습니다. 정직한 답은 시점 날짜를 밝히고, 무엇이 결론을 뒤집을지 명시하며, 그것이 도착했을 때 알아차릴 책임자를 지정합니다.

4. 질문과 그에 답할 분석은 누군가 결과를 보기 전에 정해졌습니까, 아니면 리뷰가 선호하는 결론 쪽으로 형성되었을 수 있습니까? 이것은 이 학문 전체에서 가장 강한 단일 방어, 곧 포함 기준, 성과, 합치기 계획이 자료가 영향을 미치기 전에 정해진, 사전에 등록된 프로토콜을 겨냥합니다. 이것이 막는 실패는 의도적인 경우가 드물어서 미묘합니다. 결과를 먼저 본 리뷰어는 선의로 포함 경계를 조정하거나, 부차적 성과를 승격하거나, 모형 선택을 바꿀 수 있으며, 이 모두가 우연히 특정한 답에 유리해집니다. PROSPERO 같은 공개 등록부에 프로토콜이 있는지, 최종 리뷰가 그와 일치하는지, 이탈이 조용히 이루어진 것이 아니라 공개되고 정당화되었는지 물으십시오. 긴장은 사전 등록이 불편하다는 것입니다. "하면서 배웠다"는 좋은 과학처럼 느껴지는 유연성을 금지하며, 그 부재는 변명하기 쉽습니다. 정직한 답은 등록된 프로토콜을 가리킬 수 있고, 리뷰가 그로부터 어디서 왜 벗어났는지 짚어 주며, 등록되지 않은 종합을 근거가 들어오기 전에 결론이 선택되었을 수 있는 것으로 다룹니다.

5. 결정이 서로 비교 시험이 이루어진 적 없는 여러 치료에 걸쳐 있을 때, 우리는 그것들을 한데 꿰는 간접 비교를 신뢰합니까? 실제 재원 선택은 대개 여러 활성 선택지를 서로 맞붙이며, 대부분은 직접 비교 시험이 이루어진 적이 없으므로, 종합은 공유된 비교 대상을 통해 힘을 빌리는 네트워크 메타분석에 기댑니다. 드러낼 관점은 분석가가 시험의 네트워크를 실제로 보여 주었는지, "이행성" 가정, 곧 시험 인구 집단과 기본 진료가 간접 비교가 의미를 가질 만큼 충분히 비슷하다는 가정이 성립하는지, 그리고 둘 다 있는 곳에서 직접 근거와 간접 근거가 일치하는지입니다. 유혹적인 실패는 기저 사슬이 아무리 얇거나 비교할 수 없어도 소프트웨어가 쌍별 추정치 전체를 돌려주어, 취약한 간접 결과에 견고한 직접 결과와 같은 권위를 부여한다는 것입니다. 어느 대비가 하나의 약한 간접 연결에 기대고 있는지, 그리고 그것들이 바로 권고를 이끄는 비교인지 논의하십시오. 정직한 답은 연결이 잘 되고 일관성이 시험된 비교와 얇은 비교를 구분하고, 후자는 깔끔한 순위표 속에 묻지 않고 낮은 확실성으로 다룹니다.

6. 큰 효과와 확실한 효과를 같은 것으로 취급하고 있지는 않습니까? 둘은 같지 않습니다. 이것은 추정치의 크기와 우리가 가질 자격이 있는 확신을 분리하며, GRADE가 명시적으로 만들기 위해 존재하는 구분입니다. 긴장은 큰 점추정치가 설득력 있고 돈을 쓰기 쉬운 반면, 그 뒤의 확실성은 근거가 비일관적이거나, 부정확하거나, 간접적이거나, 출판 편향의 그림자에 가려져 있어 낮을 수 있다는 것입니다. 중요한 각 성과가 자체 확실성 등급을 갖는지, 그것이 왜 낮아지거나 높아졌는지, 권고가 효과 크기에 이끌리는지 근거가 얼마나 감당할 수 있는지에 대한 정직한 해석에 이끌리는지 물으십시오. 불편한 경우는 적당하지만 확실성이 높은 편익이 극적이지만 확실성이 낮은 편익과 경쟁하는 경우입니다. 규율은 돋보이게 하는 숫자보다 신뢰할 수 있는 근거를 선호하는 것입니다. 정직한 답은 "큰"과 "확실한"을 하나의 판결로 뭉치기를 거부하고, 점추정치만이 아니라 확실성 등급이 결정이 결과에 두는 비중을 좌우하게 합니다.

실무 사례: 보건경제학의 한 예

필수 의약품 목록을 구축 중인 가상의 중하위 소득 국가 마리디아(Maridia)의 국가 의약품·보건의료기술 위원회는 1차 의료에서 합병증 없는 고혈압의 1차 치료제로 어느 계열의 혈압 강하제를 권고할지 결정해야 합니다. 네 가지 계열이 후보이며 모두 특허가 만료되었고 저렴하지만, 임상적 질문은 치료받는 환자당 어느 것이 가장 많은 뇌졸중과 심장마비를 예방하는가입니다. 위원회는 자체 시험을 수행할 수 없습니다. 세계가 이미 아는 것을 종합한 뒤, 상대 효과 추정치를 경제학 팀에 넘겨 지역의 비용과 사건 발생률과 결합하게 해야 합니다.

위원회의 근거 부서는 등록된 프로토콜에서 시작합니다. 질문, 네 가지 비교 대상, 성과(심혈관 사건과 전체 사망), 포함 기준, 분석 계획이 모두 검색 전에 고정되어 있습니다. 검색은 여러 데이터베이스, 두 개의 시험 등록부, 그리고 마리디아와 같은 환경의 시험을 색인하는 WHO 지역 문헌을 포괄하는데, 고소득 국가의 저널에만 의존하면 맞지 않을 수 있는 인구 집단을 들여오게 되기 때문입니다. 흐름은 PRISMA 방식으로 문서화됩니다. 수천 건의 기록이 확인되었고, 대부분 제목에서 제외되었으며, 수십 건의 무작위 시험이 포함되어 각각 편향 위험이 평가되었습니다. 업계가 후원한 세 건의 대규모 시험이 선택적으로 보고한 것으로 밝혀지며, 부서는 이들을 표시하고 이들을 제외한 민감도 분석을 계획합니다.

핵심 어려움은 네 계열을 직접 비교한 시험이 거의 없다는 것입니다. 대부분 한 약을 위약이나 단일 대안과 시험했습니다. 단순한 쌍별 메타분석은 위원회가 실제로 직면한 비교의 일부에만 답할 수 있습니다. 그래서 부서는 공유된 비교 대상을 통해 계열들을 연결하는 네트워크 메타분석을 구축하고, 여섯 가지 쌍별 대비를 한꺼번에 추정합니다. 그것을 신뢰하기 전에, 이들은 네트워크의 이행성, 곧 시험 인구 집단과 기본 진료가 간접 비교에 충분히 비슷한지 점검하고, 둘 다 있는 곳에서 직접 근거와 간접 근거가 일치하는지 시험합니다. 대체로 일치합니다. 한 대비는 얇은 간접 사슬에 기대고 있으며, 부서는 이를 낮은 확실성으로 표시합니다.

이질성은 실재하고 유익합니다. 더 고령이고 위험이 높은 인구 집단의 시험은 더 젊은 코호트의 시험보다 더 큰 절대 편익을 보이며, 마리디아의 치료 인구 집단은 시험 평균보다 더 젊은 쪽으로 기울 것이므로 이는 중요합니다. 무턱대고 합치는 대신 부서는 사전 명시된 하위 집단 및 메타회귀 분석을 수행하고 기저 위험에 따라 조건화된 효과를 보고합니다. 가장 큰 비교의 깔때기 도표는 경미한 비대칭을 보이며, 빠진 작은 부정적 연구 몇 건과 일관됩니다. 선택적 보고를 한 시험들과 함께, 이는 가장 유리한 계열의 우위를 조심스럽게 다루게 합니다. 변량 효과 모형에서 네 계열 가운데 세 계열 사이의 차이는 작고 신뢰구간은 크게 겹칩니다.

부서는 각 성과를 GRADE로 등급화합니다. 네 계열 모두가 무치료보다 낫다는 근거는 확실성이 높고, 어느 한 계열이 다른 계열보다 분명히 우월하다는 근거는 비일관성, 부정확성, 의심되는 출판 편향 때문에 등급이 낮아져 낮음에서 중간 정도에 그칩니다. 그 구분이 곧 결정입니다. 위원회는 계열들이 임상적으로 가깝고 모두 저렴하므로, 경제학이 취약한 임상적 우월성 주장이 아니라 가격, 내약성, 공급 안정성에 의해 이끌려야 한다고 결론짓습니다. 이 결론은 종합이 효과 크기와 확실성을 분리했기에 비로소 눈에 보이게 되었습니다. 위원회는 경제학 팀에 명시적인 불확실성을 가진 상대 효과 추정치를 넘기고, 이는 피한 사건당 비용으로 바뀌게 되며(주제 2.1 — 경제성 평가 참조), 살아 있는 갱신을 의뢰합니다. 2년 뒤 나올 대규모 실용 시험이 지정된 대비를 사전에 합의된 한계 너머로 옮기면 권고를 다시 엽니다. 각 시험 안의 단일 연구 인과 추론, 곧 그 자체의 효과 추정치가 믿을 만한지는 주제 2.3 — 보건계량경제학에 속하며, 이 위원회의 일은 그것들을 잘 합치는 것이었습니다.

네 가지 부문별 관점

스타트업

디지털 헬스나 기기 스타트업이 전체 체계적 문헌고찰을 의뢰하는 경우는 드물지만, 반대편에서 종합을 만납니다. 유망한 단일 연구가 HTA 기관의 더 넓은 분야에 대한 종합을 견뎌야 하는 당사자로서입니다. 유혹은 돋보이는 시험 하나와 골라 모은 지지 논문의 서술적 리뷰에 기대는 것이며, 진지한 평가자는 이를 곧바로 꿰뚫어 봅니다. 더 현명한 방법은 기존 근거 기반을 정직하게, 일찍 지도로 그려서 스타트업이 자사 제품이 위계에서 어디에 있고 지불자가 어떤 비교를 요구할지 알게 하는 것입니다. 자사 근거를 공정한 종합의 맥락에서 제시하고 자체 자료의 확실성에 대해 솔직한 소규모 회사는 고립된 결과를 과장하는 회사보다 더 많은 신뢰를 얻습니다.

소규모 사업체

그룹 개원, 단일 전문 의원, 소규모 기기나 진단 공급업체처럼 작지만 자리 잡은 공급자는 스타트업의 투자자 지원을 받는 근거 추진의 물량도, 대기업의 종합 팀도 없지만, 안정 상태의 결정을 내릴 수 있을 만큼은 종합을 잘 읽어야 합니다. 이들의 현실적인 과제는 생산이 아니라 소비입니다. 지침의 확실성 등급을 읽고, 리뷰의 인구 집단이 실제로 보는 환자와 닮았는지 확인하며, 구매나 의뢰 습관 뒤의 근거가 조용히 낡아 버렸을 때 알아차리는 것입니다. 함정은 더 넓은 분야를 평가할 시간이 없다는 이유로 공급업체의 골라 모은 근거 꾸러미나 기억에 남는 단일 시험에 통째로 따르는 것입니다. 비례적인 방법은 코크란, 국가 HTA 기관, 전문 학회 지침 같은 신뢰받는 기관이 이미 유지하는 종합에 기대고, 그들의 GRADE 확실성 등급을 핵심으로 삼으며, 공급업체의 어떤 주장에도 한 가지 규율 있는 질문을 던지는 것입니다. 이것이 체계적 문헌고찰에 견주어 어디에 있으며, 얼마나 최신인가?

대기업

대형 제조사, 공급자 그룹, 보험자는 종합을 산업적 역량으로 운영합니다. 여러 관할의 제출을 뒷받침하기 위해 체계적 문헌고찰과 네트워크 메타분석을 만드는 전담 근거 종합 및 보건경제·성과연구 팀입니다. 강점은 방법론적 깊이와 모든 관련 비교 대상에 걸친 네트워크 메타분석을 구축할 수 있는 능력이며, 위험은 같은 역량이 좁은 검색, 편리한 모형 선택, 조용한 제외를 통해 후원자의 제품에 유리하도록 설계된 리뷰를 만드는 데 쓰일 수 있다는 것입니다. 대기업의 신뢰성은 프로토콜 등록, PRISMA 준수, 재현 가능한 분석의 제출, HTA 기관이 점점 요구하는 독립적 재현의 초대에 달려 있습니다. 성숙한 대기업은 진정한 불확실성을 보여 주는 투명한 종합을, 리뷰어가 해체할 수 있는 세련된 종합보다 더 오래가는 것으로 다룹니다.

정부

부처, 국가 지불자, HTA 기관은 종합의 주된 소비자이자 심판이며, 그 규율은 공표된 기준에 따라 이를 요구하고 수행하는 것입니다. NICE, IQWiG, WHO 지침 패널 같은 기관은 가장 설득력 있는 제출에 포획되지 않고 결정이 방어 가능하고 재현 가능하도록 하기 위해 체계적 문헌고찰에 기초하여 권고를 세우고 GRADE로 근거의 확실성을 등급화합니다. 정부는 다른 부문이 지지 않는 책임도 집니다. 정직한 종합을 가능하게 하는 기반, 곧 시험 등록부, 리뷰 협력체, 방법 지침을 유지하고, 국가 지침이 과학에서 뒤처지지 않도록 중대한 리뷰를 살아 있게 유지하는 것입니다. 종합이 빠뜨린 것에 대한 책무, 그리고 잘못 합쳐진 추정치의 영향을 받는 환자들에 대한 책무는 궁극적으로 여기에 있습니다.

흔한 실패 유형

• 근거로 포장된 서술적 리뷰. 종합의 권위를 두르고 제시되는 골라 모은 비체계적 문헌 읽기. 해결책: 어떤 "리뷰"든 신뢰하기 전에 등록된 프로토콜, 명시적인 검색 전략, PRISMA 방식의 보고를 요구하십시오.
• 비교 불가능한 연구를 합치기. 인구 집단, 용량, 설계가 다른 시험들에 걸쳐 정밀한 평균을 계산하여 어떤 실제 환자도 설명하지 못하는 숫자를 만드는 것. 해결책: 먼저 임상적·방법론적 이질성을 평가하고, 합치기가 정당하지 않을 때는 구조화된 서술적 종합을 사용하십시오.
• 출판되지 않은 연구를 무시하기. 두어 개의 데이터베이스와 저널만 검색하여 빠진 부정적 연구가 효과를 부풀리는 것. 해결책: 등록부, 규제 당국, 회색 문헌을 검색하고, 미출판 자료를 구하며, 출판 편향을 명시적으로 점검하십시오.
• 이질성을 평균으로 지우기. 연구들이 강하게 불일치한다는 사실을 억누른 채 단일 합쳐진 추정치를 보고하는 것. 해결책: 사전 명시된 하위 집단 분석과 메타회귀로 갈림을 조사하고, 평균만이 아니라 변이도 보고하십시오.
• 포함을 보증으로 취급하기. 약한 연구와 강한 연구를 같은 가중치로 다루어 편향을 권위 있는 평균으로 세탁하는 것. 해결책: 각 연구의 편향 위험을 평가하고 고위험 연구를 제외한 분석을 수행하십시오.
• 효과 크기와 확실성을 혼동하기. 낮은 확실성의 근거에서 나온 큰 효과를 확정된 것처럼 행동의 근거로 삼는 것. 해결책: GRADE로 성과별 확실성에 등급을 매기고, 점추정치만이 아니라 그것이 결정을 좌우하게 하십시오.
• 점검되지 않은 간접 비교. 이행성이나 일관성을 시험하지 않고 네트워크 메타분석을 구축하여 간접 결과가 비교할 수 없는 시험에 기대는 것. 해결책: 네트워크를 보여 주고, 가정을 시험하며, 얇은 간접 사슬을 낮은 확실성으로 표시하십시오.
• 낡은 종합. 분야가 앞서 나간 가운데 몇 년 전에 검색이 끝난 리뷰에 결정의 닻을 내리는 것. 해결책: 시점 날짜를 밝히고, 그 이후에 나온 것을 확인하며, 변동성이 크고 중대한 리뷰는 살아 있게 유지하십시오.

성숙도 모델

체크리스트

• 검색 전에 사전 명시된 질문, 성과, 분석 계획과 함께 프로토콜이 등록되었음을 확인한다.
• 검색이 저널만이 아니라 여러 데이터베이스, 시험 등록부, 회색 문헌을 포괄했는지 점검한다.
• 포함된 각 연구가 편향 위험에 대해 평가되었고, 고위험 연구가 민감도 분석에서 시험되었는지 확인한다.
• 연구들이 합칠 만큼 충분히 비슷한지 규명한다. 그렇지 않다면 단일 숫자가 아니라 구조화된 서술적 종합을 기대한다.
• 고정 효과 모형과 변량 효과 모형 중 어느 것을 왜 썼는지, 결론이 대안에서도 유지되는지 확인한다.
• 이질성을 어떻게 조사했는지, 하위 집단 분석이 사전 명시된 것인지 사후적인 것인지 묻는다.
• 명시적인 출판 편향 점검(등록부 대조, 깔때기 도표)을 찾고, 긍정적 결과를 상한으로 읽는다.
• 비교 대상이 여러 개인 결정에서는 네트워크 메타분석이 네트워크를 보여 주었고 이행성과 일관성을 시험했는지 확인한다.
• 중요한 각 성과에 대해 효과 크기와 별도로 GRADE(또는 동등한) 확실성 등급을 요구한다.
• 종합이 검색, 제외, 합쳐진 자료를 확인할 수 있는 형태로 재현 가능하게(PRISMA) 보고되었는지 확인한다.
• 시점 날짜와 어떤 새로운 발견이 결정을 다시 열지 기록한다.
• 종합된 각 입력을 그것이 투입되는 모형과 평가에 맞추고, 서로 다른 입력이 서로 다른 근거에서 왔다면 그 출처를 문서화한다.

Key sources

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (eds. Higgins, Thomas et al.) — the international standard manual for systematic-review and meta-analysis methods.
• PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) — the reporting standard for systematic reviews and meta-analyses — https://www.prisma-statement.org
• GRADE Working Group — the framework for rating certainty of evidence and strength of recommendations — https://www.gradeworkinggroup.org
• NICE Decision Support Unit Technical Support Documents on evidence synthesis and network meta-analysis — methods guidance used in health technology assessment — https://www.sheffield.ac.uk/nice-dsu
• WHO Handbook for Guideline Development — how the World Health Organization uses systematic review and GRADE in global guidelines — https://www.who.int
• Cochrane and the international living-evidence collaborations — reference practice for keeping high-stakes syntheses current.

References

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org