Tổng hợp bằng chứng và phân tích gộp

Vì sao điều này quan trọng trong kinh tế học sức khỏe

Mọi đánh giá kinh tế đều dựa trên các đầu vào phải đến từ đâu đó: hiệu quả tương đối của một phương pháp điều trị, tốc độ bệnh tiến triển, trọng số chất lượng cuộc sống của một trạng thái sức khỏe, khả năng xảy ra một biến cố bất lợi. Đây là những con số dẫn dắt một tỷ số hiệu quả về chi phí gia tăng, và việc chúng đến từ đâu quyết định liệu tỷ số có đáng tin hay không. Một mô hình quyết định (xem Chủ đề 2.2 — Mô hình hóa) chỉ tốt bằng các tham số đưa vào nó, và các tham số ấy là sản phẩm của tổng hợp — việc cố ý gộp cả một nền văn liệu — chứ không phải của bất kỳ thử nghiệm đơn lẻ nào. Đây là chủ đề phụ trách "những con số trong mô hình đến từ đâu".

Với một giám đốc, rủi ro là một bản tổng hợp có thể lặng lẽ quyết định một câu hỏi tài trợ trước cả khi kinh tế học được chạy. Nếu một tổng quan chọn lọc các thử nghiệm thuận lợi, chôn một kết quả vô hiệu, hoặc lấy trung bình trên các nghiên cứu chưa bao giờ so sánh được, ước lượng hiệu quả nó tạo ra sẽ sai theo một hướng cụ thể, và mọi phép tính hạ nguồn thừa hưởng sai sót ấy kèm lớp vỏ chặt chẽ. Các cơ quan đánh giá công nghệ y tế (HTA) trên toàn thế giới — NICE của Anh, IQWiG của Đức, các hội đồng hướng dẫn của Tổ chức Y tế Thế giới (WHO) — xây dựng khuyến nghị trên các bản tổng hợp chính xác vì một nghiên cứu đơn lẻ quá mong manh để chịu sức nặng của một quyết định quốc gia.

Rủi ro cũng mang tính đạo đức và về niềm tin công chúng. Một tổng quan hệ thống được thực hiện tốt là sự bảo vệ mạnh nhất mà một cơ quan công có trước việc bị nắm bắt bởi bất kỳ ai chạy thử nghiệm đáng nhớ nhất hay la to nhất. Đó là một phương pháp minh bạch, tái lập được để cho toàn bộ nền bằng chứng lên tiếng, kể cả những phần bất tiện. Khi một bên chi trả có thể cho thấy quyết định của mình đi theo từ một bản tổng hợp đã được xác định trước, toàn diện, thẩm định phê phán, họ có thể bảo vệ quyết định đó trước thầy thuốc, bệnh nhân, ngành công nghiệp và tòa án. Khi không thể, quyết định trông tùy tiện — và trong y tế, các quyết định tùy tiện về việc ai được điều trị làm xói mòn niềm tin rất nhanh.

Các khái niệm cốt lõi

Một tổng quan hệ thống là một phương pháp có cấu trúc để xác định vị trí, thẩm định và tóm tắt mọi nghiên cứu liên quan đến một câu hỏi cụ thể, dùng một đề cương đăng ký trước để quy trình tái lập được và chống thiên lệch. Nó được phân biệt với tổng quan tường thuật truyền thống bởi chiến lược tìm kiếm tường minh, tiêu chí đưa vào và loại ra đã nêu, và thẩm định phê phán từng nghiên cứu được đưa vào. Chuẩn báo cáo mà hầu hết các tổng quan nay theo là PRISMA (Các Mục Báo cáo Ưu tiên cho Tổng quan Hệ thống và Phân tích Gộp), yêu cầu tác giả ghi chép mọi bước từ tìm kiếm đến tổng hợp để người đọc có thể kiểm tra điều đã làm.

Phân tích gộp là phần thống kê của quy trình đó: việc gộp định lượng kết quả của nhiều nghiên cứu thành một ước lượng kết hợp duy nhất, thường là một kích thước hiệu quả như nguy cơ tương đối, tỷ số chênh hay chênh lệch trung bình. Không phải mọi tổng quan hệ thống đều chứa một phân tích gộp — việc gộp chỉ chính đáng khi các nghiên cứu đủ giống nhau để kết hợp — nhưng nơi nó phù hợp, nó tăng độ chính xác và có thể làm lộ một hiệu quả mà các nghiên cứu đơn lẻ thiếu sức mạnh đã bỏ sót. Cách trình bày kinh điển là biểu đồ rừng: mỗi nghiên cứu là một đường ngang cho thấy ước lượng và khoảng tin cậy của nó, kết quả gộp là một hình thoi ở chân biểu đồ.

Hai mô hình thống kê nằm sau ước lượng gộp. Mô hình hiệu ứng cố định giả định mọi nghiên cứu đang ước lượng một hiệu quả thật duy nhất, và những khác biệt giữa chúng chỉ là nhiễu lấy mẫu. Mô hình hiệu ứng ngẫu nhiên giả định hiệu quả thật thực sự thay đổi giữa các nghiên cứu — vì dân cư, liều lượng và bối cảnh khác nhau — và ước lượng trung bình của phân phối đó, trao nhiều trọng số hơn cho các nghiên cứu nhỏ và bất định rộng hơn, trung thực hơn. Sự lựa chọn giữa chúng không phải trang trí: nó thay đổi khoảng tin cậy và đôi khi cả kết luận.

Lý do sự lựa chọn quan trọng là tính không đồng nhất — mức độ mà kết quả các nghiên cứu khác nhau nhiều hơn mức ngẫu nhiên giải thích được. Tính không đồng nhất lâm sàng (bệnh nhân hay điều trị khác nhau), phương pháp luận (thiết kế hay chất lượng nghiên cứu khác nhau) và thống kê (kết quả phân tán) đều đe dọa ý nghĩa của một con số gộp. Kết hợp các nghiên cứu thực sự không đồng nhất tạo ra một giá trị trung bình mô tả không dân cư thực nào — tương đương thống kê của một người một chân trong băng, một chân trong lửa là "trung bình thoải mái". Khảo sát tính không đồng nhất, thay vì lấy trung bình để xóa nó đi, thường là nơi có sự học hỏi thực sự.

Không phải mọi bằng chứng đều bằng nhau, và lĩnh vực này tổ chức chúng thành một bậc thang bằng chứng: tổng quan hệ thống của các thử nghiệm ngẫu nhiên ở trên cùng, rồi các thử nghiệm ngẫu nhiên có đối chứng riêng lẻ, rồi các nghiên cứu quan sát, rồi các chuỗi ca và ý kiến chuyên gia. Bậc thang là quy tắc ngón tay cái về rủi ro thiên lệch của một thiết kế nghiên cứu, không phải bảo đảm — một thử nghiệm được chạy kém có thể tệ hơn một nghiên cứu thuần tập tốt. Sự tinh chỉnh hiện đại là GRADE (Phân hạng Đánh giá, Phát triển và Thẩm định Khuyến nghị), xếp hạng độ chắc chắn của bằng chứng cho từng kết quả là cao, trung bình, thấp hay rất thấp, và có thể hạ bậc ngay cả bằng chứng thử nghiệm vì rủi ro thiên lệch, không nhất quán, gián tiếp, thiếu chính xác và thiên lệch công bố — hoặc nâng bậc bằng chứng quan sát mạnh. GRADE nay được WHO, Cochrane và các cơ quan hướng dẫn trên toàn thế giới dùng chính xác vì nó làm cho lập luận đằng sau một xếp hạng độ chắc chắn tường minh và kiểm toán được.

Nơi không có thử nghiệm đối đầu — B chưa bao giờ được thử nghiệm với C, chỉ từng cái với giả dược — phân tích gộp mạng lưới (còn gọi là phân tích gộp so sánh gián tiếp hay đa điều trị) kết hợp bằng chứng trực tiếp và gián tiếp qua một mạng các phương pháp điều trị liên thông để ước lượng mọi so sánh, kể cả những cái chưa bao giờ được nghiên cứu trực tiếp. Nó không thể thiếu với HTA, nơi một loại thuốc mới phải được so sánh với nhiều lựa chọn hiện có cùng lúc, nhưng nó dựa trên một giả định mạnh — rằng các thử nghiệm đủ giống nhau để so sánh gián tiếp hợp lệ — cần được kiểm tra chứ không được giả định.

Hai ý tưởng nữa định hình liệu một bản tổng hợp có thể tin được hay không. Thiên lệch công bố là xu hướng các nghiên cứu có kết quả dương tính, có ý nghĩa được công bố, còn nghiên cứu âm tính nằm trong ngăn kéo — nên văn liệu nhìn thấy được thổi phồng hiệu quả một cách có hệ thống. Nó thường được sàng lọc bằng biểu đồ phễu, mà sự bất đối xứng có thể báo hiệu các nghiên cứu nhỏ âm tính bị thiếu, và đó là một lý do người rà soát tìm trong sổ đăng ký thử nghiệm và tài liệu xám — luận văn, báo cáo, dữ liệu chưa công bố — chứ không chỉ tạp chí. Cuối cùng, vì bằng chứng cứ liên tục đến, một thực hành ngày càng phổ biến là tổng quan sống: một bản tổng hợp được cập nhật liên tục khi các nghiên cứu mới xuất hiện, để hướng dẫn không bao giờ tụt lại nhiều năm so với khoa học. Hiệp hội Cochrane (Cochrane) vẫn là điểm tham chiếu quốc tế về phương pháp tổng quan hệ thống, và Sổ tay của nó là cuốn hướng dẫn chuẩn của lĩnh vực.

Các thực hành tốt nhất

1. Viết và đăng ký đề cương trước khi tìm kiếm. Độ tin cậy của một tổng quan hệ thống đến từ việc quyết định câu hỏi, tiêu chí đưa vào, các kết quả và kế hoạch phân tích trước khi thấy kết quả, rồi đăng ký công khai đề cương đó (ví dụ trong PROSPERO). Đây là biện pháp bảo vệ mạnh nhất duy nhất chống việc người rà soát vô thức uốn tổng quan về một đáp án ưa thích. Khi bạn đặt hàng một bản tổng hợp, hãy nhất quyết một đề cương đã đăng ký và coi sự vắng mặt của nó là lời cảnh báo rằng các kết luận có thể đã được chọn trước.

2. Tìm kiếm toàn diện, gồm cả những nghiên cứu không ai công bố. Một tìm kiếm giới hạn ở vài cơ sở dữ liệu và ở các tạp chí tiếng Anh sẽ bỏ sót thử nghiệm và lệch về kết quả dương tính. Tổng hợp toàn diện tìm nhiều cơ sở dữ liệu, sổ đăng ký thử nghiệm, tóm tắt hội nghị, hồ sơ quản lý và tài liệu xám, và theo đuổi dữ liệu chưa công bố từ các nhà nghiên cứu và nhà sản xuất. Mục đích không phải sự đầy đủ vì chính nó mà là vô hiệu hóa thiên lệch công bố tại nguồn — các nghiên cứu bị thiếu không cân xứng là những nghiên cứu âm tính.

3. Thẩm định rủi ro thiên lệch trong mọi nghiên cứu được đưa vào, và để nó thay đổi trọng số bạn trao cho kết quả. Đưa vào không phải là tán thành; mỗi nghiên cứu phải được đánh giá về những cách cụ thể nó có thể đánh lạc hướng — ngẫu nhiên hóa không đầy đủ, đánh giá kết quả không làm mù, báo cáo chọn lọc, hao hụt. Một bản tổng hợp gộp các nghiên cứu mạnh và yếu với trọng số bằng nhau rửa thiên lệch của những nghiên cứu yếu thành một trung bình trông có thẩm quyền. Hãy dùng một công cụ thẩm định được công nhận, báo cáo các phán đoán một cách minh bạch, và chạy phân tích với các nghiên cứu nguy cơ cao bị loại ra để xem kết luận có giữ vững không.

4. Quyết định xem việc gộp có chính đáng không trước khi tính một con số gộp. Phân tích gộp chỉ có ý nghĩa khi các nghiên cứu đủ giống nhau về dân cư, can thiệp, đối chứng và kết quả để ước lượng một hiệu quả so sánh được. Nếu không, đầu ra trung thực là một tổng hợp tường thuật có cấu trúc, không phải một con số duy nhất giả. Hãy hỏi "những nghiên cứu này có đang trả lời cùng một câu hỏi không?" trước khi hỏi "ước lượng kết hợp là gì?" — một trung bình chính xác của những thứ không so sánh được tệ hơn không có trung bình.

5. Chọn mô hình hiệu ứng cố định hay ngẫu nhiên một cách có chủ ý, và biện minh. Mô hình hiệu ứng ngẫu nhiên thường là mặc định trung thực hơn trong y tế, nơi các nghiên cứu thực sự khác nhau, vì nó tạo ra khoảng rộng hơn phản ánh biến thiên thế giới thực. Nhưng nó trao cho nghiên cứu nhỏ trọng số không cân xứng, nên nơi nghi ngờ có thiên lệch công bố nó có thể khuếch đại chính thiên lệch bạn lo ngại. Hãy nêu bạn dùng mô hình nào và vì sao, và cho thấy ước lượng gộp dịch chuyển thế nào dưới mô hình thay thế; một kết luận đảo ngược giữa hai mô hình không vững chắc.

6. Khảo sát tính không đồng nhất thay vì lấy trung bình để xóa nó. Khi kết quả các nghiên cứu phân kỳ nhiều hơn ngẫu nhiên giải thích được, sự phân kỳ đó là thông tin — nó có thể có nghĩa là phương pháp điều trị có hiệu quả ở một nhóm con và không ở nhóm khác, hoặc chất lượng dẫn dắt hiệu quả bề ngoài. Hãy khám phá nó bằng phân tích nhóm con xác định trước và hồi quy gộp, nhưng hoài nghi các nhóm con hậu nghiệm vì chúng dễ tìm và khó tin. Một ước lượng gộp được trình bày mà không xem xét vì sao các nghiên cứu bất đồng đang giấu phần hữu ích nhất của dữ liệu.

7. Sàng lọc tường minh thiên lệch công bố và báo cáo. Hãy so sánh văn liệu đã công bố với sổ đăng ký thử nghiệm để tìm các nghiên cứu đã chạy nhưng không bao giờ được báo cáo, kiểm tra tính bất đối xứng của biểu đồ phễu nơi có đủ nghiên cứu, và cân nhắc liệu hiệu quả có co lại khi kích thước nghiên cứu tăng. Không kiểm tra nào mang tính quyết định, nhưng sự vắng mặt của chúng nên hạ thấp niềm tin của bạn vào một kết quả dương tính gọn gàng. Hướng của thiên lệch công bố hầu như luôn giống nhau — nó thổi phồng lợi ích bề ngoài — nên một bản tổng hợp chưa được sàng lọc nên được đọc như một giới hạn trên.

8. Dùng phân tích gộp mạng lưới khi quyết định có nhiều đối chứng, và kiểm tra giả định cốt lõi của nó. Các lựa chọn tài trợ thực hiếm khi đặt một loại thuốc đối đầu giả dược; chúng chọn giữa nhiều lựa chọn tích cực, hầu hết chưa bao giờ được thử nghiệm đối đầu. Phân tích gộp mạng lưới lấp những khoảng trống đó, nhưng chỉ nếu các thử nghiệm đủ giống nhau để so sánh gián tiếp — giả định "bắc cầu" — và nếu bằng chứng trực tiếp và gián tiếp đồng ý nơi cả hai tồn tại. Hãy đòi nhà phân tích cho thấy mạng lưới, kiểm tra tính nhất quán, và thẳng thắn về những so sánh dựa trên chuỗi gián tiếp mỏng.

9. Xếp hạng độ chắc chắn của bằng chứng, không chỉ độ lớn của hiệu quả. Một hiệu quả lớn từ bằng chứng độ chắc chắn thấp là cơ sở yếu hơn cho việc chi tiền công so với một hiệu quả khiêm tốn từ bằng chứng độ chắc chắn cao. GRADE tách hai câu hỏi này bằng cách xếp hạng độ chắc chắn theo từng kết quả và ghi chép vì sao nó bị hạ hay nâng bậc, biến "bằng chứng mạnh" từ một khẳng định thành một phán đoán được kiểm toán. Hãy nhất quyết một bản tổng hợp cấp dữ liệu cho một quyết định mang xếp hạng độ chắc chắn tường minh cho từng kết quả quan trọng, không phải một phán quyết toàn cục duy nhất.

10. Báo cáo bản tổng hợp sao cho một người hoài nghi có thể tái lập nó. Hãy theo một chuẩn báo cáo được công nhận như PRISMA: nêu chiến lược tìm kiếm đầy đủ, dòng chảy các nghiên cứu từ được xác định đến được đưa vào, các nghiên cứu bị loại kèm lý do, các phán đoán rủi ro thiên lệch, và dữ liệu đằng sau mọi ước lượng gộp. Minh bạch là cơ chế bắt các sai sót và lựa chọn chọn lọc trước khi chúng dịch chuyển ngân sách. Một bản tổng hợp có tìm kiếm không thể chạy lại hoặc loại trừ không giải thích không nên neo một quyết định, dù phần tóm tắt tự tin đến đâu.

11. Giữ các bản tổng hợp rủi ro cao ở dạng sống nơi bằng chứng đang chuyển động nhanh. Trong một lĩnh vực thay đổi nhanh — một nhóm thuốc mới, một mầm bệnh mới nổi, một công nghệ được thử nghiệm nhanh — một tổng quan lỗi thời ngay khoảnh khắc nó được công bố, và bằng chứng cũ lặng lẽ chỉ sai hướng tiền và chăm sóc. Một tổng quan sống cập nhật liên tục theo các nghiên cứu mới, với quy tắc thống nhất trước về khi nào một thử nghiệm mới thay đổi kết luận. Hãy dành nỗ lực cho các quyết định đủ lớn và biến động để biện minh, và rõ ràng về ngày cập nhật của bất kỳ bản tổng hợp nào bạn dựa vào.

12. Khớp bản tổng hợp với tham số mà mô hình thực sự cần. Một mô hình quyết định cần các đầu vào cụ thể — một hiệu quả tương đối cho trường hợp cơ sở, một rủi ro nền cho dân cư địa phương, một trọng số mức dụng — và mỗi cái có thể cần bản tổng hợp riêng với tiêu chí đưa vào riêng. Lấy hiệu quả tương đối từ các thử nghiệm ngẫu nhiên nhưng rủi ro nền từ một sổ đăng ký địa phương là chính đáng và phổ biến; giấu việc hai cái đến từ hai khối bằng chứng khác nhau thì không. Hãy căn chỉnh từng đầu vào được tổng hợp với cách nó sẽ được dùng ở hạ nguồn, và tham chiếu chéo đánh giá mà nó cấp dữ liệu (xem Chủ đề 2.1 — Đánh giá kinh tế).

Các câu hỏi để thảo luận với nhóm của bạn

1. Khi chúng ta chấp nhận một ước lượng hiệu quả là đã định, chúng ta có biết nó đến từ toàn bộ văn liệu hay chỉ phần nhìn thấy được, làm đẹp của nó? Câu hỏi này nhắm vào thiên lệch công bố và báo cáo chọn lọc, những thất bại khiến một bản tổng hợp sai theo một hướng có thể dự đoán. Thực tế khó chịu là các thử nghiệm dương tính được công bố nhanh hơn, thường xuyên hơn và nổi bật hơn các thử nghiệm âm tính, nên một tổng quan giới hạn trong tạp chí sẽ có xu hướng thổi phồng lợi ích ngay cả khi mọi nghiên cứu được đưa vào đều trung thực. Hãy đẩy cuộc thảo luận đến nguồn gốc cụ thể: sổ đăng ký thử nghiệm có được tìm để thấy các nghiên cứu đã chạy nhưng không bao giờ báo cáo không, dữ liệu chưa công bố có được tìm từ nhà sản xuất không, có làm biểu đồ phễu hay kiểm tra tương đương không? Mâu thuẫn là tìm kiếm toàn diện tốn kém và chậm, và luôn có áp lực chấp nhận một ước lượng đã công bố sạch và đi tiếp. Câu trả lời trung thực không tuyên bố tìm kiếm là hoàn hảo; nó nêu tổng quan đã cố tìm các nghiên cứu bị thiếu đến mức nào và coi một kết quả dương tính chưa được sàng lọc là giới hạn trên có khả năng hơn là sự thật.

2. Những nghiên cứu chúng ta đang gộp có thực sự trả lời cùng một câu hỏi không, hay chúng ta đã chế tạo một trung bình gọn gàng từ những thứ không thuộc về nhau? Đây là câu hỏi về tính không đồng nhất, và nó quyết định liệu một con số gộp có ý nghĩa gì không. Các góc cần làm nổi lên là lâm sàng (bệnh nhân, liều lượng hay đối chứng khác nhau), phương pháp luận (thử nghiệm trộn với nghiên cứu quan sát yếu) và thống kê (kết quả bất đồng nhiều hơn ngẫu nhiên). Thất bại quyến rũ là phần mềm luôn trả về một ước lượng gộp với khoảng tin cậy trông tự tin, dù các nghiên cứu nền có so sánh được hay không — độ chính xác của con số không nói gì về tính hợp lệ của nó. Hãy thảo luận liệu tổng quan có khảo sát vì sao các nghiên cứu bất đồng hay chỉ đơn giản lấy trung bình, và liệu các khác biệt nhóm con có được xác định trước hay mò sau sự việc. Câu trả lời trung thực sẵn lòng kết luận rằng việc gộp là không phù hợp và một tổng hợp tường thuật có cấu trúc sẽ là đầu ra trung thực hơn.

3. Bằng chứng này cập nhật đến đâu, và một nghiên cứu mới phải cho thấy điều gì để thay đổi quyết định của chúng ta? Các bản tổng hợp có hạn sử dụng, và nguy cơ là hành động theo một tổng quan có tìm kiếm đóng từ nhiều năm trước trong khi lĩnh vực đã đi tiếp. Hãy nêu tường minh ngày cập nhật và hỏi điều gì đã được công bố từ đó, đặc biệt với các công nghệ chuyển động nhanh nơi một thử nghiệm lớn đơn lẻ có thể lật ngược một ước lượng gộp. Kỷ luật sâu hơn là quyết định trước phát hiện nào sẽ thay đổi suy nghĩ của bạn — một ngưỡng biến "tiếp tục theo dõi văn liệu" từ ý định mơ hồ thành một điều kiện kích hoạt vận hành cho một bản cập nhật sống. Mâu thuẫn là giữa chi phí giữ một bản tổng hợp sống và chi phí của một quyết định lặng lẽ chạy trên bằng chứng cũ; không phải câu hỏi nào cũng biện minh một tổng quan sống, nhưng mọi câu hỏi rủi ro cao, biến động thì có. Câu trả lời trung thực nêu ngày cập nhật, gọi tên điều sẽ đảo ngược kết luận, và giao trách nhiệm nhận ra khi nó đến.

4. Câu hỏi, và phân tích sẽ trả lời nó, có được cố định trước khi ai thấy kết quả — hay tổng quan có thể đã bị uốn về một kết luận ưa thích? Câu hỏi này nhắm vào biện pháp bảo vệ mạnh nhất duy nhất của cả môn học: một đề cương đăng ký trước, với tiêu chí đưa vào, kết quả và kế hoạch gộp được xác lập trước khi dữ liệu có thể ảnh hưởng chúng. Thất bại nó bảo vệ là tinh vi vì hiếm khi cố ý — một người rà soát thấy kết quả trước có thể, với thiện chí, điều chỉnh một ranh giới đưa vào, nâng một kết quả thứ cấp, hay đổi lựa chọn mô hình theo những cách đều tình cờ ưu ái một đáp án cụ thể. Hãy hỏi một đề cương có tồn tại trong sổ đăng ký công khai như PROSPERO không, tổng quan cuối cùng có khớp với nó không, và mọi sai khác có được khai báo và biện minh thay vì lặng lẽ thực hiện không. Mâu thuẫn là đăng ký trước bất tiện — nó cấm sự linh hoạt "chúng tôi học trong quá trình" vốn cảm thấy như khoa học tốt — và sự vắng mặt của nó dễ bào chữa. Câu trả lời trung thực có thể chỉ vào đề cương đã đăng ký, đi qua chỗ tổng quan đã rời khỏi nó và vì sao, và coi một bản tổng hợp chưa đăng ký là bản có kết luận có thể đã được chọn trước khi bằng chứng đến.

5. Khi quyết định trải trên nhiều phương pháp điều trị chưa bao giờ được thử nghiệm với nhau, chúng ta có tin so sánh gián tiếp khâu chúng lại không? Các lựa chọn tài trợ thực thường đặt nhiều lựa chọn tích cực đối đầu nhau, hầu hết chưa bao giờ được kiểm nghiệm đối đầu, nên bản tổng hợp dựa vào một phân tích gộp mạng lưới vay sức mạnh qua các đối chứng chung. Các góc cần làm nổi lên là nhà phân tích có thực sự cho thấy mạng lưới các thử nghiệm không, giả định "bắc cầu" có giữ vững không — rằng dân cư thử nghiệm và chăm sóc nền đủ giống nhau để một so sánh gián tiếp có ý nghĩa — và bằng chứng trực tiếp và gián tiếp có đồng ý nơi cả hai tồn tại không. Thất bại quyến rũ là phần mềm sẽ trả về một bộ đầy đủ các ước lượng cặp dù các chuỗi nền mỏng hay không so sánh được đến đâu, trao cho một kết quả gián tiếp mong manh cùng thẩm quyền như một kết quả trực tiếp vững chắc. Hãy thảo luận những đối chiếu nào dựa trên một mắt xích gián tiếp yếu duy nhất và liệu đó có phải chính những so sánh dẫn dắt khuyến nghị không. Câu trả lời trung thực phân biệt các so sánh được kết nối tốt, đã kiểm nghiệm tính nhất quán với những cái mỏng, và mang những cái sau như độ chắc chắn thấp thay vì chôn chúng trong một bảng xếp hạng gọn gàng.

6. Chúng ta có đang coi một hiệu quả lớn và một hiệu quả chắc chắn là một, khi chúng không phải không? Điều này tách độ lớn của một ước lượng khỏi sự tự tin chúng ta được phép có vào nó — sự phân biệt mà GRADE tồn tại để làm tường minh. Mâu thuẫn là một ước lượng điểm lớn thì thuyết phục và dễ chi tiền, trong khi độ chắc chắn đằng sau nó có thể thấp vì bằng chứng không nhất quán, thiếu chính xác, gián tiếp, hoặc bị phủ bóng bởi thiên lệch công bố. Hãy hỏi mỗi kết quả quan trọng có mang xếp hạng độ chắc chắn riêng không, vì sao nó bị hạ hay nâng bậc, và khuyến nghị đang được dẫn dắt bởi độ lớn hiệu quả hay bởi một cách đọc trung thực về bằng chứng chịu được bao nhiêu. Trường hợp khó chịu là một lợi ích khiêm tốn nhưng độ chắc chắn cao cạnh tranh với một lợi ích ấn tượng nhưng độ chắc chắn thấp: kỷ luật là ưu tiên bằng chứng bạn có thể tin hơn con số làm đẹp. Câu trả lời trung thực từ chối gộp "lớn" và "chắc chắn" thành một phán quyết duy nhất, và để xếp hạng độ chắc chắn, không chỉ ước lượng điểm, chi phối mức trọng số mà quyết định đặt vào kết quả.

Trong thực tế: một ví dụ về kinh tế học sức khỏe

Ủy ban Quốc gia về Thuốc và Công nghệ Y tế của Maridia — một quốc gia thu nhập trung bình–thấp hư cấu đang xây dựng danh mục thuốc thiết yếu — phải quyết định nhóm thuốc hạ huyết áp nào để khuyến nghị làm tuyến đầu cho tăng huyết áp không biến chứng ở chăm sóc ban đầu. Bốn nhóm là ứng viên, tất cả đã hết bằng sáng chế và chi trả được, nhưng câu hỏi lâm sàng là nhóm nào ngăn được nhiều đột quỵ và nhồi máu cơ tim nhất trên mỗi bệnh nhân được điều trị. Ủy ban không thể chạy thử nghiệm của riêng mình; nó phải tổng hợp những gì thế giới đã biết, rồi trao một ước lượng hiệu quả tương đối cho nhóm kinh tế để kết hợp với chi phí và tỷ lệ biến cố địa phương.

Đơn vị bằng chứng của ủy ban bắt đầu bằng một đề cương đã đăng ký: câu hỏi, bốn đối chứng, các kết quả (biến cố tim mạch và tử vong do mọi nguyên nhân), tiêu chí đưa vào và kế hoạch phân tích, tất cả được cố định trước khi tìm kiếm. Tìm kiếm bao gồm nhiều cơ sở dữ liệu, hai sổ đăng ký thử nghiệm, và văn liệu khu vực của WHO lập chỉ mục các thử nghiệm từ những bối cảnh như của chính Maridia, vì chỉ dựa vào tạp chí các nước thu nhập cao sẽ nhập một dân cư có thể không khớp. Dòng chảy được ghi chép theo kiểu PRISMA: vài nghìn hồ sơ được xác định, hầu hết bị loại theo tiêu đề, vài chục thử nghiệm ngẫu nhiên được đưa vào, mỗi thử nghiệm được thẩm định rủi ro thiên lệch. Ba thử nghiệm lớn do ngành tài trợ được phát hiện đã báo cáo chọn lọc; đơn vị đánh dấu chúng và lên kế hoạch một phân tích độ nhạy không có chúng.

Khó khăn cốt lõi là hầu như không có thử nghiệm nào so sánh bốn nhóm đối đầu — hầu hết thử nghiệm một loại thuốc với giả dược hay với một lựa chọn thay thế duy nhất. Một phân tích gộp theo cặp đơn giản chỉ trả lời được một phần nhỏ các so sánh mà ủy ban thực sự đối mặt. Nên đơn vị xây một phân tích gộp mạng lưới, kết nối các nhóm qua các đối chứng chung của chúng, và ước lượng cả sáu đối chiếu theo cặp cùng lúc. Trước khi tin nó, họ kiểm tra tính bắc cầu của mạng lưới — dân cư thử nghiệm và chăm sóc nền có đủ giống để so sánh gián tiếp không? — và kiểm tra liệu bằng chứng trực tiếp và gián tiếp có đồng ý nơi cả hai tồn tại không. Phần lớn là có; một đối chiếu dựa trên một chuỗi gián tiếp mỏng, mà đơn vị đánh dấu là độ chắc chắn thấp.

Tính không đồng nhất là thật và có tính thông tin. Các thử nghiệm ở dân cư lớn tuổi hơn, nguy cơ cao hơn cho thấy lợi ích tuyệt đối lớn hơn các thử nghiệm ở thuần tập trẻ hơn, điều quan trọng vì dân cư được điều trị của Maridia sẽ trẻ hơn mức trung bình của thử nghiệm. Thay vì gộp mù quáng, đơn vị chạy phân tích nhóm con xác định trước và hồi quy gộp và báo cáo hiệu quả có điều kiện theo rủi ro nền. Một biểu đồ phễu trên so sánh lớn nhất cho thấy sự bất đối xứng nhẹ, nhất quán với một vài nghiên cứu nhỏ âm tính bị thiếu; kết hợp với các thử nghiệm báo cáo chọn lọc, điều này khiến họ thận trọng với ưu thế của nhóm thuận lợi nhất. Dưới mô hình hiệu ứng ngẫu nhiên, sự khác biệt giữa ba trong bốn nhóm là nhỏ và khoảng tin cậy của chúng chồng lấn nhiều.

Đơn vị xếp hạng từng kết quả bằng GRADE. Bằng chứng rằng cả bốn nhóm đều tốt hơn không điều trị có độ chắc chắn cao; bằng chứng rằng bất kỳ nhóm nào rõ ràng vượt trội so với các nhóm khác chỉ ở mức thấp đến trung bình, bị hạ bậc vì không nhất quán, thiếu chính xác và nghi ngờ thiên lệch công bố. Sự phân biệt đó chính là quyết định. Ủy ban kết luận rằng, vì các nhóm gần nhau về lâm sàng và đều rẻ, kinh tế học nên được dẫn dắt bởi giá, khả năng dung nạp và an ninh nguồn cung hơn là một tuyên bố mong manh về sự vượt trội lâm sàng — một kết luận chỉ trở nên hiển hiện vì bản tổng hợp đã tách độ lớn hiệu quả khỏi độ chắc chắn. Nó trao cho nhóm kinh tế một ước lượng hiệu quả tương đối với bất định tường minh, để được chuyển thành chi phí trên mỗi biến cố tránh được (xem Chủ đề 2.1 — Đánh giá kinh tế), và đặt hàng một bản cập nhật sống: nếu một thử nghiệm thực dụng lớn đến hạn trong hai năm làm dịch chuyển một đối chiếu được chỉ định vượt quá biên độ đã thống nhất trước, khuyến nghị sẽ được mở lại. Lập luận nhân quả đơn nghiên cứu bên trong mỗi thử nghiệm — liệu ước lượng hiệu quả của chính nó có đáng tin không — thuộc Chủ đề 2.3 — Kinh tế lượng sức khỏe; nhiệm vụ của ủy ban này là gộp chúng cho tốt.

Bốn góc nhìn theo khu vực

Công ty khởi nghiệp

Một công ty khởi nghiệp y tế số hay thiết bị hiếm khi đặt hàng một tổng quan hệ thống đầy đủ, nhưng nó gặp tổng hợp từ phía bên kia — là bên có một nghiên cứu đơn lẻ đầy hứa hẹn phải sống sót qua bản tổng hợp của cơ quan HTA về toàn lĩnh vực. Cám dỗ là dựa vào một thử nghiệm làm đẹp và một tổng quan tường thuật về các bài báo ủng hộ được chọn tay, điều mà một người thẩm định nghiêm túc sẽ nhìn thấu ngay lập tức. Con đường khôn ngoan hơn là vẽ bản đồ nền bằng chứng hiện có một cách trung thực và sớm, để công ty khởi nghiệp biết sản phẩm của mình nằm ở đâu trong bậc thang và so sánh nào một bên chi trả sẽ đòi. Một công ty nhỏ trình bày bằng chứng của mình trong bối cảnh một bản tổng hợp công bằng, và thẳng thắn về độ chắc chắn của dữ liệu của chính mình, giành được uy tín hơn một công ty thổi phồng một kết quả cô lập.

Doanh nghiệp nhỏ

Một nhà cung cấp nhỏ nhưng đã thành lập — một phòng khám nhóm, một phòng khám chuyên khoa đơn lẻ, một nhà cung cấp thiết bị hay chẩn đoán khiêm tốn — không có khối lượng của một nỗ lực bằng chứng do nhà đầu tư hậu thuẫn của công ty khởi nghiệp cũng không có nhóm tổng hợp của doanh nghiệp lớn, nhưng vẫn phải đọc các bản tổng hợp đủ tốt để ra các quyết định trạng thái bền vững. Nhiệm vụ thực tế của nó là tiêu thụ, không phải sản xuất: đọc xếp hạng độ chắc chắn trên một hướng dẫn, kiểm tra liệu dân cư của một tổng quan có giống bệnh nhân nó thực sự điều trị không, và nhận ra khi bằng chứng đằng sau một thói quen mua sắm hay chuyển tuyến đã lặng lẽ cũ đi. Cái bẫy là giao hoàn toàn cho gói bằng chứng chọn lọc của nhà cung cấp hay một thử nghiệm đáng nhớ duy nhất, vì cơ sở không có thời gian thẩm định cả lĩnh vực rộng hơn. Bước đi tương xứng là dựa vào các bản tổng hợp mà các cơ quan đáng tin — Cochrane, các cơ quan HTA quốc gia, hướng dẫn của hội nghề nghiệp — đã duy trì, coi xếp hạng độ chắc chắn GRADE của chúng là tiêu đề, và hỏi một câu hỏi có kỷ luật với bất kỳ tuyên bố nào của nhà cung cấp: nó nằm ở đâu so với tổng quan hệ thống, và nó cập nhật đến đâu?

Doanh nghiệp lớn

Một nhà sản xuất, tập đoàn cung cấp dịch vụ hay công ty bảo hiểm lớn vận hành tổng hợp như một năng lực công nghiệp: các nhóm tổng hợp bằng chứng và kinh tế y tế và nghiên cứu kết quả chuyên trách tạo ra các tổng quan hệ thống và phân tích gộp mạng lưới để hỗ trợ hồ sơ trên nhiều khu vực pháp lý. Điểm mạnh là chiều sâu phương pháp luận và khả năng xây một phân tích gộp mạng lưới trải trên mọi đối chứng liên quan; rủi ro là cùng năng lực đó có thể được chuyển sang tạo ra một tổng quan được chế tạo để ưu ái sản phẩm của bên bảo trợ — qua một tìm kiếm hẹp, một lựa chọn mô hình thuận tiện hay những loại trừ lặng lẽ. Uy tín của doanh nghiệp lớn phụ thuộc vào việc đăng ký đề cương, theo PRISMA, nộp các phân tích tái lập được, và mời gọi sự tái tạo độc lập mà các cơ quan HTA ngày càng đòi. Doanh nghiệp lớn trưởng thành coi một bản tổng hợp minh bạch cho thấy bất định thực sự là bền vững hơn một bản bóng bẩy mà người thẩm định có thể phá tan.

Chính phủ

Một bộ, bên chi trả quốc gia hay cơ quan HTA là người tiêu thụ và trọng tài chính của các bản tổng hợp, và kỷ luật của nó là đòi hỏi và thực hiện chúng theo một chuẩn đã công bố. Các cơ quan như NICE, IQWiG và các hội đồng hướng dẫn của WHO xây dựng khuyến nghị trên các tổng quan hệ thống và xếp hạng độ chắc chắn của bằng chứng bằng GRADE chính xác để các quyết định bảo vệ được và tái lập được thay vì bị nắm bắt bởi hồ sơ thuyết phục nhất. Chính phủ cũng mang các trách nhiệm mà các khu vực khác không có: duy trì hạ tầng — sổ đăng ký thử nghiệm, các hiệp hội tổng quan, hướng dẫn phương pháp — làm cho tổng hợp trung thực khả thi, và giữ các tổng quan rủi ro cao ở dạng sống để hướng dẫn quốc gia không tụt lại sau khoa học. Trách nhiệm giải trình về điều một bản tổng hợp bỏ sót, và về những bệnh nhân bị ảnh hưởng bởi một ước lượng gộp sai, cuối cùng thuộc về đây.

Các kiểu thất bại thường gặp

• Tổng quan tường thuật khoác áo bằng chứng. Một cách đọc văn liệu chọn tay, không có hệ thống được trình bày với thẩm quyền của một bản tổng hợp. Cách khắc phục: đòi một đề cương đã đăng ký, chiến lược tìm kiếm tường minh và báo cáo kiểu PRISMA trước khi tin bất kỳ "tổng quan" nào.

• Gộp các nghiên cứu không so sánh được. Tính một trung bình chính xác trên các thử nghiệm có dân cư, liều lượng hay thiết kế khác nhau, tạo ra một con số mô tả không bệnh nhân thực nào. Cách khắc phục: đánh giá tính không đồng nhất lâm sàng và phương pháp luận trước, và dùng tổng hợp tường thuật có cấu trúc khi việc gộp không chính đáng.

• Bỏ qua những nghiên cứu chưa bao giờ được công bố. Chỉ tìm vài cơ sở dữ liệu và chỉ tạp chí, để các nghiên cứu âm tính bị thiếu thổi phồng hiệu quả. Cách khắc phục: tìm sổ đăng ký, cơ quan quản lý và tài liệu xám, tìm dữ liệu chưa công bố, và sàng lọc tường minh thiên lệch công bố.

• Lấy trung bình để xóa tính không đồng nhất. Báo cáo một ước lượng gộp duy nhất trong khi che giấu việc các nghiên cứu bất đồng mạnh. Cách khắc phục: khảo sát sự phân kỳ bằng phân tích nhóm con xác định trước và hồi quy gộp, và báo cáo biến thiên, không chỉ giá trị trung bình.

• Coi đưa vào là tán thành. Trao trọng số bằng nhau cho nghiên cứu yếu và mạnh, rửa thiên lệch thành một trung bình có thẩm quyền. Cách khắc phục: thẩm định rủi ro thiên lệch trong từng nghiên cứu và chạy phân tích loại trừ các nghiên cứu rủi ro cao.

• Nhầm độ lớn hiệu quả với độ chắc chắn. Hành động theo một hiệu quả lớn từ bằng chứng độ chắc chắn thấp như thể nó đã định. Cách khắc phục: xếp hạng độ chắc chắn theo từng kết quả bằng GRADE và để nó, không chỉ ước lượng điểm, chi phối quyết định.

• So sánh gián tiếp không kiểm tra. Xây một phân tích gộp mạng lưới mà không kiểm nghiệm tính bắc cầu hay nhất quán, khiến một kết quả gián tiếp dựa trên các thử nghiệm không so sánh được. Cách khắc phục: cho thấy mạng lưới, kiểm nghiệm các giả định, và đánh dấu các chuỗi gián tiếp mỏng là độ chắc chắn thấp.

• Bản tổng hợp cũ. Neo một quyết định vào một tổng quan có tìm kiếm đóng từ nhiều năm trước trong một lĩnh vực đã đi tiếp. Cách khắc phục: nêu ngày cập nhật, kiểm tra điều gì đã xuất hiện từ đó, và giữ các tổng quan rủi ro cao, biến động ở dạng sống.

Mô hình trưởng thành

Danh mục kiểm tra

• Xác nhận một đề cương được đăng ký trước tìm kiếm, với câu hỏi, kết quả và kế hoạch phân tích xác định trước.
• Kiểm tra tìm kiếm bao gồm nhiều cơ sở dữ liệu, sổ đăng ký thử nghiệm và tài liệu xám — không chỉ tạp chí.
• Xác minh mỗi nghiên cứu được đưa vào đã được thẩm định rủi ro thiên lệch, và các nghiên cứu rủi ro cao được kiểm nghiệm trong một phân tích độ nhạy.
• Xác lập rằng các nghiên cứu đủ giống nhau để gộp; nếu không, hãy chờ đợi một tổng hợp tường thuật có cấu trúc thay vì một con số duy nhất.
• Ghi nhận mô hình hiệu ứng cố định hay ngẫu nhiên được dùng và vì sao, và liệu kết luận có sống sót với mô hình thay thế.
• Hỏi tính không đồng nhất được khảo sát thế nào, và các phân tích nhóm con được xác định trước hay hậu nghiệm.
• Tìm một kiểm tra thiên lệch công bố tường minh (so sánh sổ đăng ký, biểu đồ phễu) và đọc kết quả dương tính như giới hạn trên.
• Với các quyết định đa đối chứng, xác nhận mọi phân tích gộp mạng lưới đã cho thấy mạng lưới và kiểm nghiệm tính bắc cầu và nhất quán.
• Đòi xếp hạng độ chắc chắn GRADE (hoặc tương đương) cho từng kết quả quan trọng, tách biệt với độ lớn hiệu quả.
• Xác nhận bản tổng hợp được báo cáo tái lập được (PRISMA), với tìm kiếm, loại trừ và dữ liệu gộp sẵn có.
• Ghi lại ngày cập nhật và phát hiện mới nào sẽ mở lại quyết định.
• Căn chỉnh từng đầu vào được tổng hợp với mô hình và đánh giá mà nó cấp dữ liệu, ghi chép nơi các đầu vào khác nhau đến từ bằng chứng khác nhau.

Nguồn chính

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (chủ biên Higgins, Thomas và cộng sự) — cuốn hướng dẫn chuẩn quốc tế về phương pháp tổng quan hệ thống và phân tích gộp.
• Tuyên bố PRISMA (Các Mục Báo cáo Ưu tiên cho Tổng quan Hệ thống và Phân tích Gộp) — chuẩn báo cáo cho tổng quan hệ thống và phân tích gộp — https://www.prisma-statement.org
• Nhóm Làm việc GRADE — khung xếp hạng độ chắc chắn của bằng chứng và độ mạnh của khuyến nghị — https://www.gradeworkinggroup.org
• Các Tài liệu Hỗ trợ Kỹ thuật của Đơn vị Hỗ trợ Quyết định NICE về tổng hợp bằng chứng và phân tích gộp mạng lưới — hướng dẫn phương pháp dùng trong đánh giá công nghệ y tế — https://www.sheffield.ac.uk/nice-dsu
• Sổ tay Phát triển Hướng dẫn của WHO — cách Tổ chức Y tế Thế giới dùng tổng quan hệ thống và GRADE trong các hướng dẫn toàn cầu — https://www.who.int
• Cochrane và các hiệp hội bằng chứng sống quốc tế — thực hành tham chiếu để giữ các bản tổng hợp rủi ro cao luôn cập nhật.

Tài liệu tham khảo

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org