साक्ष्य संश्लेषण और मेटा-विश्लेषण

स्वास्थ्य अर्थशास्त्र में यह क्यों महत्वपूर्ण है

हर आर्थिक मूल्यांकन ऐसे आगतों पर टिका होता है जिन्हें कहीं से आना पड़ा: एक उपचार का सापेक्ष प्रभाव, वह दर जिस पर एक रोग बढ़ता है, एक स्वास्थ्य स्थिति का जीवन-गुणवत्ता भार, एक प्रतिकूल घटना की संभावना। ये वे संख्याएँ हैं जो एक वृद्धिशील लागत-प्रभावशीलता अनुपात को चलाती हैं, और वे कहाँ से आती हैं यह तय करता है कि अनुपात विश्वसनीय है या नहीं। एक निर्णय मॉडल (विषय 2.2 — मॉडलिंग देखें) उतना ही अच्छा है जितने पैरामीटर इसमें डाले गए हैं, और वे पैरामीटर संश्लेषण का उत्पाद हैं — पूरे साहित्य का जान-बूझकर एकत्रण — न कि किसी एक परीक्षण का। यह वह विषय है जो "मॉडल में संख्याएँ कहाँ से आती हैं" का स्वामित्व रखता है।

एक निदेशक के लिए, दांव यह है कि एक संश्लेषण अर्थशास्त्र चलने से पहले ही चुपचाप एक वित्तपोषण प्रश्न तय कर सकता है। यदि एक समीक्षा अनुकूल परीक्षणों को चुनकर उठाती है, एक शून्य परिणाम को दबाती है, या ऐसे अध्ययनों पर औसत निकालती है जो कभी तुलनीय नहीं थे, तो यह जो प्रभाव अनुमान उत्पन्न करती है वह एक विशिष्ट दिशा में ग़लत होगा, और हर डाउनस्ट्रीम गणना उस त्रुटि को कठोरता के आवरण के साथ विरासत में लेती है। दुनिया भर की स्वास्थ्य प्रौद्योगिकी मूल्यांकन (HTA) निकायें — इंग्लैंड का नेशनल इंस्टीट्यूट फ़ॉर हेल्थ एंड केयर एक्सीलेंस (NICE), जर्मनी का IQWiG, विश्व स्वास्थ्य संगठन (WHO) के दिशानिर्देश पैनल — अपनी सिफ़ारिशें संश्लेषणों पर ठीक इसलिए बनाती हैं क्योंकि एक भी अध्ययन एक राष्ट्रीय निर्णय का भार वहन करने के लिए बहुत नाज़ुक है।

दांव नैतिक भी हैं और सार्वजनिक विश्वास से संबंधित हैं। एक अच्छी तरह से संचालित व्यवस्थित समीक्षा एक सार्वजनिक निकाय के पास सबसे मज़बूत बचाव है इस बात के ख़िलाफ़ कि वह उसके द्वारा पकड़ा जाए जिसने सबसे यादगार परीक्षण चलाया या सबसे ज़ोर से चिल्लाया। यह पूरे साक्ष्य आधार को बोलने देने का एक पारदर्शी, पुनरुत्पादन-योग्य तरीक़ा है, जिसमें वे भाग भी शामिल हैं जो असुविधाजनक हैं। जब एक भुगतानकर्ता दिखा सकता है कि उसका निर्णय एक पूर्व-निर्दिष्ट, व्यापक, समालोचनात्मक रूप से मूल्यांकित संश्लेषण से निकला, तो वह उस निर्णय का चिकित्सकों, मरीज़ों, उद्योग, और अदालतों के सामने बचाव कर सकता है। जब यह नहीं कर सकता, तो निर्णय मनमाना दिखता है — और स्वास्थ्य में, मनमाने निर्णय कि किसका इलाज होता है, विश्वास को तेज़ी से नष्ट करते हैं।

मूल अवधारणाएँ

एक व्यवस्थित समीक्षा एक विशिष्ट प्रश्न से संबंधित सभी अध्ययनों को खोजने, मूल्यांकित करने, और संक्षेपित करने की एक संरचित विधि है, जो एक पूर्व-पंजीकृत प्रोटोकॉल का उपयोग करती है ताकि प्रक्रिया पुनरुत्पादन-योग्य और पूर्वाग्रह के प्रति प्रतिरोधी हो। यह एक पारंपरिक वर्णनात्मक समीक्षा से अपनी स्पष्ट खोज रणनीति, अपने बताए गए समावेशन और बहिष्करण मानदंडों, और हर शामिल अध्ययन के अपने समालोचनात्मक मूल्यांकन द्वारा प्रतिष्ठित है। रिपोर्टिंग मानक जिसका अब अधिकांश समीक्षाएँ पालन करती हैं वह है PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), जो लेखकों से खोज से लेकर संश्लेषण तक हर क़दम का दस्तावेज़ीकरण करने के लिए कहता है ताकि एक पाठक जाँच सके कि क्या किया गया था।

मेटा-विश्लेषण उस प्रक्रिया का सांख्यिकीय भाग है: कई अध्ययनों के परिणामों का एक एकल संयुक्त अनुमान में मात्रात्मक एकत्रण, आमतौर पर एक प्रभाव आकार का जैसे सापेक्ष जोखिम, ऑड्स अनुपात, या माध्य अंतर। हर व्यवस्थित समीक्षा में मेटा-विश्लेषण नहीं होता — एकत्रण तभी वैध है जब अध्ययन संयोजित करने के लिए काफ़ी समान हों — पर जहाँ यह उपयुक्त है, यह परिशुद्धता बढ़ाता है और एक ऐसा प्रभाव उजागर कर सकता है जो व्यक्तिगत कम-शक्ति वाले अध्ययनों ने चूक दिया। इसे प्रदर्शित करने का प्रामाणिक तरीक़ा फ़ॉरेस्ट प्लॉट है: हर अध्ययन एक क्षैतिज रेखा जो इसका अनुमान और विश्वास अंतराल दिखाती है, संयुक्त परिणाम पैर पर एक हीरा।

संयुक्त अनुमान के पीछे दो सांख्यिकीय मॉडल बैठे हैं। एक निश्चित-प्रभाव मॉडल मानता है कि हर अध्ययन एक ही सच्चे प्रभाव का अनुमान लगा रहा है, और उनके बीच का अंतर केवल नमूना शोर है। एक यादृच्छिक-प्रभाव मॉडल मानता है कि सच्चा प्रभाव वास्तव में अध्ययनों के बीच भिन्न होता है — क्योंकि जनसंख्याएँ, ख़ुराकें, और परिवेश अलग होते हैं — और उस वितरण के औसत का अनुमान लगाता है, छोटे अध्ययनों को अधिक भार और व्यापक, अधिक ईमानदार अनिश्चितता देते हुए। उनके बीच का चुनाव सौंदर्यात्मक नहीं है: यह विश्वास अंतराल और कभी-कभी निष्कर्ष बदल देता है।

चुनाव मायने रखने का कारण विषमांगता है — वह सीमा जिस तक अध्ययन परिणाम संयोग से समझाए जा सकने से अधिक भिन्न होते हैं। नैदानिक विषमांगता (अलग मरीज़ या उपचार), पद्धतिगत विषमांगता (अलग अध्ययन डिज़ाइन या गुणवत्ता), और सांख्यिकीय विषमांगता (बिखरे परिणाम) सभी एक संयुक्त संख्या के अर्थ को ख़तरे में डालते हैं। वास्तव में विषम अध्ययनों को संयोजित करना एक ऐसा औसत उत्पन्न करता है जो किसी वास्तविक जनसंख्या का वर्णन नहीं करता — एक व्यक्ति जिसका एक पैर बर्फ़ में और एक आग में है, को "औसतन आरामदायक" कहने का सांख्यिकीय समकक्ष। विषमांगता को औसत निकालकर मिटाने के बजाय इसकी जाँच करना अक्सर वह जगह है जहाँ वास्तविक सीख रहती है।

सभी साक्ष्य समान नहीं होते, और यह क्षेत्र इसे एक साक्ष्य पदानुक्रम में व्यवस्थित करता है: शीर्ष पर यादृच्छिक परीक्षणों की व्यवस्थित समीक्षाएँ, फिर व्यक्तिगत यादृच्छिक नियंत्रित परीक्षण, फिर अवलोकनात्मक अध्ययन, फिर केस श्रृंखला और विशेषज्ञ राय। पदानुक्रम एक अध्ययन डिज़ाइन में पूर्वाग्रह के जोखिम के बारे में एक अँगूठे का नियम है, गारंटी नहीं — एक ख़राब ढंग से चलाया गया परीक्षण एक अच्छे समूह अध्ययन से बदतर हो सकता है। आधुनिक परिष्करण GRADE (Grading of Recommendations Assessment, Development and Evaluation) है, जो हर परिणाम के लिए साक्ष्य की निश्चितता को उच्च, मध्यम, निम्न, या बहुत निम्न के रूप में आँकता है, और पूर्वाग्रह के जोखिम, असंगति, अप्रत्यक्षता, अपरिशुद्धता, और प्रकाशन पूर्वाग्रह के लिए परीक्षण साक्ष्य को भी घटा सकता है — या मज़बूत अवलोकनात्मक साक्ष्य को बढ़ा सकता है। GRADE अब WHO, कोक्रेन, और दुनिया भर की दिशानिर्देश निकायों द्वारा ठीक इसलिए उपयोग किया जाता है क्योंकि यह एक निश्चितता रेटिंग के पीछे के तर्क को स्पष्ट और लेखा-परीक्षा-योग्य बनाता है।

जहाँ आमने-सामने परीक्षण मौजूद नहीं हैं — B का C के ख़िलाफ़ कभी परीक्षण नहीं हुआ, केवल हर एक का प्लेसीबो के ख़िलाफ़ — नेटवर्क मेटा-विश्लेषण (जिसे मिश्रित-उपचार या अप्रत्यक्ष-तुलना मेटा-विश्लेषण भी कहा जाता है) उपचारों के एक जुड़े नेटवर्क में प्रत्यक्ष और अप्रत्यक्ष साक्ष्य को संयोजित करता है ताकि सभी तुलनाओं का अनुमान लगाया जा सके, उन सहित जिनका कभी प्रत्यक्ष रूप से अध्ययन नहीं किया गया। यह HTA के लिए अपरिहार्य है, जहाँ एक नई दवा की तुलना एक साथ कई मौजूदा विकल्पों से की जानी चाहिए, पर यह एक मज़बूत धारणा पर टिका है — कि परीक्षण अप्रत्यक्ष तुलना को वैध बनाने के लिए काफ़ी समान हैं — जिसे जाँचा जाना चाहिए, माना नहीं जाना चाहिए।

दो और विचार तय करते हैं कि एक संश्लेषण पर विश्वास किया जा सकता है या नहीं। प्रकाशन पूर्वाग्रह सकारात्मक, महत्वपूर्ण परिणामों वाले अध्ययनों के प्रकाशित होने और नकारात्मक अध्ययनों के दराज़ में बैठे रहने की प्रवृत्ति है — इसलिए दृश्यमान साहित्य प्रणालीगत रूप से प्रभावों को अतिरंजित करता है। इसे अक्सर एक फ़नल प्लॉट से जाँचा जाता है, जिसकी असममिति लापता छोटे नकारात्मक अध्ययनों का संकेत दे सकती है, और यह एक कारण है कि समीक्षक परीक्षण रजिस्ट्रियों और ग्रे साहित्य — शोध प्रबंध, रिपोर्ट, अप्रकाशित डेटा — की खोज करते हैं, न कि केवल जर्नलों की। अंत में, क्योंकि साक्ष्य आता रहता है, एक बढ़ती प्रथा जीवंत समीक्षा है: एक संश्लेषण जिसे नए अध्ययनों के आने पर निरंतर अद्यतन रखा जाता है, ताकि मार्गदर्शन कभी विज्ञान से वर्षों पीछे न बहे। कोक्रेन सहयोग (कोक्रेन) व्यवस्थित-समीक्षा विधियों के लिए अंतरराष्ट्रीय संदर्भ बिंदु बना हुआ है, और इसकी हैंडबुक क्षेत्र की मानक नियमावली है।

सर्वोत्तम प्रथाएँ

1. खोजने से पहले प्रोटोकॉल लिखें और पंजीकृत करें। एक व्यवस्थित समीक्षा की विश्वसनीयता परिणाम देखने से पहले प्रश्न, समावेशन मानदंड, परिणाम, और विश्लेषण योजना तय करने से आती है, फिर उस प्रोटोकॉल को सार्वजनिक रूप से पंजीकृत करने से (उदाहरण के लिए PROSPERO में)। यह समीक्षक द्वारा अनजाने में समीक्षा को एक पसंदीदा उत्तर की ओर आकार देने के ख़िलाफ़ एकल सबसे मज़बूत रक्षक है। जब आप एक संश्लेषण को कमीशन करते हैं, एक पंजीकृत प्रोटोकॉल पर ज़ोर दें और इसकी अनुपस्थिति को एक चेतावनी मानें कि निष्कर्ष पहले ही चुने जा चुके हो सकते हैं।

2. व्यापक रूप से खोजें, उन अध्ययनों सहित जिन्हें किसी ने प्रकाशित नहीं किया। एक खोज जो कुछ डेटाबेसों और अंग्रेज़ी-भाषा जर्नलों तक सीमित है वह परीक्षण छूट जाएगी और सकारात्मक परिणामों की ओर झुकेगी। व्यापक संश्लेषण कई डेटाबेस, परीक्षण रजिस्ट्रियाँ, सम्मेलन सार, नियामक दस्तावेज़, और ग्रे साहित्य खोजता है, और अन्वेषकों और निर्माताओं से अप्रकाशित डेटा की तलाश करता है। मुद्दा अपने आप में संपूर्णता नहीं बल्कि स्रोत पर प्रकाशन पूर्वाग्रह को निष्प्रभावी करना है — लापता अध्ययन असमान रूप से नकारात्मक होते हैं।

3. हर शामिल अध्ययन में पूर्वाग्रह के जोखिम का मूल्यांकन करें, और इसे परिणाम को दिए गए भार को बदलने दें। समावेशन समर्थन नहीं है; हर अध्ययन का मूल्यांकन उन विशिष्ट तरीक़ों के लिए किया जाना चाहिए जिनसे यह भटका सकता है — अपर्याप्त यादृच्छिकीकरण, अंधा न किया गया परिणाम मूल्यांकन, चयनात्मक रिपोर्टिंग, क्षय। एक संश्लेषण जो मज़बूत और कमज़ोर अध्ययनों को समान भार के साथ एकत्रित करता है वह कमज़ोर अध्ययनों के पूर्वाग्रह को एक आधिकारिक दिखने वाले औसत में धो देता है। एक मान्यता-प्राप्त मूल्यांकन उपकरण का उपयोग करें, निर्णयों को पारदर्शी रूप से रिपोर्ट करें, और उच्च-जोखिम अध्ययनों को बाहर रखकर विश्लेषण चलाएँ यह देखने के लिए कि क्या निष्कर्ष टिकता है।

4. एक संयुक्त संख्या की गणना करने से पहले तय करें कि एकत्रण वैध भी है या नहीं। मेटा-विश्लेषण तभी सार्थक है जब अध्ययन जनसंख्या, हस्तक्षेप, तुलनाकर्ता, और परिणाम में एक तुलनीय प्रभाव का अनुमान लगाने के लिए काफ़ी समान हों। यदि नहीं, ईमानदार आउटपुट एक संरचित वर्णनात्मक संश्लेषण है, एक झूठी एकल संख्या नहीं। "क्या ये अध्ययन एक ही प्रश्न का उत्तर दे रहे हैं?" पूछें इससे पहले "संयुक्त अनुमान क्या है?" पूछने से — अतुलनीय चीज़ों का एक सटीक औसत बिना किसी औसत से बदतर है।

5. जान-बूझकर निश्चित-प्रभाव या यादृच्छिक-प्रभाव मॉडल चुनें, और इसे उचित ठहराएँ। स्वास्थ्य में एक यादृच्छिक-प्रभाव मॉडल आमतौर पर अधिक ईमानदार डिफ़ॉल्ट है, जहाँ अध्ययन वास्तव में भिन्न होते हैं, क्योंकि यह व्यापक अंतराल उत्पन्न करता है जो वास्तविक-दुनिया की भिन्नता को दर्शाते हैं। पर यह छोटे अध्ययनों को असमान रूप से अधिक भार देता है, इसलिए जहाँ प्रकाशन पूर्वाग्रह संदिग्ध है यह ठीक उस पूर्वाग्रह को बढ़ा सकता है जिससे आप डरते हैं। बताएँ कि आपने कौन-सा मॉडल इस्तेमाल किया और क्यों, और दिखाएँ कि विकल्प के तहत संयुक्त अनुमान कैसे हिलता है; एक निष्कर्ष जो दोनों के बीच पलट जाता है वह मज़बूत नहीं है।

6. विषमांगता को औसत निकालकर मिटाने के बजाय इसकी जाँच करें। जब अध्ययन परिणाम संयोग से समझाए जा सकने से अधिक भिन्न होते हैं, वह भिन्नता जानकारी है — इसका अर्थ हो सकता है कि उपचार एक उप-समूह में काम करता है और दूसरे में नहीं, या कि गुणवत्ता स्पष्ट प्रभाव को चलाती है। पूर्व-निर्दिष्ट उप-समूह विश्लेषण और मेटा-रिग्रेशन के साथ इसकी खोज करें, पर पश्च-हॉक उप-समूहों के प्रति संदेहास्पद रहें क्योंकि उन्हें खोजना आसान है और उन पर भरोसा करना कठिन। बिना यह जाँचे प्रस्तुत किया गया एक संयुक्त अनुमान कि अध्ययन क्यों असहमत हैं, डेटा के सबसे उपयोगी हिस्से को छिपा रहा है।

7. प्रकाशन और रिपोर्टिंग पूर्वाग्रह के लिए स्पष्ट रूप से जाँचें। प्रकाशित साहित्य की तुलना परीक्षण रजिस्ट्रियों से करें उन अध्ययनों को खोजने के लिए जो चलाए गए पर कभी रिपोर्ट नहीं किए गए, जहाँ पर्याप्त अध्ययन मौजूद हों वहाँ फ़नल-प्लॉट असममिति का निरीक्षण करें, और विचार करें कि क्या अध्ययन का आकार बढ़ने के साथ प्रभाव सिकुड़ता है। इनमें से कोई भी परीक्षण निर्णायक नहीं है, पर उनकी अनुपस्थिति को एक स्वच्छ सकारात्मक परिणाम में आपके विश्वास को कम करना चाहिए। प्रकाशन पूर्वाग्रह की दिशा लगभग हमेशा एक जैसी होती है — यह स्पष्ट लाभ को फुलाती है — इसलिए एक अनजाँचा संश्लेषण एक ऊपरी सीमा के रूप में पढ़ा जाना चाहिए।

8. नेटवर्क मेटा-विश्लेषण का उपयोग करें जब निर्णय में कई तुलनाकर्ता हों, और इसकी मूल धारणा जाँचें। वास्तविक वित्तपोषण निर्णय शायद ही कभी एक दवा को प्लेसीबो के ख़िलाफ़ खड़ा करते हैं; वे कई सक्रिय विकल्पों में से चुनते हैं, जिनमें से अधिकांश का कभी आमने-सामने परीक्षण नहीं हुआ। नेटवर्क मेटा-विश्लेषण उन अंतरालों को भरता है, पर केवल तभी जब परीक्षण अप्रत्यक्ष तुलना के लिए पर्याप्त समान हों — "संक्रमणशीलता" धारणा — और यदि प्रत्यक्ष और अप्रत्यक्ष साक्ष्य सहमत हों जहाँ दोनों मौजूद हैं। माँग करें कि विश्लेषक नेटवर्क दिखाए, संगति की जाँच करे, और पतली अप्रत्यक्ष श्रृंखलाओं पर टिकी तुलनाओं के बारे में स्पष्टवादी हो।

9. साक्ष्य की निश्चितता को आँकें, केवल प्रभाव के आकार को नहीं। कम-निश्चितता साक्ष्य से एक बड़ा प्रभाव सार्वजनिक धन ख़र्च करने का उच्च-निश्चितता साक्ष्य से एक मामूली प्रभाव से कमज़ोर आधार है। GRADE इन प्रश्नों को हर परिणाम के लिए निश्चितता आँककर और यह दस्तावेज़ करके कि इसे क्यों घटाया या बढ़ाया गया, अलग करता है, "साक्ष्य मज़बूत है" को एक दावे से एक लेखा-परीक्षित निर्णय में बदलते हुए। माँग करें कि एक निर्णय को खिलाने वाला संश्लेषण हर मायने रखने वाले परिणाम के लिए एक स्पष्ट निश्चितता रेटिंग वहन करे, न कि एक एकल वैश्विक फ़ैसला।

10. संश्लेषण को इस तरह रिपोर्ट करें कि एक संशयवादी इसे पुनरुत्पादित कर सके। एक मान्यता-प्राप्त रिपोर्टिंग मानक जैसे PRISMA का पालन करें: पूरी खोज रणनीति दें, पहचाने गए से शामिल किए गए तक अध्ययनों का प्रवाह, कारणों सहित बाहर रखे गए अध्ययन, पूर्वाग्रह-जोखिम निर्णय, और हर संयुक्त अनुमान के पीछे का डेटा। पारदर्शिता वह तंत्र है जिससे त्रुटियाँ और चयनात्मक विकल्प एक बजट को हिलाने से पहले पकड़े जाते हैं। एक संश्लेषण जिसकी खोज को फिर से नहीं चलाया जा सकता या जिसके बहिष्करण अस्पष्टीकृत हैं, को एक निर्णय को एंकर नहीं करना चाहिए, चाहे इसका सार कितना भी आत्मविश्वासी हो।

11. उच्च-दांव संश्लेषणों को जीवंत रखें जहाँ साक्ष्य तेज़ी से आगे बढ़ रहा हो। एक तेज़ी से बदलते क्षेत्र में — एक नई दवा वर्ग, एक उभरता रोगजनक, एक तेज़ी से परीक्षित प्रौद्योगिकी — एक समीक्षा प्रकाशित होते ही पुरानी हो जाती है, और बासी साक्ष्य चुपचाप धन और देखभाल को ग़लत दिशा में भेजता है। एक जीवंत समीक्षा नए अध्ययनों के विरुद्ध निरंतर अद्यतन होती है, इस बारे में पूर्व-सहमत नियमों के साथ कि कब एक नया परीक्षण निष्कर्ष बदलता है। इस प्रयास को उन निर्णयों के लिए आरक्षित रखें जो इसे उचित ठहराने के लिए काफ़ी बड़े और अस्थिर हैं, और किसी भी संश्लेषण की मुद्रा तिथि के बारे में स्पष्ट रहें जिस पर आप भरोसा करते हैं।

12. संश्लेषण को उस पैरामीटर से मिलाएँ जिसकी मॉडल को वास्तव में आवश्यकता है। एक निर्णय मॉडल को विशिष्ट आगतों की आवश्यकता है — आधार मामले के लिए एक सापेक्ष प्रभाव, स्थानीय जनसंख्या के लिए एक आधारभूत जोखिम, एक उपयोगिता भार — और हर एक को अपने समावेशन मानदंडों के साथ अपने ही संश्लेषण की आवश्यकता हो सकती है। यादृच्छिक परीक्षणों से एक सापेक्ष प्रभाव निकालना पर एक स्थानीय रजिस्ट्री से आधारभूत जोखिम वैध और सामान्य है; यह छिपाना कि दोनों अलग साक्ष्य निकायों से आए, नहीं है। हर संश्लेषित आगत को इससे संरेखित करें कि इसे डाउनस्ट्रीम कैसे उपयोग किया जाएगा, और उस मूल्यांकन को क्रॉस-संदर्भित करें जिसे यह खिलाता है (विषय 2.1 — आर्थिक मूल्यांकन देखें)।

अपनी टीम के साथ चर्चा के लिए प्रश्न

1. जब हम एक प्रभाव अनुमान को तय मान लेते हैं, क्या हम जानते हैं कि यह पूरे साहित्य से आया या केवल इसके दृश्यमान, चापलूसी वाले हिस्से से? यह प्रश्न प्रकाशन पूर्वाग्रह और चयनात्मक रिपोर्टिंग को लक्षित करता है, वे विफलताएँ जो एक संश्लेषण को एक अनुमानित दिशा में ग़लत बनाती हैं। असुविधाजनक वास्तविकता यह है कि सकारात्मक परीक्षण नकारात्मक की तुलना में तेज़ी से, अधिक बार, और अधिक प्रमुखता से प्रकाशित होते हैं, इसलिए जर्नलों तक सीमित एक समीक्षा लाभ को अतिरंजित करने की प्रवृत्ति रखेगी भले ही हर शामिल अध्ययन ईमानदार हो। चर्चा को ठोस उत्पत्ति की ओर धकेलें: क्या परीक्षण रजिस्ट्रियों को उन अध्ययनों के लिए खोजा गया था जो चलाए गए पर कभी रिपोर्ट नहीं किए गए, क्या निर्माताओं से अप्रकाशित डेटा माँगा गया था, क्या एक फ़नल प्लॉट या तुलनीय जाँच की गई थी? तनाव यह है कि व्यापक खोज महँगी और धीमी है, और हमेशा एक स्वच्छ प्रकाशित अनुमान को स्वीकार करने और आगे बढ़ने का दबाव होता है। एक ईमानदार उत्तर यह दावा नहीं करता कि खोज सही थी; यह बताता है कि समीक्षा ने लापता अध्ययनों के लिए कितनी कठिनाई से देखा और एक अनजाँचे सकारात्मक परिणाम को सत्य के बजाय एक संभावित ऊपरी सीमा मानता है।

2. क्या हम जो अध्ययन एकत्रित कर रहे हैं वे वास्तव में एक ही प्रश्न का उत्तर दे रहे हैं, या हमने ऐसी चीज़ों से जो साथ नहीं रहतीं एक स्वच्छ औसत बना दिया है? यह विषमांगता प्रश्न है, और यह तय करता है कि एक संयुक्त संख्या का कोई अर्थ है भी या नहीं। सतह पर लाने योग्य कोण नैदानिक (अलग मरीज़, ख़ुराक, या तुलनाकर्ता), पद्धतिगत (कमज़ोर अवलोकनात्मक अध्ययनों के साथ मिश्रित परीक्षण), और सांख्यिकीय (संयोग से अधिक असहमत परिणाम) हैं। लुभावनी विफलता यह है कि सॉफ़्टवेयर हमेशा एक आत्मविश्वासी-दिखने वाले विश्वास अंतराल के साथ एक संयुक्त अनुमान लौटाएगा, चाहे अंतर्निहित अध्ययन तुलनीय हों या नहीं — संख्या की परिशुद्धता इसकी वैधता के बारे में कुछ नहीं कहती। चर्चा करें कि क्या समीक्षा ने जाँच की कि अध्ययन क्यों असहमत हैं या केवल उन्हें औसत निकाला, और क्या कोई उप-समूह अंतर पूर्व-निर्दिष्ट थे या बाद में ढूँढे गए थे। एक ईमानदार उत्तर यह निष्कर्ष निकालने को तैयार है कि एकत्रण अनुचित था और एक संरचित वर्णनात्मक संश्लेषण अधिक सच्चा आउटपुट होता।

3. यह साक्ष्य कितना वर्तमान है, और एक नए अध्ययन को हमारा निर्णय बदलने के लिए क्या दिखाना होगा? संश्लेषणों की एक शेल्फ़ लाइफ़ होती है, और ख़तरा एक ऐसी समीक्षा पर कार्य करना है जिसकी खोज वर्षों पहले बंद हुई जबकि क्षेत्र आगे बढ़ गया। मुद्रा तिथि को स्पष्ट रूप से नाम दें और पूछें कि तब से क्या प्रकाशित हुआ है, विशेष रूप से तेज़ी से बदलती प्रौद्योगिकियों के लिए जहाँ एक भी बड़ा परीक्षण एक संयुक्त अनुमान को पलट सकता है। गहरा अनुशासन पहले से यह तय करना है कि कौन-सा निष्कर्ष आपका मन बदल देगा — एक सीमा जो "साहित्य देखते रहें" को एक अस्पष्ट इरादे से एक जीवंत अद्यतन के लिए एक परिचालन ट्रिगर में बदल देती है। तनाव एक संश्लेषण को जीवंत रखने की लागत और बासी साक्ष्य पर चुपचाप चलते एक निर्णय की लागत के बीच है; हर प्रश्न एक जीवंत समीक्षा को उचित नहीं ठहराता, पर हर उच्च-दांव, अस्थिर प्रश्न ठहराता है। एक ईमानदार उत्तर मुद्रा तिथि बताता है, नाम देता है कि निष्कर्ष को क्या पलटेगा, और इसके आने पर ध्यान देने की ज़िम्मेदारी सौंपता है।

4. क्या प्रश्न, और इसका उत्तर देने वाला विश्लेषण, किसी के परिणाम देखने से पहले तय किया गया था — या समीक्षा को एक पसंदीदा निष्कर्ष की ओर आकार दिया जा सकता था? यह पूरे अनुशासन में एकल सबसे मज़बूत रक्षक को लक्षित करता है: पहले से पंजीकृत एक प्रोटोकॉल, जिसमें समावेशन मानदंड, परिणाम, और एकत्रण योजना डेटा को प्रभावित कर सकने से पहले तय हो चुकी है। जिस विफलता से यह रक्षा करता है वह सूक्ष्म है क्योंकि यह शायद ही कभी जान-बूझकर होती है — एक समीक्षक जो पहले परिणाम देखता है, सद्भाव में, एक समावेशन सीमा को समायोजित कर सकता है, एक द्वितीयक परिणाम को बढ़ावा दे सकता है, या एक मॉडल विकल्प बदल सकता है ऐसे तरीक़ों से जो सभी संयोग से एक विशेष उत्तर का पक्ष लेते हैं। पूछें कि क्या PROSPERO जैसी एक सार्वजनिक रजिस्ट्री में एक प्रोटोकॉल मौजूद है, क्या अंतिम समीक्षा इससे मेल खाती है, और क्या कोई विचलन चुपचाप किए जाने के बजाय घोषित और उचित ठहराए गए थे। तनाव यह है कि पूर्व-पंजीकरण असुविधाजनक है — यह "हम चलते-चलते सीखे" की लचीलापन को मना करता है जो अच्छे विज्ञान जैसा महसूस होता है — और इसकी अनुपस्थिति को माफ़ करना आसान है। एक ईमानदार उत्तर पंजीकृत प्रोटोकॉल की ओर इशारा कर सकता है, बता सकता है कि समीक्षा कहाँ इससे विचलित हुई और क्यों, और एक अपंजीकृत संश्लेषण को ऐसे मानता है जिसके निष्कर्ष साक्ष्य आने से पहले चुने गए हो सकते हैं।

5. जब निर्णय कई ऐसे उपचारों तक फैला हो जिनका कभी एक-दूसरे के ख़िलाफ़ परीक्षण नहीं हुआ, क्या हम उस अप्रत्यक्ष तुलना पर भरोसा करते हैं जो उन्हें एक साथ सिलती है? वास्तविक वित्तपोषण विकल्प आमतौर पर कई सक्रिय विकल्पों को एक-दूसरे के ख़िलाफ़ खड़ा करते हैं, जिनमें से अधिकांश का कभी आमने-सामने परीक्षण नहीं हुआ, इसलिए संश्लेषण एक नेटवर्क मेटा-विश्लेषण पर झुकता है जो साझा तुलनाकर्ताओं के माध्यम से शक्ति उधार लेता है। सतह पर लाने योग्य कोण यह हैं कि क्या विश्लेषक ने वास्तव में परीक्षणों का नेटवर्क दिखाया, क्या "संक्रमणशीलता" धारणा टिकती है — कि परीक्षण जनसंख्याएँ और पृष्ठभूमि देखभाल एक अप्रत्यक्ष तुलना के अर्थपूर्ण होने के लिए काफ़ी समान हैं — और क्या प्रत्यक्ष और अप्रत्यक्ष साक्ष्य सहमत हैं जहाँ दोनों मौजूद हैं। लुभावनी विफलता यह है कि सॉफ़्टवेयर पेयरवाइज़ अनुमानों का एक पूरा सेट लौटाएगा चाहे अंतर्निहित श्रृंखलाएँ कितनी भी पतली या अतुलनीय हों, एक नाज़ुक अप्रत्यक्ष परिणाम को एक मज़बूत प्रत्यक्ष परिणाम के समान अधिकार देते हुए। चर्चा करें कि कौन-से विरोधाभास एक भी कमज़ोर अप्रत्यक्ष कड़ी पर टिके हैं और क्या ये ठीक वे तुलनाएँ हैं जो सिफ़ारिश को चला रही हैं। एक ईमानदार उत्तर अच्छी तरह से जुड़ी, संगति-परीक्षित तुलनाओं को पतली तुलनाओं से अलग करता है, और बाद वाली को एक साफ़-सुथरी लीग तालिका में दफ़न करने के बजाय निम्न निश्चितता के रूप में वहन करता है।

6. क्या हम एक बड़े प्रभाव और एक निश्चित प्रभाव को एक ही चीज़ मान रहे हैं, जबकि वे नहीं हैं? यह एक अनुमान के आकार को उस विश्वास से अलग करता है जिसके हम इसमें हक़दार हैं — वह भेद जिसे स्पष्ट करने के लिए GRADE मौजूद है। तनाव यह है कि एक बड़ा बिंदु अनुमान प्रेरक है और धन ख़र्च करना आसान बनाता है, जबकि इसके पीछे की निश्चितता कम हो सकती है क्योंकि साक्ष्य असंगत, अपरिशुद्ध, अप्रत्यक्ष, या प्रकाशन पूर्वाग्रह से छायांकित है। पूछें कि क्या हर मायने रखने वाला परिणाम अपनी ही निश्चितता रेटिंग वहन करता है, इसे क्यों घटाया या बढ़ाया गया, और क्या सिफ़ारिश प्रभाव आकार से चल रही है या साक्ष्य कितना सहन कर सकता है इसके ईमानदार पठन से। असुविधाजनक मामला एक मामूली पर उच्च-निश्चितता लाभ है जो एक नाटकीय पर निम्न-निश्चितता लाभ के ख़िलाफ़ प्रतिस्पर्धा कर रहा है: अनुशासन उस संख्या पर जिस पर आप भरोसा कर सकते हैं उस साक्ष्य को प्राथमिकता देना है जो चापलूसी करती है। एक ईमानदार उत्तर "बड़े" और "निश्चित" को एक फ़ैसले में समेटने से इनकार करता है, और निश्चितता रेटिंग को, केवल बिंदु अनुमान को नहीं, यह शासित करने देता है कि निर्णय परिणाम को कितना भार देता है।

व्यवहार में: एक स्वास्थ्य अर्थशास्त्र उदाहरण

मारीडिया का नेशनल मेडिसिन्स एंड हेल्थ टेक्नोलॉजी कमेटी — एक काल्पनिक निम्न-मध्यम-आय वाला देश जो अपनी आवश्यक दवाओं की सूची बना रहा है — को यह तय करना होगा कि प्राइमरी केयर में जटिलता-रहित उच्च रक्तचाप के लिए किस वर्ग की रक्तचाप-कम करने वाली दवा को पहली-पंक्ति के रूप में अनुशंसित किया जाए। चार वर्ग उम्मीदवार हैं, सभी पेटेंट-मुक्त और सस्ती, पर नैदानिक प्रश्न यह है कि प्रति उपचारित मरीज़ कौन-सी सबसे अधिक स्ट्रोक और दिल के दौरे रोकती है। समिति अपने ख़ुद के परीक्षण नहीं चला सकती; इसे दुनिया जो पहले से जानती है उसे संश्लेषित करना चाहिए, फिर स्थानीय लागतों और घटना दरों के साथ जोड़ने के लिए अपनी अर्थशास्त्र टीम को एक सापेक्ष-प्रभाव अनुमान सौंपना चाहिए।

समिति की साक्ष्य इकाई एक पंजीकृत प्रोटोकॉल से शुरू करती है: प्रश्न, चार तुलनाकर्ता, परिणाम (हृदय-संवहनी घटनाएँ और सभी-कारण मृत्यु दर), समावेशन मानदंड, और विश्लेषण योजना, सभी खोज से पहले तय। खोज कई डेटाबेस, दो परीक्षण रजिस्ट्रियों, और WHO क्षेत्रीय साहित्य को कवर करती है जो मारीडिया जैसे परिवेशों के परीक्षणों को अनुक्रमित करता है, क्योंकि केवल उच्च-आय-देश जर्नलों पर भरोसा करना एक ऐसी जनसंख्या आयात करेगी जो मेल नहीं खा सकती। प्रवाह PRISMA-शैली में दस्तावेज़ीकृत है: कई हज़ार रिकॉर्ड पहचाने गए, अधिकांश शीर्षक पर बाहर रखे गए, कुछ दर्जन यादृच्छिक परीक्षण शामिल, हर एक पूर्वाग्रह के जोखिम के लिए मूल्यांकित। तीन बड़े उद्योग-वित्तपोषित परीक्षण चयनात्मक रूप से रिपोर्ट किए गए पाए जाते हैं; इकाई उन्हें चिह्नित करती है और उनके बिना एक संवेदनशीलता विश्लेषण की योजना बनाती है।

मुख्य कठिनाई यह है कि लगभग किसी भी परीक्षण ने चार वर्गों की आमने-सामने तुलना नहीं की — अधिकांश ने एक दवा का प्लेसीबो या एक ही विकल्प के ख़िलाफ़ परीक्षण किया। एक सरल पेयरवाइज़ मेटा-विश्लेषण केवल उन तुलनाओं के एक अंश का उत्तर दे सकता है जिनका समिति वास्तव में सामना करती है। इसलिए इकाई एक नेटवर्क मेटा-विश्लेषण बनाती है, वर्गों को उनके साझा तुलनाकर्ताओं के माध्यम से जोड़ते हुए, और सभी छह पेयरवाइज़ विरोधाभासों का एक साथ अनुमान लगाती है। इस पर भरोसा करने से पहले, वे नेटवर्क की संक्रमणशीलता जाँचते हैं — क्या परीक्षण जनसंख्याएँ और पृष्ठभूमि देखभाल अप्रत्यक्ष तुलना के लिए काफ़ी समान हैं? — और परीक्षण करते हैं कि क्या प्रत्यक्ष और अप्रत्यक्ष साक्ष्य सहमत हैं जहाँ दोनों मौजूद हैं। वे अधिकांशतः सहमत हैं; एक विरोधाभास एक पतली अप्रत्यक्ष श्रृंखला पर टिका है, जिसे इकाई निम्न निश्चितता के रूप में चिह्नित करती है।

विषमांगता वास्तविक और सूचनात्मक है। पुराने, उच्च-जोखिम जनसंख्याओं में परीक्षण छोटे कोहॉर्ट के परीक्षणों की तुलना में बड़े निरपेक्ष लाभ दिखाते हैं, जो मायने रखता है क्योंकि मारीडिया की उपचारित जनसंख्या परीक्षण औसत की तुलना में युवा की ओर झुकेगी। अंधाधुंध एकत्रित करने के बजाय, इकाई पूर्व-निर्दिष्ट उप-समूह और मेटा-रिग्रेशन विश्लेषण चलाती है और आधारभूत जोखिम पर निर्भर प्रभाव रिपोर्ट करती है। सबसे बड़ी तुलना पर एक फ़नल प्लॉट हल्की असममिति दिखाता है, कुछ लापता छोटे नकारात्मक अध्ययनों के अनुरूप; चयनात्मक-रिपोर्टिंग परीक्षणों के साथ मिलकर, यह उन्हें सबसे अनुकूल वर्ग की बढ़त को सावधानी से मानने की ओर ले जाता है। एक यादृच्छिक-प्रभाव मॉडल के तहत चार में से तीन वर्गों के बीच अंतर छोटे हैं और उनके विश्वास अंतराल भारी रूप से ओवरलैप करते हैं।

इकाई हर परिणाम को GRADE से आँकती है। यह साक्ष्य कि सभी चार वर्ग बिना-उपचार से बेहतर हैं, उच्च निश्चितता है; यह साक्ष्य कि कोई एक वर्ग स्पष्ट रूप से दूसरों से बेहतर है, केवल निम्न-से-मध्यम है, असंगति, अपरिशुद्धता, और संदिग्ध प्रकाशन पूर्वाग्रह के लिए घटाया गया। वह भेद ही निर्णय है। समिति यह निष्कर्ष निकालती है कि, क्योंकि वर्ग नैदानिक रूप से करीब हैं और सभी सस्ते हैं, अर्थशास्त्र को नैदानिक श्रेष्ठता के एक नाज़ुक दावे के बजाय क़ीमत, सहनशीलता, और आपूर्ति सुरक्षा से चलाया जाना चाहिए — एक निष्कर्ष जो केवल इसलिए दृश्यमान हुआ क्योंकि संश्लेषण ने प्रभाव आकार को निश्चितता से अलग किया। यह अर्थशास्त्र टीम को स्पष्ट अनिश्चितता के साथ एक सापेक्ष-प्रभाव अनुमान सौंपती है, जिसे प्रति-घटना-टाली-गई लागत में बदला जाना है (विषय 2.1 — आर्थिक मूल्यांकन देखें), और एक जीवंत अद्यतन कमीशन करती है: यदि दो साल में देय एक बड़ा व्यावहारिक परीक्षण एक निर्दिष्ट विरोधाभास को एक पूर्व-सहमत सीमा से आगे बदल देता है, सिफ़ारिश फिर से खोली जाती है। हर परीक्षण के भीतर एकल-अध्ययन कारण तर्क — चाहे इसका अपना प्रभाव अनुमान विश्वसनीय हो — विषय 2.3 — स्वास्थ्य अर्थमिति से संबंधित है; इस समिति का काम उन्हें अच्छी तरह एकत्रित करना था।

चार क्षेत्र-दृष्टिकोण

स्टार्टअप

एक डिजिटल-स्वास्थ्य या उपकरण स्टार्टअप शायद ही कभी एक पूर्ण व्यवस्थित समीक्षा कमीशन करता है, पर यह दूसरी तरफ़ से संश्लेषण से मिलता है — उस पक्ष के रूप में जिसके एकल आशाजनक अध्ययन को व्यापक क्षेत्र के एक HTA निकाय के संश्लेषण से बचना चाहिए। प्रलोभन एक चापलूसी वाले परीक्षण और हाथ से चुने गए सहायक कागज़ों की एक वर्णनात्मक समीक्षा पर झुकना है, जिसे एक गंभीर मूल्यांकनकर्ता तुरंत देख लेगा। बुद्धिमान क़दम मौजूदा साक्ष्य आधार को ईमानदारी से और जल्दी मैप करना है, ताकि स्टार्टअप जाने कि इसका उत्पाद पदानुक्रम में कहाँ बैठता है और एक भुगतानकर्ता किस तुलना की माँग करेगा। एक छोटी फ़र्म जो अपने साक्ष्य को एक निष्पक्ष संश्लेषण के संदर्भ में प्रस्तुत करती है, और अपने ही डेटा की निश्चितता के बारे में स्पष्टवादी है, एक अलग-थलग परिणाम को अधिक बेचने वाले से अधिक विश्वसनीयता अर्जित करती है।

छोटा व्यवसाय

एक छोटा पर स्थापित प्रदाता — एक समूह प्रैक्टिस, एक एकल विशेषज्ञ क्लिनिक, एक मामूली उपकरण या निदान आपूर्तिकर्ता — के पास न तो एक स्टार्टअप के निवेशक-समर्थित साक्ष्य धक्के का पैमाना है और न ही एक उद्यम की संश्लेषण टीम, फिर भी इसे स्थिर-स्थिति निर्णय लेने के लिए संश्लेषणों को अच्छी तरह पढ़ना पड़ता है। इसका यथार्थवादी कार्य उपभोग है, उत्पादन नहीं: एक दिशानिर्देश पर निश्चितता रेटिंग पढ़ना, जाँचना कि क्या एक समीक्षा की जनसंख्या उन मरीज़ों से मिलती-जुलती है जिनका यह वास्तव में इलाज करता है, और यह देखना कि कब एक ख़रीद या रेफ़रल आदत के पीछे का साक्ष्य चुपचाप बासी हो गया है। जाल एक विक्रेता के चुने हुए साक्ष्य पैक या एक यादगार परीक्षण पर पूरी तरह भरोसा करना है, क्योंकि प्रैक्टिस के पास व्यापक क्षेत्र का मूल्यांकन करने का समय नहीं है। आनुपातिक क़दम उन संश्लेषणों पर झुकना है जिन्हें विश्वसनीय निकाय — कोक्रेन, राष्ट्रीय HTA एजेंसियाँ, पेशेवर-समाज दिशानिर्देश — पहले से बनाए रखते हैं, उनकी GRADE निश्चितता रेटिंग को मुख्य-शीर्षक मानें, और किसी भी आपूर्तिकर्ता दावे का एक अनुशासित प्रश्न पूछें: यह व्यवस्थित समीक्षा के मुक़ाबले कहाँ बैठता है, और यह कितना वर्तमान है?

उद्यम (एंटरप्राइज़)

एक बड़ा निर्माता, प्रदाता समूह, या बीमाकर्ता संश्लेषण को एक औद्योगिक क्षमता के रूप में चलाता है: समर्पित साक्ष्य-संश्लेषण और स्वास्थ्य-अर्थशास्त्र-और-परिणाम-अनुसंधान टीमें कई क्षेत्राधिकारों में जमा को समर्थन देने के लिए व्यवस्थित समीक्षाएँ और नेटवर्क मेटा-विश्लेषण उत्पन्न करती हैं। ताक़त पद्धतिगत गहराई और हर प्रासंगिक तुलनाकर्ता तक फैली एक नेटवर्क मेटा-विश्लेषण बनाने की क्षमता है; जोखिम यह है कि वही क्षमता प्रायोजक के उत्पाद का पक्ष लेने के लिए इंजीनियर की गई एक समीक्षा उत्पन्न करने में बदली जा सकती है — एक संकीर्ण खोज, एक सुविधाजनक मॉडल विकल्प, या चुपचाप बहिष्करणों के माध्यम से। उद्यम विश्वसनीयता प्रोटोकॉल पंजीकृत करने, PRISMA का पालन करने, पुनरुत्पादन-योग्य विश्लेषण प्रस्तुत करने, और स्वतंत्र प्रतिकृति को आमंत्रित करने पर निर्भर करती है जिसकी HTA निकाय तेज़ी से माँग करती हैं। परिपक्व उद्यम एक पारदर्शी संश्लेषण को जो वास्तविक अनिश्चितता दिखाता है एक पॉलिश किए गए संश्लेषण से अधिक टिकाऊ मानता है जिसे एक समीक्षक तोड़ सकता है।

सरकार

एक मंत्रालय, राष्ट्रीय भुगतानकर्ता, या HTA निकाय संश्लेषणों का प्रमुख उपभोक्ता और रेफ़री है, और इसका अनुशासन उन्हें एक प्रकाशित मानक के लिए माँगना और संचालित करना है। NICE, IQWiG, और WHO दिशानिर्देश पैनल जैसी निकायें व्यवस्थित समीक्षाओं पर सिफ़ारिशें बनाती हैं और GRADE के साथ साक्ष्य की निश्चितता आँकती हैं ठीक इसलिए ताकि निर्णय बचाव-योग्य और पुनरुत्पादन-योग्य हों, न कि सबसे प्रेरक जमा द्वारा पकड़े गए। सरकार अन्य क्षेत्रों की तुलना में अलग ज़िम्मेदारियाँ भी वहन करती है: उस बुनियादी ढाँचे को बनाए रखना — परीक्षण रजिस्ट्रियाँ, समीक्षा सहयोग, विधि मार्गदर्शन — जो ईमानदार संश्लेषण को संभव बनाता है, और उच्च-दांव समीक्षाओं को जीवंत रखना ताकि राष्ट्रीय मार्गदर्शन विज्ञान से पीछे न बहे। एक संश्लेषण जो क्या छोड़ता है, और एक ग़लत संयुक्त अनुमान से प्रभावित मरीज़ों के लिए, जवाबदेही अंततः यहीं टिकती है।

सामान्य विफलता के तरीके

• साक्ष्य के रूप में सजी वर्णनात्मक समीक्षा। साहित्य का एक हाथ से चुना, असंगठित पठन जो एक संश्लेषण के अधिकार के साथ प्रस्तुत किया गया। समाधान: किसी भी "समीक्षा" पर भरोसा करने से पहले एक पंजीकृत प्रोटोकॉल, एक स्पष्ट खोज रणनीति, और PRISMA-शैली रिपोर्टिंग की माँग करें।

• अतुलनीय अध्ययनों को एकत्रित करना। अलग जनसंख्याओं, ख़ुराकों, या डिज़ाइनों वाले परीक्षणों में एक सटीक औसत की गणना करना, एक ऐसी संख्या उत्पन्न करना जो किसी वास्तविक मरीज़ का वर्णन नहीं करती। समाधान: पहले नैदानिक और पद्धतिगत विषमांगता का आकलन करें, और जहाँ एकत्रण उचित न हो एक संरचित वर्णनात्मक संश्लेषण का उपयोग करें।

• उन अध्ययनों की अनदेखी करना जो कभी प्रकाशित नहीं हुए। केवल कुछ डेटाबेस और केवल जर्नल खोजना, ताकि लापता नकारात्मक अध्ययन प्रभाव को फुलाएँ। समाधान: रजिस्ट्रियाँ, नियामक, और ग्रे साहित्य खोजें, अप्रकाशित डेटा की तलाश करें, और प्रकाशन पूर्वाग्रह के लिए स्पष्ट रूप से जाँचें।

• विषमांगता को औसत निकालकर मिटाना। एक एकल संयुक्त अनुमान रिपोर्ट करना जबकि इस तथ्य को दबाना कि अध्ययन दृढ़ता से असहमत हैं। समाधान: पूर्व-निर्दिष्ट उप-समूह विश्लेषण और मेटा-रिग्रेशन के साथ विचलन की जाँच करें, और केवल माध्य नहीं बल्कि भिन्नता रिपोर्ट करें।

• समावेशन को समर्थन मानना। कमज़ोर और मज़बूत अध्ययनों को समान रूप से भार देना, पूर्वाग्रह को एक आधिकारिक औसत में धोना। समाधान: हर अध्ययन में पूर्वाग्रह के जोखिम का मूल्यांकन करें और उच्च-जोखिम अध्ययनों को बाहर रखकर विश्लेषण चलाएँ।

• प्रभाव आकार को निश्चितता के साथ भ्रमित करना। निम्न-निश्चितता साक्ष्य से एक बड़े प्रभाव पर ऐसे कार्य करना मानो यह तय हो। समाधान: GRADE के साथ हर परिणाम के लिए निश्चितता आँकें और इसे, केवल बिंदु अनुमान को नहीं, निर्णय को शासित करने दें।

• अनजाँची अप्रत्यक्ष तुलना। संक्रमणशीलता या संगति की जाँच किए बिना एक नेटवर्क मेटा-विश्लेषण बनाना, ताकि एक अप्रत्यक्ष परिणाम अतुलनीय परीक्षणों पर टिका हो। समाधान: नेटवर्क दिखाएँ, धारणाओं की जाँच करें, और पतली अप्रत्यक्ष श्रृंखलाओं को निम्न निश्चितता के रूप में चिह्नित करें।

• बासी संश्लेषण। एक निर्णय को एक ऐसी समीक्षा पर एंकर करना जिसकी खोज एक ऐसे क्षेत्र में वर्षों पहले बंद हुई जो आगे बढ़ गया है। समाधान: मुद्रा तिथि बताएँ, जाँचें कि तब से क्या सामने आया है, और अस्थिर उच्च-दांव समीक्षाओं को जीवंत रखें।

परिपक्वता मॉडल

जाँच-सूची

• पुष्टि करें कि खोज से पहले एक प्रोटोकॉल पंजीकृत किया गया था, जिसमें पूर्व-निर्दिष्ट प्रश्न, परिणाम, और विश्लेषण योजना थी।
• जाँचें कि खोज ने कई डेटाबेस, परीक्षण रजिस्ट्रियों, और ग्रे साहित्य को कवर किया — केवल जर्नल नहीं।
• सत्यापित करें कि हर शामिल अध्ययन को पूर्वाग्रह जोखिम के लिए आँका गया, और उच्च-जोखिम अध्ययनों का एक संवेदनशीलता विश्लेषण में परीक्षण किया गया।
• स्थापित करें कि अध्ययन एकत्रित करने के लिए काफ़ी समान हैं; यदि नहीं, एक एकल संख्या के बजाय एक संरचित वर्णनात्मक संश्लेषण की अपेक्षा करें।
• नोट करें कि क्या एक निश्चित-प्रभाव या यादृच्छिक-प्रभाव मॉडल इस्तेमाल किया गया और क्यों, और क्या निष्कर्ष विकल्प के तहत टिकता है।
• पूछें कि विषमांगता की जाँच कैसे की गई, और क्या उप-समूह विश्लेषण पूर्व-निर्दिष्ट थे या पश्च-हॉक।
• एक स्पष्ट प्रकाशन-पूर्वाग्रह जाँच (रजिस्ट्री तुलना, फ़नल प्लॉट) की तलाश करें और एक सकारात्मक परिणाम को एक ऊपरी सीमा के रूप में पढ़ें।
• बहु-तुलनाकर्ता निर्णयों के लिए, पुष्टि करें कि किसी भी नेटवर्क मेटा-विश्लेषण ने अपना नेटवर्क दिखाया और संक्रमणशीलता तथा संगति की जाँच की।
• हर मायने रखने वाले परिणाम के लिए एक GRADE (या समकक्ष) निश्चितता रेटिंग की माँग करें, प्रभाव आकार से अलग।
• पुष्टि करें कि संश्लेषण पुनरुत्पादन-योग्य रूप से रिपोर्ट किया गया है (PRISMA), खोज, बहिष्करण, और संयुक्त डेटा उपलब्ध होने के साथ।
• मुद्रा तिथि और कौन-सा नया निष्कर्ष निर्णय को फिर से खोलेगा दर्ज करें।
• हर संश्लेषित आगत को उस मॉडल और मूल्यांकन से संरेखित करें जिसे यह खिलाता है, यह दस्तावेज़ करते हुए कि अलग आगत अलग साक्ष्य से कहाँ आए।

Key sources

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (eds. Higgins, Thomas et al.) — the international standard manual for systematic-review and meta-analysis methods.
• PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) — the reporting standard for systematic reviews and meta-analyses — https://www.prisma-statement.org
• GRADE Working Group — the framework for rating certainty of evidence and strength of recommendations — https://www.gradeworkinggroup.org
• NICE Decision Support Unit Technical Support Documents on evidence synthesis and network meta-analysis — methods guidance used in health technology assessment — https://www.sheffield.ac.uk/nice-dsu
• WHO Handbook for Guideline Development — how the World Health Organization uses systematic review and GRADE in global guidelines — https://www.who.int
• Cochrane and the international living-evidence collaborations — reference practice for keeping high-stakes syntheses current.

References

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org