Samantekt sönnunargagna og safngreining

Hvers vegna þetta skiptir máli í heilsuhagfræði

Sérhvert hagfræðilegt mat hvílir á inntökum sem urðu að koma frá einhvers staðar: hlutfallslegum áhrifum meðferðar, hraðanum sem sjúkdómur þróast á, lífsgæðavigt heilsuástands, líkunum á aukaverkun. Þetta eru tölurnar sem knýja stigvaxandi kostnaðarhagkvæmnihlutfall, og hvaðan þær koma ákvarðar hvort hlutfallið sé áreiðanlegt. Ákvörðunarlíkan (sjá Viðfangsefni 2.2 — Líkanagerð) er aðeins jafn gott og færibreyturnar sem því eru gefnar, og þær færibreytur eru afurð samantektar – vísvitandi sameiningar heils bókmenntasafns – ekki nokkurrar einnar rannsóknar. Þetta er viðfangsefnið sem á „hvaðan tölurnar í líkaninu koma“.

Fyrir stjórnanda eru hagsmunirnir að samantekt getur hljóðlega ákveðið fjármögnunarspurningu áður en hagfræðin er jafnvel keyrð. Ef yfirlit tínir hagstæðar rannsóknir, grefur núllniðurstöðu eða meðaltalar yfir rannsóknir sem voru aldrei sambærilegar mun áhrifamatið sem það framleiðir vera rangt í tiltekna átt, og hver útreikningur eftir á erfir þá villu með gljáa nákvæmni. Heilbrigðistæknimatsaðilar (HTA) um allan heim – National Institute for Health and Care Excellence (NICE) í Englandi, IQWiG í Þýskalandi, leiðbeiningarnefndir Alþjóðaheilbrigðismálastofnunarinnar (WHO) – byggja tillögur sínar á samantektum einmitt því ein rannsókn er of brothætt til að bera þunga landsákvörðunar.

Hagsmunirnir eru líka siðferðilegir og snúast um traust almennings. Vel framkvæmd kerfisbundin yfirlitsrannsókn er sterkasta vörn opinbers aðila gegn því að verða hertekinn af þeim sem keyrði eftirminnilegustu rannsóknina eða hrópaði hæst. Hún er gagnsæ, endurgerðanleg aðferð til að láta allan sönnunargrunninn tala, þar með talda óþægilegu hlutana. Þegar greiðandi getur sýnt að ákvörðun hans fylgdi af fyrirfram tilgreindri, altækri, gagnrýnt metinni samantekt getur hann varið þá ákvörðun gagnvart læknum, sjúklingum, iðnaði og dómstólum. Þegar hann getur það ekki virðist ákvörðunin handahófskennd – og í heilbrigðismálum naga handahófskenndar ákvarðanir um hver er meðhöndlaður traust hratt.

Lykilhugtök

Kerfisbundin yfirlitsrannsókn er skipulögð aðferð til að finna, meta og draga saman allar rannsóknir sem varða tiltekna spurningu, með forskráðri verklýsingu svo ferlið sé endurgerðanlegt og þolið gegn skekkju. Hún aðgreinist frá hefðbundnu frásagnaryfirliti með skýrri leitaráætlun sinni, tilgreindum inntöku- og útilokunarviðmiðum og gagnrýnu mati hverrar innlimaðrar rannsóknar. Skýrslugjafarstaðallinn sem flest yfirlit fylgja nú er PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), sem biður höfunda að skjalfesta hvert skref frá leit til samantektar svo lesandi geti athugað hvað var gert.

Safngreining (meta-analysis) er tölfræðilegi hluti þess ferlis: magnsameining niðurstaðna nokkurra rannsókna í eitt sameinað mat, yfirleitt á áhrifastærð eins og hlutfallslegri áhættu, líkindahlutfalli eða meðalmun. Ekki sérhver kerfisbundin yfirlitsrannsókn inniheldur safngreiningu – sameining er aðeins lögmæt þegar rannsóknirnar eru nógu líkar til að sameina – en þar sem hún á við eykur hún nákvæmni og getur leitt í ljós áhrif sem einstakar vanmáttugar rannsóknir misstu af. Hin hefðbundna leið til að sýna hana er skógarlínuritið: hver rannsókn lárétt lína sem sýnir mat hennar og öryggisbil, samanlagða niðurstaðan tígull neðst.

Tvö tölfræðileg líkön liggja að baki samanlagða matinu. Fastaáhrifalíkan gerir ráð fyrir að sérhver rannsókn sé að meta ein sönn áhrif, og að munur milli þeirra sé aðeins úrtakssuð. Slembiáhrifalíkan gerir ráð fyrir að sönnu áhrifin séu raunverulega breytileg milli rannsókna – því þýði, skammtar og umhverfi eru ólík – og metur meðaltal þeirrar dreifingar, gefur smærri rannsóknum meira vægi og víðari, heiðarlegri óvissu. Valið milli þeirra er ekki skraut: það breytir öryggisbilinu og stundum niðurstöðunni.

Ástæða þess að valið skiptir máli er misleitni (heterogeneity) – að hve miklu leyti rannsóknarniðurstöður eru ólíkar umfram það sem tilviljun skýrir. Klínísk misleitni (ólíkir sjúklingar eða meðferðir), aðferðafræðileg misleitni (ólík rannsóknarhönnun eða gæði) og tölfræðileg misleitni (dreifðar niðurstöður) ógna öll merkingu sameinaðrar tölu. Að sameina raunverulega misleit rannsóknir framleiðir meðaltal sem lýsir engu raunverulegu þýði – tölfræðilegt jafngildi manns með annan fótinn í ís og hinn í eldi sem er „að meðaltali þægilegur“. Að rannsaka misleitni, frekar en að meðaltalsleggja hana burt, er oft þar sem raunverulegur lærdómur býr.

Ekki eru öll sönnunargögn jöfn, og fagið skipuleggur þau í sönnunarstigveldi: kerfisbundin yfirlit slembiraðaðra rannsókna efst, svo einstakar slembiraðaðar samanburðarrannsóknir, svo athugunarrannsóknir, svo tilfellaraðir og sérfræðiálit. Stigveldið er þumalputtaregla um skekkjuáhættu í rannsóknarhönnun, ekki trygging – illa framkvæmd rannsókn getur verið verri en góð hóprannsókn. Nútímaleg betrumbót er GRADE (Grading of Recommendations Assessment, Development and Evaluation), sem metur vissu sönnunargagnanna fyrir hverja niðurstöðu sem háa, miðlungs, lága eða mjög lága, og getur lækkað jafnvel rannsóknarsönnunargögn vegna skekkjuáhættu, ósamkvæmni, óbeinleika, ónákvæmni og birtingarskekkju – eða hækkað sterk athugunarsönnunargögn. GRADE er nú notað af WHO, Cochrane og leiðbeiningaraðilum um allan heim einmitt því það gerir rökstuðninginn að baki vissueinkunn skýran og endurskoðanlegan.

Þar sem beinar samanburðarrannsóknir eru ekki til – B var aldrei prófað gegn C, aðeins hvort gegn lyfleysu – sameinar netsafngreining (network meta-analysis; einnig kölluð blandmeðferðar- eða óbeinsamanburðar-safngreining) bein og óbein sönnunargögn yfir tengt net meðferða til að meta alla samanburði, þar með talda þá sem aldrei voru rannsakaðir beint. Hún er ómissandi fyrir HTA, þar sem nýtt lyf verður að vera borið saman við nokkra fyrirliggjandi valkosti í einu, en hún hvílir á sterkri forsendu – að rannsóknirnar séu nógu líkar til að óbeinn samanburður sé gildur – sem verður að athuga, ekki gera ráð fyrir.

Tvær hugmyndir til viðbótar móta hvort samantekt sé trúverðug. Birtingarskekkja (publication bias) er tilhneigingin til að rannsóknir með jákvæðar, marktækar niðurstöður séu birtar og neikvæðar sitji í skúffu – svo sýnilegar bókmenntir ofmeta áhrif kerfisbundið. Henni er oft leitað að með trektarlínuriti, þar sem ósamhverfa getur bent til vantandi smárra neikvæðra rannsókna, og hún er ein ástæða þess að rýnendur leita í rannsóknarskrám og grárri heimildum (grey literature) – ritgerðum, skýrslum, óbirtum gögnum – ekki bara tímaritum. Að lokum, þar sem sönnunargögn halda áfram að berast, er vaxandi starfsvenja lifandi yfirlit: samantekt sem er haldið stöðugt uppfærðri eftir því sem nýjar rannsóknir birtast, svo leiðbeiningar rekast aldrei árum á eftir vísindunum. Cochrane-samstarfið (Cochrane) er enn alþjóðlegi viðmiðunarpunkturinn fyrir aðferðir kerfisbundinna yfirlita, og handbók þess er hefðbundin handbók fagsins.

Bestu starfsvenjur

1. Skrifaðu og skráðu verklýsinguna áður en þú leitar. Trúverðugleiki kerfisbundins yfirlits kemur frá því að ákveða spurninguna, inntökuviðmiðin, niðurstöðurnar og greiningaráætlunina áður en niðurstöður eru séðar, og skrá svo þá verklýsingu opinberlega (til dæmis í PROSPERO). Þetta er sterkasta einstaka vörnin gegn því að rýnandinn móti yfirlitið ómeðvitað að æskilegu svari. Þegar þú pantar samantekt skaltu krefjast skráðrar verklýsingar og líta á fjarveru hennar sem viðvörun um að niðurstöðurnar kunni að hafa verið valdar fyrst.

2. Leitaðu víðtækt, þar með talið í rannsóknunum sem enginn birti. Leit takmörkuð við nokkra gagnagrunna og enskumælandi tímarit mun missa af rannsóknum og hallast að jákvæðum niðurstöðum. Altæk samantekt leitar í mörgum gagnagrunnum, rannsóknarskrám, ráðstefnuútdráttum, eftirlitsskjölum og grárri heimildum, og eltir óbirt gögn frá rannsakendum og framleiðendum. Atriðið er ekki tæmandi leit í sjálfri sér heldur að gera birtingarskekkju óskaðlega við upptökin – rannsóknirnar sem vantar eru óhóflega oft þær neikvæðu.

3. Metðu skekkjuáhættu í sérhverri innlimaðri rannsókn, og láttu hana breyta vægi niðurstöðunnar. Innlimun er ekki stuðningur; hver rannsókn verður að vera metin fyrir sértækar leiðir sem hún gæti villt um fyrir: ófullnægjandi slembiröðun, ógrímuklætt mat á niðurstöðu, sértæka skýrslugjöf, brottfall. Samantekt sem sameinar sterkar og veikar rannsóknir með jöfnu vægi þvær skekkju hinna veiku inn í opinberlega útlítandi meðaltal. Notaðu viðurkennt matstæki, greindu frá dómum gagnsætt og keyrðu greininguna með áhættumiklum rannsóknum útilokuðum til að sjá hvort niðurstaðan heldur.

4. Ákveddu hvort sameining sé yfirleitt lögmæt áður en þú reiknar sameinaða tölu. Safngreining er aðeins marktæk þegar rannsóknirnar eru nógu líkar í þýði, inngripi, samanburði og niðurstöðu til að meta sambærileg áhrif. Ef þær eru það ekki er heiðarlega úttakið skipulögð frásagnarsamantekt, ekki fölsk ein tala. Spyrðu „svara þessar rannsóknir sömu spurningunni?“ áður en þú spyrð „hvert er sameinaða matið?“ – nákvæmt meðaltal ósambærilegra hluta er verra en ekkert meðaltal.

5. Veldu fastaáhrifa- eða slembiáhrifalíkan af ásetningi, og réttlættu það. Slembiáhrifalíkan er yfirleitt heiðarlegra sjálfgefið í heilbrigðismálum, þar sem rannsóknir eru raunverulega ólíkar, því það framleiðir víðari bil sem endurspegla raunheimabreytileika. En það gefur smáum rannsóknum óhóflegt vægi, svo þar sem birtingarskekkja er grunuð getur það magnað einmitt þá skekkju sem þú óttast. Segðu hvaða líkan þú notaðir og hvers vegna, og sýndu hvernig sameinaða matið hreyfist undir hinu; niðurstaða sem snýst milli þeirra er ekki traust.

6. Rannsakaðu misleitni frekar en að meðaltalsleggja hana burt. Þegar rannsóknarniðurstöður víkja meira en tilviljun skýrir er sá munur upplýsing – hann getur merkt að meðferð virkar í einum undirhópi og ekki öðrum, eða að gæði knýja sýnileg áhrif. Kannaðu hann með fyrirfram tilgreindum undirhópagreiningum og meta-aðhvarfi, en meðhöndlaðu eftirá undirhópa með efasemdum, því þeir eru auðfundnir og erfiðir að treysta. Sameinað mat sett fram án nokkurrar athugunar á hvers vegna rannsóknir eru ósammála er að fela gagnlegasta hluta gagnanna.

7. Skimaðu skýrt fyrir birtingar- og skýrslugjafarskekkju. Berðu birtar bókmenntir saman við rannsóknarskrár til að finna rannsóknir sem voru framkvæmdar en aldrei greint frá, skoðaðu ósamhverfu trektarlínurits þar sem nógu margar rannsóknir eru til og íhugaðu hvort áhrifin skreppi saman með vaxandi rannsóknarstærð. Ekkert þessara prófa er afgerandi, en fjarvera þeirra ætti að draga úr trausti þínu á snyrtilegri jákvæðri niðurstöðu. Átt birtingarskekkju er nánast alltaf sú sama – hún blæs upp sýnilegan ávinning – svo óskimað samantekt ætti að lesa sem efri mörk.

8. Notaðu netsafngreiningu þegar ákvörðunin hefur marga samanburði, og athugaðu kjarnaforsendu hennar. Raunverulegar fjármögnunarákvarðanir stilla sjaldan einu lyfi gegn lyfleysu; þær velja milli nokkurra virkra valkosta, flestra sem aldrei voru prófaðir beint hver gegn öðrum. Netsafngreining fyllir þessi bil, en aðeins ef rannsóknirnar eru nógu líkar til óbeins samanburðar – „yfirfærsluforsendan“ (transitivity) – og ef bein og óbein sönnunargögn eru sammála þar sem bæði eru til. Krefstu þess að greinandinn sýni netið, prófi samkvæmni og sé hreinskilinn um samanburði sem hvíla á þunnum óbeinum keðjum.

9. Gefðu vissu sönnunargagnanna einkunn, ekki bara stærð áhrifanna. Mikil áhrif úr lágvissu sönnunargögnum eru veikari grunnur til að eyða opinberu fé en hófleg áhrif úr hávissu sönnunargögnum. GRADE aðgreinir þessar spurningar með því að meta vissu fyrir hverja niðurstöðu og skjalfesta hvers vegna hún var lækkuð eða hækkuð, og breytir „sönnunargögnin eru sterk“ úr fullyrðingu í endurskoðaðan dóm. Krefstu þess að samantekt sem nærir ákvörðun beri skýra vissueinkunn fyrir hverja niðurstöðu sem skiptir máli, ekki einn heildardóm.

10. Greindu frá samantektinni þannig að efasemdarmaður gæti endurgert hana. Fylgdu viðurkenndum skýrslugjafarstaðli eins og PRISMA: gefðu fulla leitaráætlun, flæði rannsókna frá greindum til innlimaðra, útilokaðar rannsóknir með ástæðum, skekkjuáhættudóma og gögnin að baki sérhverju sameinuðu mati. Gagnsæi er vélbúnaðurinn sem villur og sértæk val eru gripin með áður en þau hreyfa fjárlög. Samantekt þar sem ekki er hægt að endurkeyra leitina eða útilokanir eru óútskýrðar ætti ekki að festa ákvörðun, hversu sjálfsörugg sem útdrættir hennar eru.

11. Haltu samantektum með mikla hagsmuni lifandi þar sem sönnunargögn hreyfast hratt. Á sviði í hraðri breytingu – nýr lyfjaflokkur, ný sýkill, hraðrannsökuð tækni – er yfirlit úrelt um leið og það er birt, og gömul sönnunargögn beina fé og umönnun hljóðlega afvega. Lifandi yfirlit uppfærist stöðugt gegn nýjum rannsóknum, með fyrirfram samþykktum reglum um hvenær ný rannsókn breytir niðurstöðunni. Áskildu fyrirhöfnina fyrir ákvarðanir nógu stórar og sveiflukenndar til að réttlæta hana, og vertu skýr um gildisdagsetningu sérhverrar samantektar sem þú reiðir þig á.

12. Samræmdu samantektina við færibreytuna sem líkanið þarf í raun. Ákvörðunarlíkan þarf sértæk inntök – hlutfallsleg áhrif fyrir grunntilfellið, grunnáhættu fyrir staðbundna þýðið, nytjavigt – og hvert gæti þurft eigin samantekt með eigin inntökuviðmiðum. Að draga hlutfallsleg áhrif úr slembiröðuðum rannsóknum en grunnáhættu úr staðbundinni skrá er lögmætt og algengt; að fela að þetta tvennt kom úr ólíkum sönnunargrunnum er það ekki. Samræmdu hvert samantekið inntak við hvernig það verður notað síðar, og vísaðu í matið sem það nærir (sjá Viðfangsefni 2.1 — Hagfræðilegt mat).

Spurningar til að ræða með teyminu

1. Þegar við samþykkjum áhrifamat sem útkljáð, vitum við hvort það kom úr öllum bókmenntunum eða aðeins sýnilega, smjaðrandi hlutanum? Þessi spurning beinist að birtingarskekkju og sértækri skýrslugjöf, bresti sem gera samantekt ranga í fyrirsjáanlega átt. Óþægilegi veruleikinn er að jákvæðar rannsóknir eru birtar hraðar, oftar og áberandi en neikvæðar, svo yfirlit bundið við tímarit mun hneigjast til að ofmeta ávinning jafnvel þegar sérhver innlimuð rannsókn er heiðarleg. Þrýstu umræðunni að áþreifanlegum uppruna: voru rannsóknarskrár skoðaðar fyrir rannsóknir sem voru framkvæmdar en aldrei greint frá, var óbirtra gagna leitað frá framleiðendum, var trektarlínurit eða sambærileg athugun gerð? Spennan er að altæk leit er dýr og hæg, og alltaf er þrýstingur að samþykkja hreint birt mat og halda áfram. Heiðarlegt svar fullyrðir ekki að leitin hafi verið fullkomin; það segir hversu mikið yfirlitið leitaði að vantandi rannsóknum og meðhöndlar óskimaða jákvæða niðurstöðu sem líkleg efri mörk frekar en sannleikann.

2. Eru rannsóknirnar sem við sameinum í raun að svara sömu spurningunni, eða höfum við framleitt snyrtilegt meðaltal úr hlutum sem eiga ekki saman? Þetta er misleitnispurningin, og hún ákveður hvort sameinuð tala merkir yfirleitt nokkuð. Sjónarhornin sem vert er að draga fram eru klínísk (ólíkir sjúklingar, skammtar eða samanburðir), aðferðafræðileg (rannsóknir blandaðar við veikar athugunarrannsóknir) og tölfræðileg (niðurstöður sem eru ósammála umfram tilviljun). Lokkandi bilunin er að hugbúnaður mun alltaf skila sameinuðu mati með sjálfsöruggu útlítandi öryggisbili, hvort sem undirliggjandi rannsóknir eru sambærilegar eða ekki – nákvæmni tölunnar segir ekkert um gildi hennar. Ræðið hvort yfirlitið rannsakaði hvers vegna rannsóknir voru ósammála eða meðaltalsleggði þær einfaldlega, og hvort undirhópamunur var fyrirfram tilgreindur eða veiddur eftirá. Heiðarlegt svar er fúst að álykta að sameining hafi verið óviðeigandi og að skipulögð frásagnarsamantekt hefði verið sannari afurð.

3. Hversu núgildandi eru þessi sönnunargögn, og hvað þyrfti ný rannsókn að sýna til að breyta ákvörðun okkar? Samantektir hafa geymsluþol, og hættan er að bregðast við yfirliti þar sem leit lauk fyrir árum á meðan sviðið færðist áfram. Nefndu gildisdagsetninguna skýrt og spyrðu hvað hefur verið birt síðan, einkum fyrir ört hreyfanlega tækni þar sem ein stór rannsókn getur steypt sameinuðu mati. Dýpri agi er að ákveða, fyrirfram, hvaða niðurstaða myndi breyta skoðun þinni – viðmið sem breytir „höldum áfram að fylgjast með bókmenntunum“ úr óljósum ásetningi í rekstrarlegt útleysi fyrir lifandi uppfærslu. Spennan er milli kostnaðar við að halda samantekt lifandi og kostnaðar við ákvörðun sem hljóðlega keyrir á gömlum sönnunargögnum; ekki sérhver spurning réttlætir lifandi yfirlit, en sérhver mikilvæg og sveiflukennd gerir það. Heiðarlegt svar segir gildisdagsetninguna, nefnir hvað myndi snúa niðurstöðunni við og úthlutar ábyrgð á að taka eftir þegar það kemur.

4. Var spurningin, og greiningin sem myndi svara henni, fest áður en nokkur sá niðurstöðurnar – eða gat yfirlitið hafa verið mótað að æskilegri niðurstöðu? Þetta beinist að sterkustu einstöku vörn allrar fræðigreinarinnar: verklýsing skráð fyrirfram, með inntökuviðmiðum, niðurstöðum og sameiningaráætlun ákveðnum áður en gögnin gátu haft áhrif á þau. Bilunin sem hún ver gegn er lúmsk því hún er sjaldan vísvitandi – rýnandi sem sér niðurstöðurnar fyrst getur, í góðri trú, aðlagað inntökumörk, hækkað aukaniðurstöðu eða skipt um líkanaval á þann hátt sem allt hentar tilteknu svari. Spyrðu hvort verklýsing sé til í opinberri skrá eins og PROSPERO, hvort lokayfirlitið passi við hana og hvort frávik voru yfirlýst og réttlætt frekar en hljóðlega gerð. Spennan er að forskráning er óþægileg – hún bannar „við lærðum jafnóðum“ sveigjanleikann sem finnst eins og góð vísindi – og fjarvera hennar er auðveld að afsaka. Heiðarlegt svar getur bent á skráðu verklýsinguna, farið yfir hvar yfirlitið vék frá henni og hvers vegna, og meðhöndlað óskráða samantekt sem eina þar sem niðurstöður kunna að hafa verið valdar áður en sönnunargögnin voru komin.

5. Þegar ákvörðunin spannar nokkrar meðferðir sem aldrei voru prófaðar hver gegn annarri, treystum við óbeina samanburðinum sem saumar þær saman? Raunverulegar fjármögnunarval stilla venjulega nokkrum virkum valkostum hverjum gegn öðrum, flestum aldrei prófuðum beint, svo samantektin hallar sér að netsafngreiningu sem fær styrk að láni gegnum sameiginlega samanburði. Sjónarhornin sem vert er að draga fram eru hvort greinandinn sýndi í raun net rannsóknanna, hvort „yfirfærsluforsendan“ gildir – að rannsóknarþýðin og bakgrunnsumönnun séu nógu lík til að óbeinn samanburður merki nokkuð – og hvort bein og óbein sönnunargögn eru sammála þar sem bæði eru til. Lokkandi bilunin er að hugbúnaðurinn mun skila fullu mengi tvenndarmata hversu þunnar eða ósambærilegar sem undirliggjandi keðjur eru, og lánar brothættri óbeinni niðurstöðu sama vald og traustri beinni. Ræðið hvaða andstæður hvíla á einum veikum óbeinum hlekk og hvort það eru einmitt samanburðirnir sem knýja tillöguna. Heiðarlegt svar aðgreinir vel tengdu, samkvæmniprófuðu samanburðina frá þunnum, og ber hina síðarnefndu sem lága vissu frekar en að grafa þá í snyrtilegri deildatöflu.

6. Erum við að meðhöndla mikil áhrif og viss áhrif sem hið sama, þegar þau eru það ekki? Þetta aðgreinir stærð mats frá traustinu sem við eigum rétt á að hafa á því – aðgreininguna sem GRADE er til að gera skýra. Spennan er að stórt punktmat er sannfærandi og auðvelt að eyða fé í, á meðan vissan að baki gæti verið lág því sönnunargögnin eru ósamkvæm, ónákvæm, óbein eða í skugga birtingarskekkju. Spyrðu hvort hver niðurstaða sem skiptir máli beri eigin vissueinkunn, hvers vegna hún var lækkuð eða hækkuð og hvort tillagan er knúin af áhrifastærðinni eða af heiðarlegum lestri á hversu mikið sönnunargögnin geta borið. Óþægilega tilfellið er hóflegur en hávissur ávinningur sem keppir við dramatískan en lágvissan: agi er að velja sönnunargögnin sem þú getur treyst fram yfir töluna sem smjaðrar. Heiðarlegt svar neitar að þjappa „stórt“ og „víst“ í einn dóm, og lætur vissueinkunnina, ekki bara punktmatið, stýra því hversu mikið vægi ákvörðunin leggur á niðurstöðuna.

Í reynd: dæmi úr heilsuhagfræði

Landsnefnd um lyf og heilbrigðistækni í Maridíu – skálduðu lág-meðaltekjuríki sem er að byggja upp lista yfir nauðsynleg lyf – verður að ákveða hvaða flokk blóðþrýstingslækkandi lyfja skal mæla með sem fyrsta val við ókomplíseraðan háþrýsting í frumheilsugæslu. Fjórir flokkar eru kandídatar, allir án einkaleyfis og viðráðanlegir, en klíníska spurningin er hver kemur í veg fyrir flest heilablóðföll og hjartaáföll á hvern meðhöndlaðan sjúkling. Nefndin getur ekki keyrt eigin rannsóknir; hún verður að taka saman það sem heimurinn veit nú þegar, og afhenda svo hlutfallslegt áhrifamat til hagfræðiteymis síns til að sameina við staðbundinn kostnað og tíðni atburða.

Sönnunargagnaeining nefndarinnar byrjar á skráðri verklýsingu: spurningunni, flokkunum fjórum sem samanburði, niðurstöðunum (hjarta- og æðaatburðir og heildardánartíðni), inntökuviðmiðunum og greiningaráætluninni, öllu föstu áður en leitað er. Leitin nær yfir nokkra gagnagrunna, tvær rannsóknarskrár og svæðisbundnar bókmenntir WHO sem skrá rannsóknir úr umhverfi eins og Maridíu sjálfrar, því að treysta aðeins á tímarit hátekjuríkja myndi flytja inn þýði sem passar kannski ekki. Flæðið er skjalfest að hætti PRISMA: nokkur þúsund færslur greindar, flestar útilokaðar á titli, fáeinir tugir slembiraðaðra rannsókna innlimaðir, hver metin fyrir skekkjuáhættu. Þrjár stórar rannsóknir fjármagnaðar af iðnaðinum reynast hafa greint sértækt frá; einingin merkir þær og áætlar næmigreiningu án þeirra.

Kjarnaerfiðleikarnir eru að nánast engar rannsóknir báru flokkana fjóra saman beint – flestar prófuðu eitt lyf gegn lyfleysu eða gegn einum valkosti. Einföld tvenndarsafngreining getur aðeins svarað broti af samanburðunum sem nefndin stendur frammi fyrir í raun. Einingin byggir því netsafngreiningu, tengir flokkana gegnum sameiginlega samanburði þeirra, og metur allar sex tvenndarandstæðurnar í einu. Áður en henni er treyst athuga þau yfirfærslu netsins – eru rannsóknarþýðin og bakgrunnsumönnun nógu lík til óbeins samanburðar? – og prófa hvort bein og óbein sönnunargögn eru sammála þar sem bæði eru til. Þau eru það, að mestu; ein andstæða hvílir á þunnri óbeinni keðju, sem einingin merkir sem lága vissu.

Misleitni er raunveruleg og upplýsandi. Rannsóknir í eldri, áhættumeiri þýðum sýna meiri algeran ávinning en rannsóknir í yngri hópum, sem skiptir máli því meðhöndlaða þýði Maridíu mun hneigjast yngra en rannsóknarmeðaltalið. Frekar en að sameina blint keyrir einingin fyrirfram tilgreindar undirhópa- og meta-aðhvarfsgreiningar og greinir frá áhrifunum skilyrtum á grunnáhættu. Trektarlínurit á stærsta samanburðinum sýnir væga ósamhverfu, í samræmi við nokkrar vantandi smáar neikvæðar rannsóknir; ásamt rannsóknunum með sértæka skýrslugjöf leiðir þetta til þess að þau meðhöndla forskot hagstæðasta flokksins varlega. Undir slembiáhrifalíkani er munur þriggja af flokkunum fjórum lítill og öryggisbil þeirra skarast mikið.

Einingin gefur hverri niðurstöðu GRADE-einkunn. Sönnunargögnin um að allir flokkarnir fjórir slái enga meðferð eru hávissa; sönnunargögnin um að nokkur einn flokkur sé greinilega betri en hinir eru aðeins lág-til-miðlungs, lækkuð vegna ósamkvæmni, ónákvæmni og gruns um birtingarskekkju. Sá munur er ákvörðunin. Nefndin ályktar að þar sem flokkarnir eru klínískt nálægir og allir ódýrir skuli hagfræðin knúin af verði, þoli og afhendingaröryggi frekar en af brothættri fullyrðingu um klíníska yfirburði – niðurstaða sem varð aðeins sýnileg því samantektin aðgreindi áhrifastærð frá vissu. Hún afhendir hagfræðiteyminu hlutfallslegt áhrifamat með skýrri óvissu, til að breyta í kostnað á hvern afstýrðan atburð (sjá Viðfangsefni 2.1 — Hagfræðilegt mat), og pantar lifandi uppfærslu: ef stór raunhæf rannsókn, væntanleg eftir tvö ár, færir tilgreinda andstæðu út fyrir fyrirfram samþykkt mörk er tillagan opnuð að nýju. Orsakarökstuðningur einnar rannsóknar innan hverrar rannsóknar – hvort eigið áhrifamat hennar er áreiðanlegt – tilheyrir Viðfangsefni 2.3 — Hagmælingar í heilsu; verk þessarar nefndar var að sameina þær vel.

Fjögur geirasjónarhorn

Sprotafyrirtæki

Stafrænt heilbrigðis- eða tækjasprotafyrirtæki pantar sjaldan fulla kerfisbundna yfirlitsrannsókn, en mætir samantekt frá hinni hliðinni – sem aðilinn þar sem eina efnilega rannsókn þess verður að lifa af samantekt HTA-aðila á víðara sviði. Freistingin er að styðjast við eina smjaðrandi rannsókn og frásagnaryfirlit handvalinna stuðningsgreina, sem alvarlegur matsmaður sér í gegnum strax. Vitrari hreyfingin er að kortleggja fyrirliggjandi sönnunargrunn heiðarlega og snemma, svo sprotafyrirtækið viti hvar varan situr í stigveldinu og hvaða samanburð greiðandi mun krefjast. Lítið fyrirtæki sem setur sönnunargögn sín fram í samhengi sanngjarnrar samantektar, og er hreinskilið um vissu eigin gagna, vinnur sér meiri trúverðugleika en það sem ofselur einangraða niðurstöðu.

Lítil fyrirtæki

Lítill en rótgróinn veitandi – hópstofa, ein sérgreinastofa, hógvært tækja- eða greiningarbirgi – hefur hvorki magn sprotafyrirtækis með fjárfestastudd sönnunarátak né samantektarteymi stórfyrirtækis, en hann þarf samt að lesa samantektir nógu vel til að taka stöðugar ákvarðanir. Raunhæft verk hans er neysla, ekki framleiðsla: að lesa vissueinkunn leiðbeininga, athuga hvort þýði yfirlits líkist sjúklingunum sem hann meðhöndlar í raun og taka eftir þegar sönnunargögnin að baki innkaupa- eða tilvísunarvana hafa hljóðlega úrelst. Gildran er að fela sig alfarið undir sönnunargagnapakka birgis sem er handvalinn eða einni eftirminnilegri rannsókn, því stofan hefur ekki tíma til að meta víðara sviðið. Meðalhófshreyfingin er að styðjast við samantektirnar sem traustir aðilar – Cochrane, landsbundnar HTA-stofnanir, leiðbeiningar fagfélaga – halda nú þegar við, líta á GRADE-vissueinkunnir þeirra sem fyrirsögnina og spyrja einnar agaðrar spurningar um hverja fullyrðingu birgis: hvar situr þetta gegn kerfisbundna yfirlitinu, og hversu núgildandi er það?

Stórfyrirtæki

Stór framleiðandi, veitendasamsteypa eða tryggingafélag rekur samantekt sem iðnaðargetu: sérhæfð sönnunargagnasamantektar- og heilsuhagfræði-og-árangursrannsóknarteymi sem framleiða kerfisbundin yfirlit og netsafngreiningar til að styðja umsóknir yfir mörg lögsagnarumdæmi. Styrkurinn er aðferðafræðileg dýpt og geta til að byggja netsafngreiningu sem spannar sérhvern viðeigandi samanburð; áhættan er að sama getan getur verið beint að því að framleiða yfirlit hannað til að hygla vöru styrktaraðilans – gegnum þrönga leit, þægilegt líkanaval eða hljóðlátar útilokanir. Trúverðugleiki stórfyrirtækis veltur á að skrá verklýsingar, fylgja PRISMA, leggja fram endurgerðanlegar greiningar og bjóða óháða endurgerð sem HTA-aðilar krefjast í auknum mæli. Þroskað stórfyrirtæki lítur á gagnsæja samantekt sem sýnir raunverulega óvissu sem endingarbetri en fágaða sem rýnandi getur rifið niður.

Hið opinbera

Ráðuneyti, landsbundinn greiðandi eða HTA-aðili er aðalneytandi og dómari samantekta, og agi þess er að krefjast þeirra og framkvæma þær samkvæmt birtum staðli. Aðilar eins og NICE, IQWiG og leiðbeiningarnefndir WHO byggja tillögur á kerfisbundnum yfirlitum og meta vissu sönnunargagna með GRADE einmitt svo ákvarðanir séu verjanlegar og endurgerðanlegar frekar en hertekin af sannfærandi umsókninni. Ríkisvald ber líka ábyrgð sem aðrir geirar bera ekki: að viðhalda innviðunum – rannsóknarskrám, yfirlitasamstarfi, aðferðaleiðbeiningum – sem gera heiðarlega samantekt mögulega, og að halda mikilvægum yfirlitum lifandi svo landsleiðbeiningar rekist ekki á eftir vísindunum. Ábyrgðarskyldan fyrir því sem samantekt skilur eftir úti, og fyrir sjúklingunum sem verða fyrir áhrifum af röngu sameinuðu mati, hvílir að lokum hér.

Algeng mistök

• Frásagnaryfirlit klætt sem sönnunargögn. Handvalinn, ókerfisbundinn lestur bókmennta settur fram með valdi samantektar. Lagfæring: krefstu skráðrar verklýsingar, skýrrar leitaráætlunar og PRISMA-skýrslugjafar áður en nokkru „yfirliti“ er treyst.

• Að sameina ósambærilegar rannsóknir. Að reikna nákvæmt meðaltal yfir rannsóknir með ólík þýði, skammta eða hönnun, sem framleiðir tölu sem lýsir engum raunverulegum sjúklingi. Lagfæring: metðu klíníska og aðferðafræðilega misleitni fyrst, og notaðu skipulagða frásagnarsamantekt þegar sameining er ekki réttlætanleg.

• Að hunsa rannsóknirnar sem aldrei voru birtar. Að leita aðeins í nokkrum gagnagrunnum og aðeins í tímaritum, svo vantandi neikvæðar rannsóknir blása upp áhrifin. Lagfæring: leitaðu í skrám, hjá eftirlitsaðilum og í grárri heimildum, eltu óbirt gögn og skimaðu skýrt fyrir birtingarskekkju.

• Að meðaltalsleggja misleitni burt. Að greina frá einu sameinuðu mati á meðan sú staðreynd að rannsóknir eru mjög ósammála er bæld. Lagfæring: rannsakaðu mismun með fyrirfram tilgreindri undirhópagreiningu og meta-aðhvarfi, og greindu frá breytileikanum, ekki bara meðaltalinu.

• Að meðhöndla innlimun sem stuðning. Að vega veikar og sterkar rannsóknir jafnt, og þvo skekkju inn í opinberlega útlítandi meðaltal. Lagfæring: metðu skekkjuáhættu í hverri rannsókn og keyrðu greininguna með áhættumiklum útilokuðum.

• Að rugla áhrifastærð saman við vissu. Að bregðast við miklum áhrifum úr lágvissum sönnunargögnum eins og þau væru útkljáð. Lagfæring: metðu vissu fyrir hverja niðurstöðu með GRADE og láttu hana, ekki bara punktmatið, stýra ákvörðuninni.

• Óathugaður óbeinn samanburður. Að byggja netsafngreiningu án þess að prófa yfirfærslu eða samkvæmni, svo óbein niðurstaða hvílir á ósambærilegum rannsóknum. Lagfæring: sýndu netið, prófaðu forsendurnar og merktu þunnar óbeinar keðjur sem lága vissu.

• Gömul samantekt. Að festa ákvörðun við yfirlit þar sem leit lauk fyrir árum á sviði sem hefur færst áfram. Lagfæring: segðu gildisdagsetninguna, athugaðu hvað hefur komið fram síðan og haltu sveiflukenndum yfirlitum með miklum hagsmunum lifandi.

Þroskalíkan

Gátlisti

• Staðfestu að verklýsing hafi verið skráð fyrir leitina, með fyrirfram tilgreindri spurningu, niðurstöðum og greiningaráætlun.
• Athugaðu að leitin hafi náð yfir marga gagnagrunna, rannsóknarskrár og gráa heimild – ekki tímarit ein.
• Sannreyndu að sérhver innlimuð rannsókn hafi verið metin fyrir skekkjuáhættu, og að áhættumiklar rannsóknir hafi verið prófaðar í næmigreiningu.
• Staðfestu að rannsóknirnar séu nógu líkar til að sameina; ef ekki, búist við skipulagðri frásagnarsamantekt frekar en einni tölu.
• Taktu eftir hvort fastaáhrifa- eða slembiáhrifalíkan var notað og hvers vegna, og hvort niðurstaðan lifir hitt.
• Spyrðu hvernig misleitni var rannsökuð, og hvort undirhópagreiningar voru fyrirfram tilgreindar eða eftirá.
• Leitaðu að skýrri birtingarskekkjuathugun (skráasamanburður, trektarlínurit) og lestu jákvæða niðurstöðu sem efri mörk.
• Fyrir ákvarðanir með marga samanburði, staðfestu að sérhver netsafngreining hafi sýnt netið sitt og prófað yfirfærslu og samkvæmni.
• Krefstu GRADE- (eða jafngildrar) vissueinkunnar fyrir hverja niðurstöðu sem skiptir máli, aðskilda frá áhrifastærð.
• Staðfestu að samantektin sé endurgerðanlega sett fram (PRISMA), með leitina, útilokanir og sameinuð gögn tiltæk.
• Skráðu gildisdagsetninguna og hvaða nýja niðurstaða myndi opna ákvörðunina að nýju.
• Samræmdu hvert samantekið inntak við líkanið og matið sem það nærir, og skjalfestu hvar ólík inntök komu úr ólíkum sönnunargrunnum.

Helstu heimildir

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (ritstj. Higgins, Thomas o.fl.) — alþjóðlega hefðbundna handbókin um aðferðir kerfisbundinna yfirlita og safngreiningar.
• PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) — skýrslugjafarstaðallinn fyrir kerfisbundin yfirlit og safngreiningar — https://www.prisma-statement.org
• GRADE Working Group — ramminn til að meta vissu sönnunargagna og styrk tillagna — https://www.gradeworkinggroup.org
• NICE Decision Support Unit Technical Support Documents um samantekt sönnunargagna og netsafngreiningu — aðferðaleiðbeiningar notaðar í heilbrigðistæknimati — https://www.sheffield.ac.uk/nice-dsu
• WHO Handbook for Guideline Development — hvernig Alþjóðaheilbrigðismálastofnunin notar kerfisbundin yfirlit og GRADE í hnattrænum leiðbeiningum — https://www.who.int
• Cochrane og alþjóðleg lifandi-sönnunargagna samstörf — viðmiðunarstarfsvenja til að halda mikilvægum samantektum núgildandi.

Tilvísanir

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org