Syntheseiddio Tystiolaeth a Metaddadansoddi

Pam mae hyn yn bwysig mewn economeg iechyd

Mae pob gwerthusiad economaidd yn gorffwys ar fewnbynnau a oedd yn gorfod dod o rywle: effaith gymharol triniaeth, y gyfradd y mae clefyd yn datblygu, pwysau ansawdd bywyd cyflwr iechyd, y siawns o ddigwyddiad niweidiol. Dyma'r rhifau sy'n gyrru cymhareb costeffeithiolrwydd gynyddrannol, ac mae lle y deuant ohono'n penderfynu a yw'r gymhareb yn ddibynadwy. Mae model penderfyniadau (gweler Pwnc 2.2 — Modelu) ond cystal â'r paramedrau a fwydir iddo, a'r paramedrau hynny yw cynnyrch synthesis — cronni bwriadol llenyddiaeth gyfan — nid unrhyw un treial. Dyma'r pwnc sy'n berchen ar "o ble y daw'r rhifau yn y model".

I gyfarwyddwr, y polion yw y gall synthesis benderfynu cwestiwn ariannu yn dawel cyn i'r economeg gael ei rhedeg hyd yn oed. Os yw adolygiad yn dewis treialon ffafriol yn ddethol, yn claddu canlyniad nwl, neu'n cyfartaleddu ar draws astudiaethau na fu erioed yn gymharadwy, bydd yr amcangyfrif effaith a gynhyrchir yn anghywir i gyfeiriad penodol, a bydd pob cyfrifiad i lawr yr afon yn etifeddu'r gwall hwnnw â haen o drylwyredd. Mae cyrff asesu technoleg iechyd (HTA) ledled y byd — Sefydliad Cenedlaethol dros Ragoriaeth mewn Iechyd a Gofal (NICE) Lloegr, IQWiG yr Almaen, paneli canllawiau Sefydliad Iechyd y Byd (WHO) — yn adeiladu eu hargymhellion ar syntheseisiau yn union oherwydd bod un astudiaeth yn rhy fregus i gario pwysau penderfyniad cenedlaethol.

Mae'r polion hefyd yn foesegol ac yn ymwneud ag ymddiriedaeth gyhoeddus. Adolygiad systematig a gynhaliwyd yn dda yw'r amddiffyniad cryfaf sydd gan gorff cyhoeddus rhag cael ei ddal gan bwy bynnag a redodd y treial mwyaf cofiadwy neu a waeddodd uchaf. Mae'n ddull tryloyw, atgynhyrchadwy o adael i'r sail dystiolaeth gyfan siarad, gan gynnwys y rhannau anghyfleus. Pan all talwr ddangos bod ei benderfyniad wedi dilyn o synthesis cynhwysfawr, wedi'i bennu ymlaen llaw ac wedi'i arfarnu'n feirniadol, gall amddiffyn y penderfyniad hwnnw i glinigwyr, cleifion, diwydiant a llysoedd. Pan na all, mae'r penderfyniad yn edrych yn fympwyol — ac mewn iechyd, mae penderfyniadau mympwyol ynghylch pwy sy'n cael ei drin yn cyrydu ymddiriedaeth yn gyflym.

Cysyniadau craidd

Dull strwythuredig yw adolygiad systematig o leoli, arfarnu a chrynhoi'r holl astudiaethau sy'n berthnasol i gwestiwn penodol, gan ddefnyddio protocol a gofrestrwyd ymlaen llaw fel bod y broses yn atgynhyrchadwy ac yn gwrthsefyll gogwydd. Fe'i gwahaniaethir oddi wrth adolygiad naratif traddodiadol gan ei strategaeth chwilio benodol, ei feini prawf cynnwys a gwahardd a nodwyd, a'i arfarnu beirniadol o bob astudiaeth a gynhwyswyd. Y safon adrodd y mae'r rhan fwyaf o adolygiadau bellach yn ei dilyn yw PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), sy'n gofyn i awduron ddogfennu pob cam o'r chwiliad i'r synthesis fel y gall darllenydd wirio'r hyn a wnaed.

Metaddadansoddi yw rhan ystadegol y broses honno: cronni meintiol canlyniadau o sawl astudiaeth yn un amcangyfrif cyfun, fel arfer o faint effaith megis risg gymharol, cymhareb odds, neu wahaniaeth cymedrig. Nid yw pob adolygiad systematig yn cynnwys metaddadansoddiad — dim ond pan fo'r astudiaethau'n ddigon tebyg i'w cyfuno y mae cronni'n gyfreithlon — ond lle mae'n briodol, mae'n cynyddu manylder a gall ddatgelu effaith a fethodd astudiaethau unigol heb ddigon o bŵer. Y ffordd ganonaidd o'i arddangos yw'r plot coedwig: pob astudiaeth yn llinell lorweddol sy'n dangos ei hamcangyfrif a'i hysbaid hyder, y canlyniad cronedig yn ddiemwnt ar y gwaelod.

Mae dau fodel ystadegol y tu ôl i'r amcangyfrif cronedig. Mae model effaith sefydlog yn tybio bod pob astudiaeth yn amcangyfrif un gwir effaith, a bod gwahaniaethau rhyngddynt yn sŵn samplu'n unig. Mae model effeithiau ar hap yn tybio bod y gwir effaith yn amrywio'n wirioneddol ar draws astudiaethau — oherwydd bod poblogaethau, dosau a lleoliadau'n wahanol — ac yn amcangyfrif cyfartaledd y dosraniad hwnnw, gan roi mwy o bwys i astudiaethau llai ac ansicrwydd ehangach, mwy gonest. Nid yw'r dewis rhyngddynt yn gosmetig: mae'n newid yr ysbaid hyder ac weithiau'r casgliad.

Y rheswm bod y dewis yn bwysig yw heterogenedd — i ba raddau y mae canlyniadau astudiaethau'n wahanol i fwy nag y byddai siawns yn ei egluro. Mae heterogenedd clinigol (cleifion neu driniaethau gwahanol), heterogenedd methodolegol (dyluniadau neu ansawdd astudiaeth gwahanol), a heterogenedd ystadegol (canlyniadau gwasgaredig) i gyd yn bygwth ystyr rhif cronedig. Mae cyfuno astudiaethau gwirioneddol heterogenaidd yn cynhyrchu cyfartaledd nad yw'n disgrifio unrhyw boblogaeth go iawn — cywerth ystadegol person ag un droed mewn iâ ac un mewn tân yn "gyfforddus ar gyfartaledd". Archwilio heterogenedd, yn hytrach na'i gyfartaleddu i ffwrdd, yn aml yw lle mae'r dysgu go iawn yn byw.

Nid yw pob tystiolaeth yn gyfartal, ac mae'r maes yn ei threfnu'n hierarchaeth tystiolaeth: adolygiadau systematig o dreialon hapnodedig ar y brig, yna treialon rheoledig hapnodedig unigol, yna astudiaethau arsylwadol, yna cyfresi achosion a barn arbenigol. Rheol bawd yw'r hierarchaeth am y risg gogwydd mewn dyluniad astudiaeth, nid gwarant — gall treial a redir yn wael fod yn waeth nag astudiaeth garfan dda. Y mireinio modern yw GRADE (Grading of Recommendations Assessment, Development and Evaluation), sy'n graddio sicrwydd y dystiolaeth ar gyfer pob canlyniad fel uchel, cymedrol, isel, neu isel iawn, ac a all israddio hyd yn oed dystiolaeth treial am risg gogwydd, anghysondeb, anuniongyrchedd, anfanylder a gogwydd cyhoeddi — neu uwchraddio tystiolaeth arsylwadol gref. Defnyddir GRADE bellach gan WHO, Cochrane a chyrff canllawiau ledled y byd yn union am ei fod yn gwneud y rhesymu y tu ôl i sgôr sicrwydd yn eglur ac yn archwiliadwy.

Lle nad yw treialon pen-i-ben yn bodoli — ni threialwyd B erioed yn erbyn C, dim ond pob un yn erbyn plasebo — mae metaddadansoddi rhwydwaith (a elwir hefyd yn fetaddadansoddi triniaeth gymysg neu gymhariaeth anuniongyrchol) yn cyfuno tystiolaeth uniongyrchol ac anuniongyrchol ar draws rhwydwaith cysylltiedig o driniaethau i amcangyfrif yr holl gymariaethau, gan gynnwys rhai na astudiwyd erioed yn uniongyrchol. Mae'n anhepgor i HTA, lle mae'n rhaid cymharu cyffur newydd â sawl opsiwn presennol ar unwaith, ond mae'n gorffwys ar dybiaeth gref — bod y treialon yn ddigon tebyg i gymhariaeth anuniongyrchol fod yn ddilys — y mae'n rhaid ei gwirio, nid ei thybio.

Mae dau syniad pellach yn llunio a ellir credu synthesis. Gogwydd cyhoeddi yw'r duedd i astudiaethau â chanlyniadau cadarnhaol, arwyddocaol gael eu cyhoeddi, a rhai negyddol i eistedd mewn drôr — fel bod y llenyddiaeth weladwy'n gorddatgan effeithiau'n systematig. Caiff ei sgrinio amdano'n aml â phlot twndis, y gall ei anghymesuredd arwyddo astudiaethau bach negyddol coll, ac mae'n un rheswm pam mae adolygwyr yn chwilio cofrestrfeydd treialon a llenyddiaeth lwyd — traethodau ymchwil, adroddiadau, data heb eu cyhoeddi — nid dim ond cyfnodolion. Yn olaf, gan fod tystiolaeth yn parhau i gyrraedd, arfer cynyddol yw'r adolygiad byw: synthesis a gedwir yn gyfredol yn barhaus wrth i astudiaethau newydd ymddangos, fel nad yw canllawiau byth yn drifftio flynyddoedd y tu ôl i'r wyddoniaeth. Cydweithrediad Cochrane (Cochrane) yw'r pwynt cyfeirio rhyngwladol o hyd ar gyfer dulliau adolygu systematig, a'i Lawlyfr yw llawlyfr safonol y maes.

Arferion gorau

1. Ysgrifennwch a chofrestrwch y protocol cyn i chi chwilio. Daw hygrededd adolygiad systematig o benderfynu'r cwestiwn, y meini prawf cynnwys, y canlyniadau a'r cynllun dadansoddi cyn gweld y canlyniadau, yna cofrestru'r protocol hwnnw'n gyhoeddus (er enghraifft yn PROSPERO). Dyma'r amddiffyniad unigol cryfaf rhag yr adolygydd yn llunio'r adolygiad yn anymwybodol i ateb a ffefrir. Pan gomisiynwch synthesis, mynnwch brotocol cofrestredig a thrinwch ei absenoldeb fel rhybudd y gallai'r casgliadau fod wedi'u dewis yn gyntaf.

2. Chwiliwch yn gynhwysfawr, gan gynnwys yr astudiaethau na chyhoeddodd neb. Bydd chwiliad a gyfyngir i gwpl o gronfeydd data a chyfnodolion Saesneg yn colli treialon ac yn gogwyddo tuag at ganlyniadau cadarnhaol. Mae synthesis cynhwysfawr yn chwilio sawl cronfa ddata, cofrestrfa treialon, crynodebau cynadleddau, ffeiliau rheoleiddiol a llenyddiaeth lwyd, ac yn mynd ar ôl data heb eu cyhoeddi gan ymchwilwyr a gweithgynhyrchwyr. Nid cyflawnder er ei fwyn ei hun yw'r pwynt ond niwtraleiddio gogwydd cyhoeddi wrth ei ffynhonnell — mae'r astudiaethau coll yn anghymesur yn rhai negyddol.

3. Arfarnwch y risg gogwydd ym mhob astudiaeth a gynhwysir, a gadewch iddi newid y pwys a roddwch i'r canlyniad. Nid cymeradwyaeth yw cynnwys; rhaid asesu pob astudiaeth am y ffyrdd penodol y gallai gamarwain — hapnodi annigonol, asesu canlyniad heb ei ddallu, adrodd dethol, gadael. Mae synthesis sy'n cronni astudiaethau cryf a gwan â'r un pwys yn golchi gogwydd y rhai gwan i mewn i gyfartaledd sy'n edrych yn awdurdodol. Defnyddiwch offeryn arfarnu cydnabyddedig, adroddwch y dyfarniadau'n dryloyw, a rhedwch y dadansoddiad gyda'r astudiaethau risg uchel wedi'u heithrio i weld a yw'r casgliad yn dal.

4. Penderfynwch a yw cronni hyd yn oed yn gyfreithlon cyn i chi gyfrifo rhif cronedig. Dim ond pan fo'r astudiaethau'n ddigon tebyg o ran poblogaeth, ymyriad, cymharydd a chanlyniad i fod yn amcangyfrif effaith gymharadwy y mae metaddadansoddi'n ystyrlon. Os nad ydynt, yr allbwn gonest yw synthesis naratif strwythuredig, nid un rhif ffug. Gofynnwch "a yw'r astudiaethau hyn yn ateb yr un cwestiwn?" cyn gofyn "beth yw'r amcangyfrif cyfun?" — mae cyfartaledd manwl o bethau anghymharadwy yn waeth na dim cyfartaledd.

5. Dewiswch y model effaith sefydlog neu effeithiau ar hap yn fwriadol, a'i gyfiawnhau. Model effeithiau ar hap fel arfer yw'r rhagosodiad mwy gonest mewn iechyd, lle mae astudiaethau'n wahanol yn wirioneddol, oherwydd ei fod yn cynhyrchu ysbeidiau ehangach sy'n adlewyrchu amrywiad byd go iawn. Ond mae'n rhoi pwys anghymesur i astudiaethau bach, felly lle amheuir gogwydd cyhoeddi gall chwyddo'r union ogwydd yr ydych yn ei ofni. Nodwch pa fodel a ddefnyddioch a pham, a dangoswch sut y mae'r amcangyfrif cronedig yn symud o dan y dewis amgen; nid yw casgliad sy'n troi rhwng y ddau'n gadarn.

6. Archwiliwch heterogenedd yn hytrach na'i gyfartaleddu i ffwrdd. Pan fo canlyniadau astudiaethau'n ymwahanu mwy nag y mae siawns yn ei egluro, mae'r ymwahaniad hwnnw'n wybodaeth — gall olygu bod y driniaeth yn gweithio mewn un is-grŵp ac nid mewn un arall, neu fod ansawdd yn gyrru'r effaith ymddangosiadol. Archwiliwch ef â dadansoddiadau is-grŵp a bennwyd ymlaen llaw a metaatchweliad, ond trinwch is-grwpiau ôl-hoc yn amheus oherwydd eu bod yn hawdd eu canfod ac yn anodd ymddiried ynddynt. Mae amcangyfrif cronedig a gyflwynir heb unrhyw archwiliad o pam mae astudiaethau'n anghytuno yn cuddio rhan fwyaf defnyddiol y data.

7. Sgriniwch am ogwydd cyhoeddi ac adrodd yn benodol. Cymharwch y llenyddiaeth gyhoeddedig yn erbyn cofrestrfeydd treialon i ganfod astudiaethau a redwyd ond na adroddwyd arnynt erioed, archwiliwch anghymesuredd plot twndis lle mae digon o astudiaethau'n bodoli, ac ystyriwch a yw'r effaith yn crebachu wrth i faint astudiaeth dyfu. Nid yw'r un o'r profion hyn yn derfynol, ond dylai eu habsenoldeb ostwng eich hyder mewn canlyniad cadarnhaol taclus. Mae cyfeiriad gogwydd cyhoeddi bron bob amser yr un fath — mae'n chwyddo'r budd ymddangosiadol — felly dylid darllen synthesis heb ei sgrinio fel terfyn uchaf.

8. Defnyddiwch fetaddadansoddi rhwydwaith pan fo gan y penderfyniad lawer o gymharyddion, a gwiriwch ei dybiaeth graidd. Anaml y mae penderfyniadau ariannu go iawn yn gosod un cyffur yn erbyn plasebo; maent yn dewis ymhlith sawl opsiwn gweithredol, na threialwyd y rhan fwyaf ohonynt erioed yn uniongyrchol yn erbyn ei gilydd. Mae metaddadansoddi rhwydwaith yn llenwi'r bylchau hynny, ond dim ond os yw'r treialon yn ddigon tebyg i gymhariaeth anuniongyrchol — y dybiaeth "trosglwyddedd" — ac os yw tystiolaeth uniongyrchol ac anuniongyrchol yn cytuno lle mae'r ddau'n bodoli. Mynnwch fod y dadansoddwr yn dangos y rhwydwaith, yn profi cysondeb, ac yn onest am gymariaethau sy'n gorffwys ar gadwyni anuniongyrchol tenau.

9. Graddiwch sicrwydd y dystiolaeth, nid dim ond maint yr effaith. Mae effaith fawr o dystiolaeth sicrwydd isel yn sail wannach ar gyfer gwario arian cyhoeddus nag effaith gymedrol o dystiolaeth sicrwydd uchel. Mae GRADE yn gwahanu'r cwestiynau hyn drwy raddio sicrwydd fesul canlyniad a dogfennu pam y'i hisraddiwyd neu ei huwchraddio, gan droi "mae'r dystiolaeth yn gryf" o haeriad yn ddyfarniad a archwiliwyd. Mynnwch fod synthesis sy'n bwydo penderfyniad yn cario sgôr sicrwydd penodol ar gyfer pob canlyniad sy'n bwysig, nid un dyfarniad byd-eang.

10. Adroddwch y synthesis fel y gallai amheuwr ei atgynhyrchu. Dilynwch safon adrodd gydnabyddedig megis PRISMA: rhowch y strategaeth chwilio lawn, llif astudiaethau o rai a nodwyd i rai a gynhwyswyd, yr astudiaethau a eithriwyd gyda rhesymau, dyfarniadau risg gogwydd, a'r data y tu ôl i bob amcangyfrif cronedig. Tryloywder yw'r mecanwaith y daliir gwallau a dewisiadau dethol drwyddo cyn iddynt symud cyllideb. Ni ddylai synthesis na ellir ail-redeg ei chwiliad neu na eglurir ei heithriadau angori penderfyniad, waeth pa mor hyderus yw ei grynodeb.

11. Cadwch syntheseisiau polion uchel yn fyw lle mae'r dystiolaeth yn symud yn gyflym. Mewn maes sy'n newid yn gyflym — dosbarth cyffuriau newydd, pathogen sy'n dod i'r amlwg, technoleg a dreialir yn gyflym — mae adolygiad yn hen ffasiwn y funud y'i cyhoeddir, ac mae tystiolaeth hen yn cam-gyfeirio arian a gofal yn dawel. Mae adolygiad byw'n diweddaru'n barhaus yn erbyn astudiaethau newydd, â rheolau a gytunwyd ymlaen llaw ar gyfer pryd y mae treial newydd yn newid y casgliad. Neilltuwch yr ymdrech ar gyfer penderfyniadau digon mawr a chyfnewidiol i'w chyfiawnhau, a byddwch yn eglur ynghylch dyddiad cyfredoldeb unrhyw synthesis y dibynnwch arno.

12. Cyfatebwch y synthesis i'r paramedr y mae'r model ei angen mewn gwirionedd. Mae model penderfyniadau angen mewnbynnau penodol — effaith gymharol ar gyfer yr achos sylfaen, risg sylfaenol ar gyfer y boblogaeth leol, pwysau defnyddioldeb — a gall pob un fod angen ei synthesis ei hun â'i feini prawf cynnwys ei hun. Mae tynnu effaith gymharol o dreialon hapnodedig ond risg sylfaenol o gofrestrfa leol yn gyfreithlon ac yn gyffredin; nid yw cuddio bod y ddau wedi dod o gyrff gwahanol o dystiolaeth. Aliniwch bob mewnbwn syntheseiddiedig â sut y caiff ei ddefnyddio i lawr yr afon, a chroesgyfeiriwch y gwerthusiad y mae'n ei fwydo (gweler Pwnc 2.1 — Gwerthuso Economaidd).

Cwestiynau i'w trafod gyda'ch tîm

1. Pan fyddwn yn derbyn amcangyfrif effaith fel un sefydlog, ydym ni'n gwybod a ddaeth o'r llenyddiaeth gyfan neu dim ond y rhan weladwy, wenieithus ohoni? Mae'r cwestiwn hwn yn targedu gogwydd cyhoeddi ac adrodd dethol, y methiannau sy'n gwneud synthesis yn anghywir i gyfeiriad rhagweladwy. Y realiti anghyfforddus yw bod treialon cadarnhaol yn cael eu cyhoeddi'n gyflymach, yn amlach ac yn fwy amlwg na rhai negyddol, felly bydd adolygiad a gyfyngir i gyfnodolion yn tueddu i orddatgan budd hyd yn oed pan fo pob astudiaeth a gynhwysir yn onest. Gwthiwch y drafodaeth at darddiad concrit: a chwiliwyd cofrestrfeydd treialon am astudiaethau a redwyd ond na adroddwyd arnynt erioed, a geisiwyd data heb eu cyhoeddi gan weithgynhyrchwyr, a wnaed plot twndis neu wiriad tebyg? Y tyndra yw bod chwilio cynhwysfawr yn ddrud ac yn araf, a bod pwysau bob amser i dderbyn amcangyfrif cyhoeddedig glân a symud ymlaen. Nid yw ateb gonest yn honni bod y chwiliad yn berffaith; mae'n datgan pa mor galed yr edrychodd yr adolygiad am yr astudiaethau coll ac yn trin canlyniad cadarnhaol heb ei sgrinio fel terfyn uchaf tebygol yn hytrach na'r gwir.

2. A yw'r astudiaethau yr ydym yn eu cronni yn ateb yr un cwestiwn mewn gwirionedd, neu a ydym wedi gweithgynhyrchu cyfartaledd taclus o bethau nad ydynt yn perthyn gyda'i gilydd? Dyma'r cwestiwn heterogenedd, ac mae'n penderfynu a yw rhif cronedig yn golygu unrhyw beth o gwbl. Yr onglau sy'n werth eu dwyn i'r wyneb yw clinigol (cleifion, dosau neu gymharyddion gwahanol), methodolegol (treialon wedi'u cymysgu ag astudiaethau arsylwadol gwan), ac ystadegol (canlyniadau sy'n anghytuno fwy na siawns). Y methiant hudolus yw y bydd meddalwedd bob amser yn dychwelyd amcangyfrif cronedig ag ysbaid hyder sy'n edrych yn hyderus, pa un a yw'r astudiaethau sylfaenol yn gymharadwy ai peidio — nid yw manylder y rhif yn dweud dim am ei ddilysrwydd. Trafodwch a ymchwiliodd yr adolygiad i pam mae astudiaethau'n anghytuno neu eu cyfartaleddu'n syml, ac a oedd unrhyw wahaniaethau is-grŵp wedi'u pennu ymlaen llaw neu wedi'u pysgota ar ôl y ffaith. Mae ateb gonest yn fodlon dod i'r casgliad bod cronni'n amhriodol ac mai synthesis naratif strwythuredig fyddai'r allbwn mwy gwir.

3. Pa mor gyfredol yw'r dystiolaeth hon, a beth fyddai'n rhaid i astudiaeth newydd ei ddangos i newid ein penderfyniad? Mae gan syntheseisiau oes silff, a'r perygl yw gweithredu ar adolygiad y caeodd ei chwiliad flynyddoedd yn ôl tra symudodd y maes ymlaen. Enwch y dyddiad cyfredoldeb yn benodol a gofynnwch beth a gyhoeddwyd ers hynny, yn enwedig ar gyfer technolegau cyflym eu symud lle gall un treial mawr wyrdroi amcangyfrif cronedig. Y ddisgyblaeth ddyfnach yw penderfynu ymlaen llaw pa ganfyddiad a fyddai'n newid eich meddwl — trothwy sy'n troi "daliwch i wylio'r llenyddiaeth" o fwriad niwlog yn sbardun gweithredol ar gyfer diweddariad byw. Y tyndra yw rhwng cost cadw synthesis yn fyw a chost penderfyniad yn rhedeg yn dawel ar dystiolaeth hen; nid yw pob cwestiwn yn cyfiawnhau adolygiad byw, ond mae pob un polion uchel, cyfnewidiol yn gwneud. Mae ateb gonest yn datgan y dyddiad cyfredoldeb, yn enwi'r hyn a fyddai'n gwrthdroi'r casgliad, ac yn neilltuo cyfrifoldeb am sylwi pan fydd yn cyrraedd.

4. A osodwyd y cwestiwn, a'r dadansoddiad a fyddai'n ei ateb, cyn i unrhyw un weld y canlyniadau — neu a allai'r adolygiad fod wedi'i lunio tuag at gasgliad a ffefrir? Mae hyn yn targedu'r amddiffyniad cryfaf unigol yn y ddisgyblaeth gyfan: protocol a gofrestrwyd ymlaen llaw, â'r meini prawf cynnwys, canlyniadau a chynllun cronni wedi'u setlo cyn y gallai'r data eu dylanwadu. Mae'r methiant y mae'n gwarchod rhagddo'n gynnil oherwydd ei fod anaml yn fwriadol — gall adolygydd sy'n gweld y canlyniadau gyntaf, mewn ewyllys da, addasu ffin gynnwys, dyrchafu canlyniad eilaidd, neu newid dewis model mewn ffyrdd sydd i gyd yn digwydd ffafrio ateb penodol. Gofynnwch a oes protocol mewn cofrestrfa gyhoeddus megis PROSPERO, a yw'r adolygiad terfynol yn cyfateb iddo, ac a ddatganwyd ac a gyfiawnhawyd unrhyw wyriadau yn hytrach na'u gwneud yn dawel. Y tyndra yw bod rhag-gofrestru'n anghyfleus — mae'n gwahardd yr hyblygrwydd "dysgasom wrth fynd" sy'n teimlo fel gwyddoniaeth dda — ac mae ei absenoldeb yn hawdd ei esgusodi. Gall ateb gonest bwyntio at y protocol cofrestredig, cerdded drwy lle gadawodd yr adolygiad ef a pham, a thrin synthesis heb ei gofrestru fel un y gallai ei gasgliadau fod wedi'u dewis cyn i'r dystiolaeth ddod i mewn.

5. Pan fo'r penderfyniad yn ymestyn ar draws sawl triniaeth na threialwyd erioed yn erbyn ei gilydd, ydym ni'n ymddiried yn y gymhariaeth anuniongyrchol sy'n eu pwytho at ei gilydd? Fel arfer mae dewisiadau ariannu go iawn yn gosod sawl opsiwn gweithredol yn erbyn ei gilydd, na phrofwyd y rhan fwyaf ohonynt erioed yn uniongyrchol, felly mae'r synthesis yn pwyso ar fetaddadansoddiad rhwydwaith sy'n benthyca cryfder drwy gymharyddion a rennir. Yr onglau i'w dwyn i'r wyneb yw a ddangosodd y dadansoddwr rwydwaith y treialon mewn gwirionedd, a yw'r dybiaeth "trosglwyddedd" yn dal — bod poblogaethau'r treialon a'r gofal cefndirol yn ddigon tebyg i gymhariaeth anuniongyrchol olygu rhywbeth — ac a yw tystiolaeth uniongyrchol ac anuniongyrchol yn cytuno lle mae'r ddau'n bodoli. Y methiant hudolus yw y bydd y feddalwedd yn dychwelyd set lawn o amcangyfrifon pâr-wrth-bâr waeth pa mor denau neu anghymharadwy yw'r cadwyni sylfaenol, gan roi i ganlyniad anuniongyrchol bregus yr un awdurdod ag un uniongyrchol gadarn. Trafodwch pa gyferbyniadau sy'n gorffwys ar un cyswllt anuniongyrchol gwan ac ai'r rheini yw'r union gymariaethau sy'n gyrru'r argymhelliad. Mae ateb gonest yn gwahaniaethu rhwng y cymariaethau wedi'u cysylltu'n dda, a brofwyd am gysondeb, a'r rhai tenau, ac yn cario'r olaf fel sicrwydd isel yn hytrach na'u claddu mewn tabl cynghrair taclus.

6. Ydym ni'n trin effaith fawr ac effaith sicr fel yr un peth, pan nad ydynt? Mae hyn yn gwahanu maint amcangyfrif oddi wrth yr hyder y mae gennym hawl i'w gael ynddo — y gwahaniaeth y mae GRADE yn bodoli i'w wneud yn eglur. Y tyndra yw bod amcangyfrif pwynt mawr yn berswadiol ac yn hawdd gwario arian arno, tra gall y sicrwydd y tu ôl iddo fod yn isel oherwydd bod y dystiolaeth yn anghyson, yn anfanwl, yn anuniongyrchol, neu dan gysgod gogwydd cyhoeddi. Gofynnwch a yw pob canlyniad sy'n bwysig yn cario ei sgôr sicrwydd ei hun, pam y'i hisraddiwyd neu ei huwchraddio, ac a yw'r argymhelliad yn cael ei yrru gan faint yr effaith neu gan ddarlleniad gonest o faint y gall y dystiolaeth ei ddwyn. Yr achos anghyfforddus yw budd cymedrol ond sicrwydd uchel yn cystadlu yn erbyn un dramatig ond sicrwydd isel: y ddisgyblaeth yw ffafrio'r dystiolaeth y gallwch ymddiried ynddi dros y rhif sy'n gwenieithu. Mae ateb gonest yn gwrthod cwympo "mawr" a "sicr" yn un dyfarniad, ac yn gadael i'r sgôr sicrwydd, nid dim ond yr amcangyfrif pwynt, lywodraethu faint o bwys y mae'r penderfyniad yn ei roi ar y canlyniad.

Yn ymarferol: enghraifft economeg iechyd

Rhaid i Bwyllgor Meddyginiaethau a Thechnoleg Iechyd Cenedlaethol Maridia — gwlad ffuglennol incwm is-ganolig sy'n adeiladu ei rhestr meddyginiaethau hanfodol — benderfynu pa ddosbarth o gyffur sy'n gostwng pwysedd gwaed i'w argymell fel rheng flaen ar gyfer gorbwysedd digymhlethdod mewn gofal sylfaenol. Mae pedwar dosbarth yn ymgeiswyr, pob un oddi ar freinlen ac yn fforddiadwy, ond y cwestiwn clinigol yw pa un sy'n atal y nifer fwyaf o strociau a thrawiadau ar y galon fesul claf a driniwyd. Ni all y pwyllgor redeg ei dreialon ei hun; rhaid iddo syntheseiddio'r hyn y mae'r byd eisoes yn ei wybod, yna trosglwyddo amcangyfrif effaith gymharol i'w dîm economeg i'w gyfuno â chostau lleol a chyfraddau digwyddiadau.

Mae uned dystiolaeth y pwyllgor yn dechrau â phrotocol cofrestredig: y cwestiwn, y pedwar cymharydd, y canlyniadau (digwyddiadau cardiofasgwlaidd a marwolaethau o bob achos), y meini prawf cynnwys, a'r cynllun dadansoddi, i gyd wedi'u gosod cyn chwilio. Mae'r chwiliad yn cwmpasu sawl cronfa ddata, dwy gofrestrfa treialon, a llenyddiaeth ranbarthol WHO sy'n mynegeio treialon o leoliadau fel rhai Maridia ei hun, oherwydd y byddai dibynnu ar gyfnodolion gwledydd incwm uchel yn unig yn mewnforio poblogaeth a allai fod ddim yn cyfateb. Dogfennir y llif yn null PRISMA: sawl mil o gofnodion a nodwyd, y rhan fwyaf wedi'u heithrio ar deitl, ychydig ddwsinau o dreialon hapnodedig a gynhwyswyd, pob un wedi'i arfarnu am risg gogwydd. Canfyddir bod tri threial mawr a ariannwyd gan y diwydiant wedi adrodd yn ddethol; mae'r uned yn eu nodi ac yn cynllunio dadansoddiad sensitifrwydd hebddynt.

Yr anhawster craidd yw na chymharodd bron unrhyw dreialon y pedwar dosbarth ben-i-ben — profodd y rhan fwyaf un cyffur yn erbyn plasebo neu yn erbyn un dewis amgen. Gall metaddadansoddiad pâr-wrth-bâr syml ateb ffracsiwn yn unig o'r cymariaethau y mae'r pwyllgor yn eu hwynebu mewn gwirionedd. Felly mae'r uned yn adeiladu metaddadansoddiad rhwydwaith, gan gysylltu'r dosbarthiadau drwy eu cymharyddion a rennir, ac yn amcangyfrif y chwe chyferbyniad pâr-wrth-bâr ar unwaith. Cyn ymddiried ynddo, maent yn gwirio trosglwyddedd y rhwydwaith — a yw poblogaethau'r treialon a'r gofal cefndirol yn ddigon tebyg i gymhariaeth anuniongyrchol? — ac yn profi a yw tystiolaeth uniongyrchol ac anuniongyrchol yn cytuno lle mae'r ddau'n bodoli. Maent, gan fwyaf; mae un cyferbyniad yn gorffwys ar gadwyn anuniongyrchol denau, y mae'r uned yn ei nodi fel sicrwydd isel.

Mae heterogenedd yn real ac yn addysgiadol. Mae treialon mewn poblogaethau hŷn, risg uwch yn dangos buddion absoliwt mwy na threialon mewn carfannau iau, sy'n bwysig oherwydd y bydd poblogaeth a driniwyd Maridia'n gogwyddo'n iau na chyfartaledd y treialon. Yn hytrach na chronni'n ddall, mae'r uned yn rhedeg dadansoddiadau is-grŵp a metaatchweliad a bennwyd ymlaen llaw ac yn adrodd yr effaith wedi'i chyflyru ar risg sylfaenol. Mae plot twndis ar y gymhariaeth fwyaf yn dangos anghymesuredd ysgafn, yn gyson â rhai astudiaethau bach negyddol coll; ynghyd â'r treialon adrodd dethol, mae hyn yn eu harwain i drin mantais y dosbarth mwyaf ffafriol yn ofalus. O dan fodel effeithiau ar hap mae'r gwahaniaethau rhwng tri o'r pedwar dosbarth yn fach ac mae eu hysbeidiau hyder yn gorgyffwrdd yn drwm.

Mae'r uned yn graddio pob canlyniad â GRADE. Mae'r dystiolaeth bod pob un o'r pedwar dosbarth yn well na dim triniaeth yn sicrwydd uchel; mae'r dystiolaeth bod unrhyw un dosbarth yn amlwg yn well na'r lleill ond yn sicrwydd isel-i-gymedrol, wedi'i hisraddio am anghysondeb, anfanylder a gogwydd cyhoeddi a amheuir. Y gwahaniaeth hwnnw yw'r penderfyniad. Daw'r pwyllgor i'r casgliad, oherwydd bod y dosbarthiadau'n agos yn glinigol ac yn rhad i gyd, y dylai'r economeg gael ei gyrru gan bris, goddefgarwch a diogelwch cyflenwad yn hytrach nag gan honiad bregus o ragoriaeth glinigol — casgliad a ddaeth yn weladwy dim ond am i'r synthesis wahanu maint effaith oddi wrth sicrwydd. Mae'n trosglwyddo amcangyfrif effaith gymharol i'r tîm economeg ag ansicrwydd penodol, i'w droi'n gost-fesul-digwyddiad-a-osgowyd (gweler Pwnc 2.1 — Gwerthuso Economaidd), ac yn comisiynu diweddariad byw: os yw treial pragmatig mawr a ddisgwylir ymhen dwy flynedd yn symud cyferbyniad penodol y tu hwnt i ymyl a gytunwyd ymlaen llaw, ailagorir yr argymhelliad. Mae rhesymu achosol un-astudiaeth o fewn pob treial — a yw ei amcangyfrif effaith ei hun yn ddibynadwy — yn perthyn i Bwnc 2.3 — Econometreg Iechyd; gwaith y pwyllgor hwn oedd eu cronni'n dda.

Pedwar lens sector

Egin fusnes

Anaml y mae egin fusnes iechyd digidol neu ddyfeisiau'n comisiynu adolygiad systematig llawn, ond mae'n cyfarfod synthesis o'r ochr arall — fel y parti y mae'n rhaid i'w astudiaeth addawol unigol oroesi synthesis corff HTA o'r maes ehangach. Y demtasiwn yw pwyso ar un treial gwenieithus ac adolygiad naratif o bapurau cefnogol a ddewiswyd â llaw, y bydd asesydd difrifol yn gweld drwyddo ar unwaith. Y symudiad doethach yw mapio'r sail dystiolaeth bresennol yn onest ac yn gynnar, fel bod yr egin fusnes yn gwybod lle mae ei gynnyrch yn eistedd yn yr hierarchaeth a pha gymhariaeth y bydd talwr yn ei mynnu. Mae cwmni bach sy'n cyflwyno ei dystiolaeth yng nghyd-destun synthesis teg, ac sy'n onest am sicrwydd ei ddata ei hun, yn ennill mwy o hygrededd nag un sy'n gorwerthu canlyniad ynysig.

Busnes bach

Nid oes gan ddarparwr bach sefydledig — practis grŵp, un clinig arbenigol, cyflenwr dyfeisiau neu ddiagnosteg cymedrol — gyfaint ymgyrch dystiolaeth egin fusnes a gefnogir gan fuddsoddwyr na thîm synthesis menter, ac eto mae'n rhaid iddo ddarllen syntheseisiau'n ddigon da i wneud penderfyniadau cyflwr cyson. Defnyddio yw ei dasg realistig, nid cynhyrchu: darllen y sgôr sicrwydd ar ganllaw, gwirio a yw poblogaeth adolygiad yn debyg i'r cleifion y mae'n eu trin mewn gwirionedd, a sylwi pan fo'r dystiolaeth y tu ôl i arfer prynu neu atgyfeirio wedi hen ffasiynu'n dawel. Y fagl yw ymostwng yn gyfan gwbl i becyn tystiolaeth a ddewiswyd yn ddethol gan werthwr neu i un treial cofiadwy, oherwydd nad oes gan y practis amser i arfarnu'r maes ehangach. Y symudiad cymesur yw pwyso ar y syntheseisiau y mae cyrff dibynadwy — Cochrane, asiantaethau HTA cenedlaethol, canllawiau cymdeithasau proffesiynol — eisoes yn eu cynnal, trin eu sgorau sicrwydd GRADE fel y pennawd, a gofyn un cwestiwn disgybledig o unrhyw honiad cyflenwr: ble mae hyn yn eistedd yn erbyn yr adolygiad systematig, a pha mor gyfredol ydyw?

Menter

Mae gweithgynhyrchydd, grŵp darparwyr neu yswiriwr mawr yn rhedeg synthesis fel gallu diwydiannol: timau synthesis tystiolaeth ac economeg iechyd ac ymchwil canlyniadau penodedig yn cynhyrchu adolygiadau systematig a metaddadansoddiadau rhwydwaith i gefnogi cyflwyniadau ar draws llawer o awdurdodaethau. Y cryfder yw dyfnder methodolegol a'r gallu i adeiladu metaddadansoddiad rhwydwaith sy'n rhychwantu pob cymharydd perthnasol; y risg yw y gellir troi'r un gallu at gynhyrchu adolygiad a beiriannwyd i ffafrio cynnyrch y noddwr — drwy chwiliad cul, dewis model cyfleus, neu waharddiadau tawel. Mae hygrededd menter yn dibynnu ar gofrestru protocolau, dilyn PRISMA, cyflwyno dadansoddiadau atgynhyrchadwy, a gwahodd yr atgynhyrchu annibynnol y mae cyrff HTA yn gynyddol yn ei fynnu. Mae'r fenter aeddfed yn trin synthesis tryloyw sy'n dangos ansicrwydd gwirioneddol fel un mwy parhaol nag un caboledig y gall adolygydd ei ddatgymalu.

Llywodraeth

Gweinyddiaeth, talwr cenedlaethol neu gorff HTA yw prif ddefnyddiwr a chanolwr syntheseisiau, a'i ddisgyblaeth yw mynnu a chynnal hwy i safon gyhoeddedig. Mae cyrff megis NICE, IQWiG a phaneli canllawiau WHO yn adeiladu argymhellion ar adolygiadau systematig ac yn graddio sicrwydd y dystiolaeth â GRADE yn union fel bod penderfyniadau'n amddiffynadwy ac yn atgynhyrchadwy yn hytrach na'u dal gan y cyflwyniad mwyaf perswadiol. Mae llywodraeth hefyd yn cario cyfrifoldebau nad oes gan y sectorau eraill: cynnal y seilwaith — cofrestrfeydd treialon, cydweithrediadau adolygu, canllawiau dulliau — sy'n gwneud synthesis gonest yn bosibl, a chadw adolygiadau polion uchel yn fyw fel nad yw canllawiau cenedlaethol yn drifftio y tu ôl i'r wyddoniaeth. Yma y gorwedd yn y pen draw yr atebolrwydd am yr hyn y mae synthesis yn ei adael allan, ac am y cleifion yr effeithir arnynt gan amcangyfrif cronedig anghywir.

Ffyrdd cyffredin o fethu

• Yr adolygiad naratif wedi'i wisgo fel tystiolaeth. Darlleniad heb fod yn systematig, a ddewiswyd â llaw, o'r llenyddiaeth a gyflwynir ag awdurdod synthesis. Ateb: mynnwch brotocol cofrestredig, strategaeth chwilio benodol ac adrodd yn null PRISMA cyn ymddiried mewn unrhyw "adolygiad".

• Cronni astudiaethau anghymharadwy. Cyfrifo cyfartaledd manwl ar draws treialon â phoblogaethau, dosau neu ddyluniadau gwahanol, gan gynhyrchu rhif sy'n disgrifio dim claf go iawn. Ateb: aseswch heterogenedd clinigol a methodolegol yn gyntaf, a defnyddiwch synthesis naratif strwythuredig pan nad yw cronni'n gyfiawnhaedig.

• Anwybyddu'r astudiaethau na chyhoeddwyd erioed. Chwilio dim ond cwpl o gronfeydd data a dim ond cyfnodolion, fel bod yr astudiaethau negyddol coll yn chwyddo'r effaith. Ateb: chwiliwch gofrestrfeydd, rheoleiddwyr a llenyddiaeth lwyd, ceisiwch ddata heb eu cyhoeddi, a sgriniwch am ogwydd cyhoeddi'n benodol.

• Cyfartaleddu heterogenedd i ffwrdd. Adrodd un amcangyfrif cronedig wrth atal y ffaith bod astudiaethau'n anghytuno'n gryf. Ateb: archwiliwch ymwahaniad â dadansoddi is-grŵp a metaatchweliad a bennwyd ymlaen llaw, ac adroddwch yr amrywiad, nid dim ond y cymedr.

• Trin cynnwys fel cymeradwyaeth. Pwyso astudiaethau gwan a chryf yn gyfartal, gan olchi gogwydd i mewn i gyfartaledd awdurdodol. Ateb: arfarnwch risg gogwydd ym mhob astudiaeth a rhedwch y dadansoddiad gan eithrio rhai risg uchel.

• Drysu maint effaith â sicrwydd. Gweithredu ar effaith fawr o dystiolaeth sicrwydd isel fel pe bai wedi'i setlo. Ateb: graddiwch sicrwydd fesul canlyniad â GRADE a gadewch iddo, nid dim ond yr amcangyfrif pwynt, lywodraethu'r penderfyniad.

• Cymhariaeth anuniongyrchol heb ei gwirio. Adeiladu metaddadansoddiad rhwydwaith heb brofi trosglwyddedd neu gysondeb, fel bod canlyniad anuniongyrchol yn gorffwys ar dreialon anghymharadwy. Ateb: dangoswch y rhwydwaith, profwch y tybiaethau, a nodwch gadwyni anuniongyrchol tenau fel sicrwydd isel.

• Y synthesis hen. Angori penderfyniad i adolygiad y caeodd ei chwiliad flynyddoedd yn ôl mewn maes sydd wedi symud ymlaen. Ateb: datganwch y dyddiad cyfredoldeb, gwiriwch beth sydd wedi ymddangos ers hynny, a chadwch adolygiadau polion uchel cyfnewidiol yn fyw.

Model aeddfedrwydd

Rhestr wirio

• Cadarnhewch fod protocol wedi'i gofrestru cyn y chwiliad, â chwestiwn, canlyniadau a chynllun dadansoddi wedi'u pennu ymlaen llaw.
• Gwiriwch fod y chwiliad yn cwmpasu sawl cronfa ddata, cofrestrfeydd treialon a llenyddiaeth lwyd — nid cyfnodolion yn unig.
• Gwiriwch fod pob astudiaeth a gynhwyswyd wedi'i harfarnu am risg gogwydd, a bod astudiaethau risg uchel wedi'u profi mewn dadansoddiad sensitifrwydd.
• Sefydlwch fod yr astudiaethau'n ddigon tebyg i'w cronni; os na, disgwyliwch synthesis naratif strwythuredig yn hytrach nag un rhif.
• Nodwch a ddefnyddiwyd model effaith sefydlog neu effeithiau ar hap a pham, ac a yw'r casgliad yn goroesi'r dewis amgen.
• Gofynnwch sut yr ymchwiliwyd i heterogenedd, ac a oedd dadansoddiadau is-grŵp wedi'u pennu ymlaen llaw neu'n ôl-hoc.
• Chwiliwch am wiriad gogwydd cyhoeddi penodol (cymhariaeth cofrestrfa, plot twndis) a darllenwch ganlyniad cadarnhaol fel terfyn uchaf.
• Ar gyfer penderfyniadau aml-gymharydd, cadarnhewch fod unrhyw fetaddadansoddiad rhwydwaith wedi dangos ei rwydwaith a phrofi trosglwyddedd a chysondeb.
• Mynnwch sgôr sicrwydd GRADE (neu gywerth) ar gyfer pob canlyniad sy'n bwysig, ar wahân i faint yr effaith.
• Cadarnhewch fod y synthesis wedi'i adrodd yn atgynhyrchadwy (PRISMA), â'r chwiliad, eithriadau a data cronedig ar gael.
• Cofnodwch y dyddiad cyfredoldeb a pha ganfyddiad newydd a fyddai'n ailagor y penderfyniad.
• Aliniwch bob mewnbwn syntheseiddiedig â'r model a'r gwerthusiad y mae'n ei fwydo, gan ddogfennu lle daeth gwahanol fewnbynnau o dystiolaeth wahanol.

Ffynonellau allweddol

• Cochrane, Cochrane Handbook for Systematic Reviews of Interventions (gol. Higgins, Thomas et al.) — y llawlyfr safonol rhyngwladol ar gyfer dulliau adolygu systematig a metaddadansoddi.
• Datganiad PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) — y safon adrodd ar gyfer adolygiadau systematig a metaddadansoddiadau — https://www.prisma-statement.org
• Gweithgor GRADE — y fframwaith ar gyfer graddio sicrwydd tystiolaeth a chryfder argymhellion — https://www.gradeworkinggroup.org
• Dogfennau Cymorth Technegol Uned Cymorth Penderfyniadau NICE ar syntheseiddio tystiolaeth a metaddadansoddi rhwydwaith — canllawiau dulliau a ddefnyddir mewn asesu technoleg iechyd — https://www.sheffield.ac.uk/nice-dsu
• Llawlyfr WHO ar gyfer Datblygu Canllawiau — sut y mae Sefydliad Iechyd y Byd yn defnyddio adolygiad systematig a GRADE mewn canllawiau byd-eang — https://www.who.int
• Cochrane a'r cydweithrediadau tystiolaeth fyw rhyngwladol — arfer cyfeirio ar gyfer cadw syntheseisiau polion uchel yn gyfredol.

Cyfeiriadau

1. Systematic review — Wikipedia — https://en.wikipedia.org/wiki/Systematic_review
2. Meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Meta-analysis
3. Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) — Wikipedia — https://en.wikipedia.org/wiki/Preferred_Reporting_Items_for_Systematic_Reviews_and_Meta-Analyses
4. Forest plot — Wikipedia — https://en.wikipedia.org/wiki/Forest_plot
5. Random effects model — Wikipedia — https://en.wikipedia.org/wiki/Random_effects_model
6. Heterogeneity (statistics) — Wikipedia — https://en.wikipedia.org/wiki/Heterogeneity_(statistics)
7. Hierarchy of evidence — Wikipedia — https://en.wikipedia.org/wiki/Hierarchy_of_evidence
8. GRADE approach — Wikipedia — https://en.wikipedia.org/wiki/GRADE_approach
9. Network meta-analysis — Wikipedia — https://en.wikipedia.org/wiki/Network_meta-analysis
10. Publication bias — Wikipedia — https://en.wikipedia.org/wiki/Publication_bias
11. Grey literature — Wikipedia — https://en.wikipedia.org/wiki/Grey_literature
12. Cochrane (organisation) — Wikipedia — https://en.wikipedia.org/wiki/Cochrane_(organisation)
13. Cochrane Handbook for Systematic Reviews of Interventions — Cochrane — https://training.cochrane.org/handbook
14. PRISMA Statement — PRISMA — https://www.prisma-statement.org
15. GRADE Working Group — https://www.gradeworkinggroup.org