Econometreg Iechyd

Pam mae hyn yn bwysig mewn economeg iechyd

Mae bron pob penderfyniad y mae arweinydd iechyd yn ei wneud yn gorffwys ar honiad achosol: mae'r cyffur hwn yn gostwng marwolaethau, mae'r clinig hwnnw wedi lleihau derbyniadau, mae'r diwygiad talu hwn wedi byrhau amseroedd aros. Mae'r honiad yn hawdd ei ddatgan ac yn anodd ei ennill. Mae dau grŵp o gleifion yn wahanol o ran canlyniad, ond roeddent hefyd yn wahanol cyn i unrhyw un ymyrryd — mae pobl sâl yn ceisio mwy o ofal, mae rhanbarthau cyfoethocach yn mabwysiadu rhaglenni newydd gyntaf, mae clinigau brwdfrydig yn gwirfoddoli ar gyfer peilotiaid. Y broblem graidd yw na welwn byth beth fyddai wedi digwydd i'r grŵp a driniwyd pe bai wedi mynd heb ei drin. Mae popeth yn y pwnc hwn yn ymwneud â brasamcanu'r gymhariaeth goll honno'n onest.

Arian cyhoeddus a bywydau yw'r polion. Mae honiad achosol hyderus ond anghywir yn anfon cyllideb tuag at ymyriad nad yw'n gwneud dim, neu'n tynnu un yn ôl a oedd yn dawel yn achub bywydau; telir am y ddau gamgymeriad mewn canlyniadau, nid dim ond arian. Pan fydd talwr cenedlaethol yn penderfynu cyflwyno rhaglen ledled y wlad ar sail gwerthusiad rhanbarthol, ansawdd rhesymu achosol y gwerthusiad hwnnw yw'r gwahaniaeth rhwng graddio llwyddiant a graddio rhith. Anaml y mae arweinwyr yn rhedeg y dadansoddiad eu hunain, ond maent yn ei gomisiynu, yn ei ariannu ac yn gweithredu arno — sy'n golygu bod y sgil arfarnu'n eiddo iddynt hwy.

Yn fwriadol nid gwerslyfr ystadegau yw'r pwnc hwn (gweler ffiniau cwmpas y llyfr). Ni fydd yn deillio amcangyfrifydd nac yn argymell meddalwedd. Ei waith yw dweud wrthych beth yw pwrpas pob dull, pryd y mae honiad achosol yn haeddu eich ymddiriedaeth, a sut i gomisiynu ac arfarnu gwaith econometrig fel nad ydych yn cael eich twyllo gan fodel soffistigedig nac yn ddiystyriol o dystiolaeth dda. Lle mae'r dadansoddiad yn bwydo model dadansoddol penderfyniadau sy'n allosod y tu hwnt i'r data, mae'r peirianwaith hwnnw'n perthyn i Bwnc 2.2 — Modelu; yma rydym yn aros gyda'r amcangyfrif ei hun ac a yw'n achosol.

Cysyniadau craidd

Econometreg iechyd yw cymhwyso dulliau ystadegol at ddata iechyd a gofal iechyd er mwyn mesur perthnasoedd ac, yn bennaf oll, i gefnogi casgliad achosol — yr ymgais i sefydlu bod newid mewn un peth yn achosi newid mewn peth arall, yn hytrach na symud gydag ef yn unig. Mae'r ddisgyblaeth yn bodoli oherwydd bod cydberthyniad mewn data iechyd yn helaeth ac yn gamarweiniol, ac oherwydd bod yr arbrawf glân a fyddai'n setlo'r cwestiwn yn aml yn amhosibl, yn anfoesegol neu'n anfforddiadwy.

Y rhwystr canolog yw dryswch: ffactor trydydd sy'n dylanwadu ar bwy sy'n derbyn ymyriad a pha ganlyniad y maent yn ei brofi, gan greu cysylltiad nad yw'n achosol. Gall cleifion ar wrthgeulydd newydd waedu llai na'r rhai ar yr hen un nid am fod y cyffur yn fwy diogel ond am fod rhagnodwyr gofalus wedi'i roi i gleifion risg is. Mae oed, amddifadedd, difrifoldeb clefyd a barn clinigwr yn ffactorau dryslyd diddiwedd mewn data iechyd, a'r rhai y gallwch eu mesur anaml yw'r rhai sydd bwysicaf.

Yn agos gysylltiedig mae gogwydd dethol: trefnwyd y bobl yn eich grwpiau a driniwyd a chymharu iddynt gan broses — hunan-ddethol, brysbennu clinigol, daearyddiaeth, cymhwysedd gweinyddol — sydd ei hun yn gysylltiedig â'r canlyniad. Bydd gwasanaeth teleofal a ddefnyddir gan y digidol hyderus yn dangos canlyniadau da'n rhannol am fod ei ddefnyddwyr yn iachach ac yn fwy trefnus i ddechrau. Nid niwsans i'w lwchio oddi ar y data yw dethol; yn aml dyma'r stori gyfan, a gwaith y dull yw ei niwtraleiddio.

Y safon aur ar gyfer gwneud hynny yw'r treial rheoledig ar hap (RCT), lle dyrennir cyfranogwyr i driniaeth neu reolaeth drwy siawns. Mae hapnodi'n gweithio oherwydd, ar gyfartaledd, ei fod yn cydbwyso'r ffactorau dryslyd y meddyliasoch amdanynt a'r rhai na wnaethoch, fel y gellir priodoli unrhyw wahaniaeth mewn canlyniad i'r ymyriad. Mae'r disgyblaethau sy'n amddiffyn treial — dadansoddi cleifion yn y grŵp y'u hapnodwyd iddo, a elwir yn ddadansoddiad bwriad-i-drin, a chofrestru'r canlyniad ymlaen llaw — yn bodoli i atal y broblem ddethol rhag ymlusgo'n ôl i mewn drwy'r drws ochr.

Nid yw treialon bob amser yn ymarferol, felly mae llawer o econometreg iechyd yn gweithio gyda data arsylwadol ac yn benthyca hygrededd gan arbrawf naturiol — sefyllfa lle mae rhywbeth y tu hwnt i reolaeth y cyfranogwyr (cyflwyno polisi, rheol cymhwysedd, loteri, newid pris sydyn) yn dynwared dyrannu ar hap. Mae pedwar dyluniad lled-arbrofol yn codi dro ar ôl tro:

• Mae gwahaniaeth-mewn-gwahaniaethau yn cymharu'r newid mewn canlyniadau ar gyfer grŵp a ddatgelwyd i ymyriad yn erbyn y newid ar gyfer grŵp cymharu heb ei ddatgelu dros yr un cyfnod. Mae ei hygrededd yn gorffwys ar y dybiaeth "tueddiadau cyfochrog": y byddai canlyniadau'r ddau grŵp wedi symud mewn cam, heb yr ymyriad.
• Mae amcangyfrif newidynnau offerynnol yn defnyddio newidyn sy'n effeithio ar bwy sy'n cael triniaeth ond heb unrhyw effaith uniongyrchol ar y canlyniad ac eithrio drwy driniaeth — pellter i glinig, rhif loteri, adolygydd a neilltuwyd ar hap — i ynysu amrywiad mewn triniaeth sy'n rhydd o ddryswch. Mae offeryn dilys yn wirioneddol anodd ei ganfod ac yn amhosibl ei brofi'n llawn.
• Mae diffyg parhad atchweliad yn manteisio ar drothwy miniog — sgôr risg, oed, terfyn incwm — sy'n pennu cymhwysedd. Mae pobl ychydig uwchlaw ac ychydig islaw'r llinell bron yn unfath ac eithrio o ran mynediad at yr ymyriad, felly mae eu cymharu'n brasamcanu arbrawf lleol.
• Mae dulliau data panel yn dilyn yr un unedau (cleifion, ysbytai, rhanbarthau) dros amser, gan ganiatáu i'r dadansoddwr reoli popeth sy'n sefydlog am uned nad yw byth yn newid, ac felly gael gwared ar ddosbarth mawr o ffactorau dryslyd na all trawstoriad unigol eu dileu.

Yn olaf, mae data coll yn eistedd o dan bob un o'r rhain. Mae cleifion yn gadael, mae cofnodion yn anghyflawn, ac — yn hollbwysig — mae'r rheswm bod data ar goll yn aml yn gysylltiedig â'r canlyniad, felly mae taflu cofnodion anghyflawn yn aildwyn gogwydd dethol yn dawel. Sut y trinwyd colled yw un o'r cwestiynau cyntaf i'w ofyn am unrhyw astudiaeth.

Arferion gorau

1. Dechreuwch o'r gwrthffeithiol, nid y dull. Cyn i unrhyw un ddewis amcangyfrifydd, gorfodwch y cwestiwn: beth yw'r gymhariaeth, a pham y dylem gredu ei bod yn dweud wrthym beth fyddai wedi digwydd heb yr ymyriad? Mae hygrededd pob canlyniad yn llifo o'r gymhariaeth honno, nid o soffistigeiddrwydd yr ystadegau ar ei phen. Os yw'r ateb yn amwys, ni fydd unrhyw dechneg yn ei achub.

2. Comisiynwch y dyluniad cyn casglu'r data, nid ar ôl. Daw'r honiadau achosol cryfaf o ddyluniadau a gynlluniwyd ymlaen llaw — cyflwyno hapnodedig, dadansoddiad a gofrestrwyd ymlaen llaw, grŵp cymharu y cytunwyd arno — oherwydd bod ôl-ffitio dull i ddata presennol yn gwahodd y dadansoddwr i chwilio nes y daw canlyniad gwenieithus i'r golwg. Pan ariannwch werthusiad, ariennwch y cyfnod dylunio a mynnwch gynllun dadansoddi ysgrifenedig cyn bod canlyniadau'n bodoli.

3. Ffafriwch hapnodi lle mae'n foesegol ac yn ymarferol, gan gynnwys cyflwyno fesul cam. Os na all rhaglen gyrraedd pawb ar unwaith, dyrannwch drefn mynediad drwy loteri neu hapnodwch pa safleoedd sy'n mynd yn gyntaf. Mae hyn yn troi cyfyngiad gweithredol yn arbrawf credadwy am ychydig o gost ychwanegol, ac mae'n aml yn fwy amddiffynadwy na gwadu triniaeth i neb. Cyflwyniadau a hapnodwyd yn hytrach na'u dewis yn syml yw llawer o'r gwerthusiadau polisi y mae mwyaf o ymddiriedaeth ynddynt.

4. Trinwch bob dyluniad lled-arbrofol fel bwndel o dybiaethau, a gwnewch iddynt ddatgan eu rhai nhw. Mae gwahaniaeth-mewn-gwahaniaethau'n byw neu'n marw ar dueddiadau cyfochrog; newidynnau offerynnol ar offeryn sydd ill dau'n berthnasol ac yn allanol; diffyg parhad atchweliad ar bobl yn peidio â thrin ar ba ochr o'r trothwy y glanient. Mae dadansoddwr da'n enwi'r dybiaeth y mae ei ganlyniad yn dibynnu arni ac yn dangos tystiolaeth drosti; mae un gwan yn ei chuddio. Gofynnwch yn benodol, "beth sy'n rhaid bod yn wir er mwyn i hyn fod yn achosol, a sut ydych chi'n gwybod ei fod?"

5. Mynnwch y profion ffugio, nid dim ond yr amcangyfrif pennawd. Mae gwaith achosol credadwy'n ceisio torri ei honiad ei hun: plotio tueddiadau cyn-ymyriad i wirio eu bod yn gyfochrog, profi am neidiau ar drothwyon ffug lle ni ddylai dim fodoli, dangos nad yw'r offeryn yn rhagfynegi canlyniadau na ddylai eu cyffwrdd. Mae presenoldeb y gwiriadau hyn yn arwydd o waith gonest; mae eu habsenoldeb yn rhybudd waeth pa mor fawr neu groesawgar yw'r effaith.

6. Mynnwch wybod sut y trinwyd data coll a gadael. Gofynnwch pa ffracsiwn o bynciau a gollwyd, a yw'r rhai coll yn wahanol i'r rhai a arsylwyd, a pha dybiaeth a wnaeth y dadansoddiad amdanynt. Dadansoddi "achosion cyflawn" — gollwng pawb â bwlch yn dawel — yw'r ffordd fwyaf cyffredin y mae gogwydd dethol yn ailfynd i astudiaeth a edrychai'n lân. Mae'r cyfeiriad y byddai data coll yn gwthio'r canlyniad iddo yn aml yn hysbys hyd yn oed pan nad yw'r data.

7. Cyfatebwch y model i siâp data iechyd. Mae costau'n gam oherwydd ychydig o gleifion drud iawn, mae defnydd yn gyfrif na all fynd yn negyddol, ac mae data goroesi'n cael ei sensro pan ddaw dilyniant i ben. Mae dulliau llinol safonol yn camffitio'r rhain a gallant gamarwain; mae modelau arbenigol yn bodoli ar gyfer pob un. Nid oes angen i chi wybod y fathemateg, ond dylech wybod digon i ofyn "a yw'r dull hwn yn briodol ar gyfer data cost?" a disgwyl ateb go iawn.

8. Gwahanwch yr effaith ar y rhai a driniwyd oddi wrth yr effaith y gallech ei graddio. Mae llawer o ddulliau lled-arbrofol yn amcangyfrif effaith leol — yr effaith ar bobl ger trothwy, neu ar y rhai y digwyddodd offeryn eu symud — nad yw o reidrwydd yn hafal i effaith cyflwyno'r ymyriad i bawb. Nid yw diffyg parhad atchweliad o gwmpas 65 oed yn dweud dim wrthych am bobl 40 oed. Cyn cyffredinoli rhif, gofynnwch effaith pwy ydyw mewn gwirionedd.

9. Gwahaniaethwch arwyddocâd ystadegol oddi wrth berthnasedd i benderfyniad. Gall effaith fach a amcangyfrifir yn fanwl fod yn ystadegol arwyddocaol ac yn economaidd ddibwys; gall effaith fawr fod yn ansicr a dal yn werth gweithredu arni o ystyried y polion. Gofynnwch am faint yr effaith, ei hysbaid hyder, a'r hyn y mae'n ei olygu ar raddfa eich cyllideb a'ch poblogaeth — nid dim ond a glirioedd gwerth p drothwy. Mae'r penderfyniad yn troi ar faint ac ansicrwydd gyda'i gilydd.

10. Barnwch ddilysrwydd allanol mor ofalus â dilysrwydd mewnol. Gall astudiaeth fod yn ddi-fai ynghylch achosiaeth yn ei lleoliad ei hun ac eto'n amherthnasol i'ch un chi os yw'r boblogaeth, y system iechyd neu'r risg sylfaenol yn wahanol. Efallai na fydd offeryn a weithiodd mewn marchnad yswiriant yn yr UD neu ddyluniad a ddilyswyd mewn cofrestrfa Sgandinafaidd yn trosglwyddo i leoliad incwm isel â data a chymhellion gwahanol. Gofynnwch "a fyddai'r effaith hon yn dal yn fy system i?" fel cwestiwn ar wahân i "a yw'r effaith hon yn real?"

11. Triongluwch yn hytrach nag ymddiried mewn un astudiaeth. Pan fo sawl dull â thybiaethau gwahanol — treial, gwahaniaeth-mewn-gwahaniaethau, amcangyfrif newidynnau offerynnol — yn pwyntio i'r un cyfeiriad, enillir hyder; pan fyddant yn ymwahanu, mae'r anghytundeb yn wybodaeth am ba dybiaethau sy'n methu. Comisiynwch neu chwiliwch am fwy nag un llinell o dystiolaeth ar gyfer unrhyw benderfyniad sy'n ddigon mawr i fod yn bwysig, a thriniwch un canlyniad trawiadol fel damcaniaeth, nid casgliad.

12. Ysgrifennwch yr arfarniad i lawr a'i gadw gyda'r penderfyniad. Cofnodwch pa honiad achosol y dibynnoch arno, pa ddyluniad a'i cynhyrchodd, pa dybiaeth y gorffwysodd arni, a'r hyn a fyddai'n newid eich meddwl. Mae hyn yn amddiffyn y sefydliad pan heriir canlyniadau'n ddiweddarach, ac mae'n gorfodi disgyblaeth datgan ansicrwydd cyn, nid ar ôl, i'r canlyniad fod yn hysbys. Barn â siart yw gwerthusiad nad yw ei resymu wedi'i ddogfennu.

Cwestiynau i'w trafod gyda'ch tîm

1. Ar gyfer y penderfyniad mawr diwethaf a gyfiawnhawyd gennym â thystiolaeth, beth oedd y grŵp cymharu — ac a fyddai wedi gwneud yr un peth mewn gwirionedd heb yr ymyriad? Mae'r cwestiwn hwn yn mynd yn syth at y gwrthffeithiol, lle mae'r rhan fwyaf o dystiolaeth wan yn cuddio. Gwthiwch heibio'r rhif pennawd i'r strwythur: pwy a gymharwyd â phwy, sut y'u trefnwyd i'r grwpiau hynny, a'r hyn a fyddai wedi digwydd i'r grŵp a driniwyd pe na bai dim wedi newid. Y tensiynau gonest yw mai'r gymhariaeth fwyaf cyfleus — cyn-ac-ar-ôl yn yr un grŵp, neu wirfoddolwyr yn erbyn rhai nad ydynt yn wirfoddolwyr — fel arfer yw'r un fwyaf dryslyd, a bod y bobl a ddewisodd neu a ddewiswyd ar gyfer ymyriad bron bob amser yn wahanol i'r rhai na ddewiswyd. Mae trafodaeth dda'n enwi'r ffactorau dryslyd penodol sydd ar waith (difrifoldeb, amddifadedd, cymhelliant, dethol clinigwyr) ac yn gofyn a wnaeth y dyluniad eu niwtraleiddio neu eu hanwybyddu'n unig. Nid "adolygwyd yr astudiaeth gan gymheiriaid" yw'r ateb yr ydych yn chwilio amdano ond cyfrif clir o pam mae'r gymhariaeth yn gredadwy — neu gyfaddefiad nad yw, a bod y penderfyniad wedi gorffwys ar farn wedi'i gwisgo fel tystiolaeth.

2. Pan fyddwn yn comisiynu gwerthusiad, ydym ni'n prynu dyluniad neu ddim ond adroddiad? Mae'r rhan fwyaf o sefydliadau'n caffael gwerthuso fel cynnyrch sy'n cyrraedd ar ôl i'r rhaglen redeg, sef yn union pan fo'r dyluniadau achosol cryfaf eisoes wedi dod yn amhosibl. Y tensiwn yw rhwng brys gweithredol — lansio nawr, mesur wedyn — ac ansawdd tystiolaethol, sy'n dibynnu ar benderfyniadau a wneir cyn cofrestru'r claf cyntaf: trefn cyflwyno hapnodedig, rhanbarth cymharu y cytunwyd arno, canlyniad a chynllun dadansoddi a gofrestrwyd ymlaen llaw. Trafodwch a yw eich proses gomisiynu'n gwahodd dadansoddwyr i mewn yn ddigon cynnar i lunio'r dyluniad, neu ddim ond yn ddigon hwyr i resymoli'r canlyniad. Mae ateb gonest yn wynebu'r ffaith y gall gwerthusiad ôl-weithredol rhad fod yn waeth na dim os yw'n benthyca hyder ffug, ac yn edrych a yw contractau ac amserlenni yn gwneud dylunio da'n bosibl yn strwythurol neu'n amhosibl yn strwythurol yn eich sefydliad.

3. Pa honiad y byddem yn gwrthod gweithredu arno, a pha dystiolaeth a fyddai'n newid ein meddwl? Mae'r cwestiwn hwn yn profi a yw'r tîm yn trin tystiolaeth fel mewnbwn gwirioneddol neu fel addurn ar gyfer penderfyniad a wnaed eisoes. Enwi, ymlaen llaw, y safon prawf y mae'n rhaid i honiad ei chyrraedd — a'r canfyddiad a fyddai'n gwneud i chi wrthdroi cwrs — yw'r amddiffyniad cryfaf rhag gogwydd cadarnhad a rhag y brwdfrydedd dethol sy'n cyfarch canlyniadau yr ydym yn eu hoffi. Y tensiwn gwirioneddol yw mai anaml y mae rhanddeiliaid yn dal rhaglenni a ffafrir a rhai nas ffafrir at yr un bar tystiolaethol; mae menter annwyl yn cael budd yr amheuaeth, un fygythiol yn cael ei dryllio. Mae trafodaeth onest yn dwyn i'r wyneb lle mae'r safonau dwbl hynny'n byw yn eich sefydliad, yn cytuno beth y mae "digon da i weithredu" yn ei olygu ar gyfer penderfyniadau o wahanol feintiau, ac yn derbyn bod ymrwymo ymlaen llaw i'r hyn a fyddai'n newid eich meddwl yn anghyfforddus yn union am y gallai wneud hynny.

4. Pan fyddwn yn benthyca canlyniad trawiadol o system arall, beth ydym ni'n ei dybio sy'n trosglwyddo gydag ef? Gall astudiaeth fod yn ddi-fai ynghylch achosiaeth yn ei lleoliad ei hun a dal eich camarwain, oherwydd y gallai'r boblogaeth, y system iechyd, y risg sylfaenol a'r cymhellion a gynhyrchodd ei heffaith fod yn debyg i ddim byd tebyg i'ch rhai chi. Y tensiwn yw bod y dystiolaeth fwyaf trawiadol fel arfer yn dod o rywle arall — marchnad yswiriant yn yr UD, cofrestrfa Sgandinafaidd, safle treial adnoddol — a bod ei thrylwyredd ei hun yn eich temtio i fewnforio'r rhif yn hytrach na holi ei ffit. Trafodwch beth fyddai'n rhaid bod yn wir am eich poblogaeth a'ch system i'r effaith atgynhyrchu: a yw'r risg sylfaenol yn gymharol, a oes gan eich gweithlu'r capasiti y tybiodd yr ymyriad, a yw eich cleifion yn wynebu'r un cyfyngiadau? Mae ateb gonest yn trin dilysrwydd allanol fel cwestiwn ar wahân i ddilysrwydd mewnol, yn gwrthsefyll yr atgyrch i ddisgowntio astudiaeth bell dim ond am ei bod yn bell, ac yn enwi pa nodweddion o'r lleoliad gwreiddiol sy'n gwneud y gwaith. Y canlyniad gwaethaf yw graddio effaith a oedd yn real yno ac yn absennol yma, yna beio'r ymyriad yn hytrach na'r trosglwyddiad.

5. Faint o'n data sydd ar goll, ac ydym ni'n siŵr bod y bylchau'n ddiniwed? Mae gan bob set ddata iechyd go iawn dyllau — mae cleifion yn gadael, mae cofnodion yn anghyflawn, mae dilyniant yn dod i ben — a'r achos peryglus yw pan fo'r rheswm bod data ar goll ei hun yn gysylltiedig â'r canlyniad, fel bod gollwng cofnodion anghyflawn yn smyglo gogwydd dethol yn ôl i mewn i astudiaeth a edrychai'n lân. Y tensiwn yw rhwng hwylustod dadansoddi "achosion cyflawn", sef y rhagosodiad yn y rhan fwyaf o offer a'r llwybr cyflymaf at ganlyniad, a gonestrwydd gofyn a yw'r bobl a ddiflannodd yn wahanol yn systematig i'r rhai a arhosodd. Trafodwch pa ffracsiwn o bynciau a gollwyd, a yw'r rhai coll yn edrych yn salach, yn dlotach neu'n llai ymgysylltiedig na'r rhai a arsylwyd, a'r hyn a dybiodd y dadansoddiad amdanynt. Gall ateb da yn aml ddweud i ba gyfeiriad y byddai data coll yn gwthio'r amcangyfrif hyd yn oed pan na ellir adfer y gwerthoedd eu hunain, ac mae'n trin cyfradd gadael uchel neu anesboniedig fel bygythiad i'r honiad cyfan yn hytrach nag fel troednodyn. Y methiant i'w enwi yw tîm sy'n adrodd y goroeswyr fel pe baent y boblogaeth gyfan.

6. Ydym ni byth yn gweithredu ar un astudiaeth, a beth fyddai'n gwneud i ni aros am ail linell o dystiolaeth? Dylai hyder mewn honiad achosol ddod o gytundeb ar draws dulliau sy'n methu mewn ffyrdd gwahanol — treial, gwahaniaeth-mewn-gwahaniaethau, amcangyfrif newidynnau offerynnol yn pwyntio i'r un cyfeiriad — nid o un canlyniad trawiadol waeth pa mor dda y'i cyflawnwyd. Y tensiwn yw bod triongli'n costio amser ac arian y mae'r sefydliad anaml yn dymuno eu gwario, ac mae canfyddiad unigol trawiadol yn creu pwysau i weithredu cyn y gellir comisiynu ail linell. Trafodwch pa benderfyniadau sy'n ddigon mawr i fynnu mwy nag un llinell o dystiolaeth, a beth a wnewch pan fo dulliau'n anghytuno — oherwydd nad sŵn i'w gyfartaleddu i ffwrdd yw ymwahaniad ond gwybodaeth am ba dybiaethau sy'n methu. Mae ateb gonest yn gwahaniaethu rhwng damcaniaeth sy'n werth ei phrofi a chasgliad sy'n werth gweithredu arno, ac yn gwrthsefyll y momentwm sy'n troi un gwerthusiad yn ffaith sefydlog dim ond am iddo gyrraedd yn gyntaf a dweud yr hyn yr oedd pobl yn gobeithio amdano.

Yn ymarferol: enghraifft economeg iechyd

Mae Gweinyddiaeth Iechyd Solvenia, gwlad ffuglennol incwm canolig uwch yng Nghanolbarth Ewrop â system yswiriant cymdeithasol, am wybod a yw rhaglen newydd methiant y galon yn y gymuned — clinigau a arweinir gan nyrsys sy'n monitro cleifion ar ôl eu rhyddhau — yn lleihau aildderbyniadau brys costus. Mae deuddeg rhanbarth eisoes wedi'i mabwysiadu; nid yw wyth wedi gwneud. Cymharodd adroddiad mewnol cynnar gyfraddau aildderbyn mewn rhanbarthau a fabwysiadodd yn erbyn rhai na wnaeth, eu canfod 18 y cant yn is yn y rhai a fabwysiadodd, ac argymell cyflwyno cenedlaethol. Gofynnir i economegydd iechyd y Weinyddiaeth wirio'r honiad cyn ymrwymo cannoedd o filiynau o koruna.

Ei chwestiwn cyntaf yw'r gwrthffeithiol. Ni ddewiswyd y rhanbarthau a fabwysiadodd ar hap: roeddent yn gyfoethocach, â gofal sylfaenol gwell ei drefnu, ac roedd ganddynt gyfraddau aildderbyn is cyn i'r rhaglen ddechrau. Mae'r gymhariaeth naïf felly'n dryslyd effaith y rhaglen â mantais bresennol y rhanbarthau a allai ei mabwysiadu — problem ddethol gwerslyfr. Ni all gwahaniaeth syml rhwng rhai a fabwysiadodd a rhai na wnaeth wahanu'r ddau, ac mae'r ffigur 18 y cant yn annehongladwy fel effaith achosol.

Mae hi'n cynnig dyluniad gwahaniaeth-mewn-gwahaniaethau yn lle hynny, gan ddefnyddio sawl blwyddyn o ddata aildderbyn rhanbarthol cyn ac ar ôl dyddiad mabwysiadu pob rhanbarth. Mae hyn yn cymharu'r newid mewn aildderbyniadau yn y rhanbarthau a fabwysiadodd yn erbyn y newid yn y rhai na wnaeth, gan dynnu allan unrhyw fantais ranbarthol sefydlog drwy'r gwahaniaethu. Yn hollbwysig, mae hi'n plotio'r tueddiadau cyn-fabwysiadu yn gyntaf: pe bai'r rhai a fabwysiadodd eisoes yn gwella'n gyflymach na'r rhai na wnaeth cyn y rhaglen, mae'r dybiaeth tueddiadau cyfochrog yn methu ac mae'r dyluniad yn annilys. Mae'r tueddiadau'n agos ond heb fod yn unfath, felly mae hi'n adrodd yr amcangyfrif â'r rhybudd hwnnw'n weladwy yn hytrach na'i gladdu.

Gan fod dyddiadau mabwysiadu wedi'u gwasgaru ar draws rhanbarthau, mae hi hefyd yn manteisio ar y strwythur panel, gan reoli popeth sy'n sefydlog am bob rhanbarth ac ar gyfer siociau cenedlaethol megis gaeaf ffliw gwael a darawodd bob rhanbarth ar unwaith. Daw amcangyfrif y gwahaniaeth-mewn-gwahaniaethau i mewn ar ostyngiad o 7 y cant mewn aildderbyniadau — real ac yn werth ei gael, ond ymhell islaw hanner y ffigur pennawd, oherwydd mai mantais bresennol y rhanbarthau oedd y rhan fwyaf o'r 18 y cant gwreiddiol, nid y rhaglen. Yna mae hi'n gwirio data coll: roedd codio anghyflawn mewn dau ranbarth yn y flwyddyn drosglwyddo, ac mae hi'n dangos bod y canlyniad yn dal a gynhwysir y blynyddoedd rhanbarth hynny ai peidio.

Mae hi'n onest ynghylch beth yw'r amcangyfrif a beth nad yw. Dyma'r effaith gyfartalog mewn rhanbarthau â'r capasiti gofal sylfaenol i redeg clinigau a arweinir gan nyrsys; mae'r wyth rhanbarth na wnaeth fabwysiadu'n dlotach ac yn deneuach eu staff, felly gallai'r effaith yno fod yn llai neu fe allai fod angen buddsoddiad nad yw'r model yn ei brisio. Cwestiwn dilysrwydd allanol yw hwnnw, ac mae hi'n ei nodi'n benodol yn hytrach na thybio y bydd y 7 y cant yn trosglwyddo. Nid "cyflwynwch yn genedlaethol" na "rhowch y gorau iddi" yw ei hargymhelliad i'r Weinyddiaeth, ond "ariennwch hi lle mae'r capasiti gofal sylfaenol yn bodoli, a hapnodwch drefn y cyflwyno yn y rhanbarthau sy'n weddill fel y gall y gwerthusiad nesaf setlo'r cwestiwn trosglwyddo na all yr un hwn." Yna trosglwyddir costeffeithiolrwydd y gostyngiad 7 y cant i fodel penderfyniadau (Pwnc 2.2 — Modelu) sy'n troi'r amcangyfrif achosol yn gost fesul canlyniad y gall y talwr weithredu arni.

Pedwar lens sector

Egin fusnes

Fel arfer mae egin fusnes iechyd digidol yn cyfarfod econometreg iechyd fel galw tystiolaeth gan brynwr neu reoleiddiwr: profwch fod eich ap yn newid canlyniadau mewn gwirionedd, nid dim ond bod defnyddwyr ymgysylltiedig yn gwneud yn dda. Y demtasiwn yw siart cyn-ac-ar-ôl o fabwysiadwyr cynnar brwdfrydig, sydd bron yn ogwydd dethol pur — byddai'r defnyddwyr hynny wedi gwella beth bynnag. Y symudiad credadwy, fforddiadwy yw peilot hapnodedig bach neu gyflwyniad fesul cam ar draws safleoedd, a gynlluniwyd cyn lansio, sy'n ynysu effaith y cynnyrch oddi wrth gymhelliant y bobl a'i dewisodd. Mae sylfaenwyr sy'n adeiladu cymhariaeth lân i mewn i'r defnydd cyntaf yn cario llawer mwy o bwys gyda thalwyr na'r rhai sy'n ôl-ffitio dadansoddiad gwenieithus yn ddiweddarach.

Busnes bach

Mae gan ddarparwr bach sefydledig — practis grŵp, un clinig, fferyllfa gymunedol, cyflenwr dyfeisiau bach — ddata gweithredu go iawn ond nid y cyfaint na'r tîm dadansoddeg i redeg ei astudiaethau lled-arbrofol ei hun, a dim eiliad lansio i hapnodi o'i chwmpas. Arfarnu yn bennaf yw ei dasg econometrig: darllen y dystiolaeth y mae gweithgynhyrchydd, comisiynydd neu gorff proffesiynol yn ei gosod o'i flaen a barnu a fyddai effaith a honnir yn dal mewn llwyth achosion fel ei un ef. Y symudiad mwyaf cyson yw gofyn y cwestiwn dilysrwydd allanol yn galed — a ddangoswyd hyn mewn poblogaeth, lefel staffio a system sy'n debyg i fy un i? — yn hytrach na cheisio dadansoddiad achosol na all ei adnoddi. Lle mae'n cynhyrchu tystiolaeth, mae newid wedi'i raddio ar draws ei safleoedd neu glinigwyr ei hun, neu ddarlleniad cyn-ac-ar-ôl syml a wneir yn onest yn erbyn practis cyfagos cymharol, yn fwy credadwy na siart mewnol gwenieithus. Yn wahanol i egin fusnes sy'n mynd ar ôl bar tystiolaeth talwr, ei gymhelliant yw osgoi mabwysiadu rhywbeth sy'n gwastraffu amser ac arian prin yn dawel ar lwyth achosion nad oedd byth yn cyfateb i'r astudiaeth.

Menter

Mae darparwr neu yswiriwr mawr yn eistedd ar ddata hydredol cyfoethog — hawliadau, cofnodion, cofrestrfeydd — a'i fantais yw'r gallu i redeg dadansoddiadau panel a lled-arbrofol ar raddfa. Y risg yw camgymryd cyfaint data am eglurder achosol: ni all miliwn o gofnodion dryslyd ddweud wrthych o hyd a weithiodd rhaglen rheoli gofal, a gall tîm dadansoddeg adnoddol gynhyrchu modelau soffistigedig sy'n golchi gogwydd dethol yn effaith ymddangosiadol. Mae'r fenter aeddfed yn gwahanu adrodd perfformiad mewnol oddi wrth werthuso achosol, yn dal y ddau at safonau gwahanol, ac yn adeiladu dyluniadau hapnodedig neu fesul cam i mewn i'w chyflwyniadau gweithredol ei hun fel bod newid arferol yn cynhyrchu tystiolaeth ddibynadwy yn hytrach na dangosfyrddau'n unig.

Llywodraeth

Mae gweinyddiaeth neu dalwr cenedlaethol yn gwneud y penderfyniadau achosol â'r polion uchaf — graddio rhaglen ledled y wlad, ariannu neu dynnu budd yn ôl — ac yn aml mae ganddo ysgogiadau polisi sy'n creu arbrofion naturiol: trothwyon cymhwysedd, cyflwyniadau fesul cam, peilotiaid rhanbarthol. Dylai ei ddisgyblaeth fod i ddylunio'r cyflwyniadau hynny fel gwerthusiadau o'r dechrau, fel bod y cyfnodoli anochel yn esgor ar wahaniaeth-mewn-gwahaniaethau neu ddiffyg parhad atchweliad yn hytrach na chymhariaeth annehongladwy. Mae llywodraeth hefyd yn cario dyletswydd nad oes gan y sectorau eraill: gwarchod rhag yr anghymesuredd gwleidyddol lle mae rhaglenni a ffafrir yn dianc rhag craffu a chanfyddiadau bygythiol yn cael eu herio, drwy ymrwymo ymlaen llaw i safonau gwerthuso a chyhoeddi canlyniadau pa un a ydynt yn gwenieithu i'r polisi ai peidio.

Ffyrdd cyffredin o fethu

• Drysu cydberthyniad ag achosiaeth. Adrodd bod cleifion a driniwyd wedi gwneud yn well heb fynd i'r afael â pham y'u trinwyd. Ateb: dechreuwch o'r gwrthffeithiol ac enwch y ffactorau dryslyd cyn dehongli unrhyw wahaniaeth.

• Dethol ar y canlyniad. Cymharu gwirfoddolwyr â rhai nad ydynt yn wirfoddolwyr, y rhai a gwblhaodd â'r rhai a adawodd, neu'r rhai a fabwysiadodd â'r rhai na wnaeth fel pe bai'r grwpiau'n gyfnewidiol. Ateb: defnyddiwch ddyluniad (hapnodi, gwahaniaeth-mewn-gwahaniaethau, newidynnau offerynnol, diffyg parhad atchweliad) sy'n mynd i'r afael â sut y trefnwyd pobl i grwpiau.

• Dadansoddi achosion cyflawn yn dawel. Gollwng pawb â data coll ac adrodd y gweddill fel pe bai'n gyfan. Ateb: adroddwch faint a phatrwm colled a phrofwch a yw casgliadau'n goroesi tybiaethau gwahanol amdani.

• Tybio heb brofi. Cyflwyno gwahaniaeth-mewn-gwahaniaethau heb wirio tueddiadau cyfochrog, neu offeryn heb ddadlau ei allanoldeb. Ateb: mynnwch y profion ffugio a thrinwch eu habsenoldeb fel diffyg.

• Cyffredinoli effaith leol. Cymhwyso amcangyfrif sy'n seiliedig ar drothwy neu offeryn at boblogaeth na ddisgrifiodd erioed. Ateb: nodwch effaith pwy yw'r rhif ac arfarnwch ddilysrwydd allanol ar wahân i ddilysrwydd mewnol.

• Theatr arwyddocâd ystadegol. Trin gwerth p fel y penderfyniad, gan anwybyddu maint effaith ac ansicrwydd. Ateb: mynnwch feintiau ac ysbeidiau hyder wedi'u fframio yn erbyn y gyllideb a'r boblogaeth go iawn.

• Ôl-ffitio'r dadansoddiad. Chwilio set ddata bresennol nes y daw canlyniad dymunol i'r golwg, yna ei gyflwyno fel pe bai wedi'i gynllunio ymlaen llaw. Ateb: cofrestrwch y dyluniad a'r cynllun dadansoddi cyn gweld y data.

Model aeddfedrwydd

Rhestr wirio

• Datganwch y gwrthffeithiol: beth yw'r grŵp cymharu, a pham y byddai'n dangos yr hyn y byddai'r grŵp a driniwyd wedi'i wneud heb yr ymyriad?
• Adnabyddwch y ffactorau dryslyd a'r mecanweithiau dethol tebygol, ac enwch y dyluniad sy'n mynd i'r afael â hwy.
• Cadarnhewch fod y dyluniad wedi'i gynllunio cyn casglu'r data, â chynllun dadansoddi ysgrifenedig.
• Ar gyfer y dull a ddewiswyd, enwch y dybiaeth allweddol (tueddiadau cyfochrog, allanoldeb offeryn, dim trin trothwy) a gwiriwch y dystiolaeth drosti.
• Mynnwch y profion ffugio, nid dim ond yr amcangyfrif pennawd.
• Gofynnwch faint o ddata a oedd ar goll, a yw'r rhai coll yn wahanol i'r rhai a arsylwyd, a sut y trinwyd colled.
• Gwiriwch fod y model yn ffitio siâp y data (costau cam, cyfrifon, goroesi wedi'i sensro).
• Sefydlwch effaith pwy yw'r amcangyfrif (lleol neu gyffredinol) cyn ei gyffredinoli.
• Darllenwch faint yr effaith a'r ysbaid hyder yn erbyn eich cyllideb a'ch poblogaeth, nid dim ond y gwerth p.
• Arfarnwch ddilysrwydd allanol — a fyddai hyn yn dal yn fy system i? — ar wahân i ddilysrwydd mewnol.
• Ceisiwch ail linell o dystiolaeth ar gyfer unrhyw benderfyniad sy'n ddigon mawr i fod yn bwysig.
• Cofnodwch yr honiad achosol, y dyluniad, ei dybiaeth allweddol, a'r hyn a fyddai'n newid eich meddwl.

Ffynonellau allweddol

• Andrew Jones, "Health Econometrics" — yn Culyer & Newhouse (gol.), Handbook of Health Economics — yr arolwg safonol o ddulliau ar gyfer data iechyd a'u peryglon.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — y testun cyfeirio ar gyfer dulliau panel a lled-arbrofol.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — triniaeth hygyrch o gasgliad achosol, arbrofion naturiol, a'r pedwar dyluniad lled-arbrofol.
• Datganiad CONSORT — safonau adrodd ar gyfer treialon rheoledig ar hap, defnyddiol fel rhestr wirio arfarnu.
• Economics Network, Health Economics for Teachers — modiwl econometreg — https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, a chyhoeddiadau systemau iechyd WHO — ffynonellau'r data iechyd arferol y mae llawer o econometreg iechyd yn cael ei ymarfer arno.

Cyfeiriadau

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics