স্বাস্থ্য অর্থমিতি

এটি স্বাস্থ্য অর্থনীতিতে কেন গুরুত্বপূর্ণ

একজন স্বাস্থ্য নেতা যে প্রায় প্রতিটি সিদ্ধান্ত নেন তা একটি কার্যকারণ দাবির উপর নির্ভর করে: এই ওষুধ মৃত্যুহার কমায়, সেই ক্লিনিক ভর্তি কমিয়েছে, এই প্রদান সংস্কার অপেক্ষার সময় কমিয়েছে। দাবিটি বলা সহজ এবং অর্জন করা কঠিন। দুটি রোগীর গোষ্ঠী একটি ফলাফলে ভিন্ন, কিন্তু কেউ হস্তক্ষেপ করার আগেও তারা ভিন্ন ছিল — অসুস্থ মানুষ আরও যত্ন খোঁজে, ধনী অঞ্চলগুলি প্রথমে নতুন প্রোগ্রাম গ্রহণ করে, অনুপ্রাণিত ক্লিনিকগুলি পাইলটের জন্য স্বেচ্ছাসেবক হয়। মূল সমস্যা হল আমরা কখনো পর্যবেক্ষণ করি না চিকিৎসা করা গোষ্ঠীর সাথে কী ঘটত যদি এটি চিকিৎসা না করা হত। এই বিষয়ে সবকিছু সেই অনুপস্থিত তুলনাকে সততার সাথে আনুমানিক করার বিষয়ে।

ঝুঁকি সরকারি অর্থ এবং জীবন। একটি আত্মবিশ্বাসী কিন্তু ভুল কার্যকারণ দাবি একটি বাজেটকে এমন একটি হস্তক্ষেপের দিকে পাঠায় যা কিছুই করে না, বা এমন একটি প্রত্যাহার করে যা নীরবে জীবন বাঁচিয়েছে; উভয় ভুলের মূল্য ফলাফলে দেওয়া হয়, শুধু মুদ্রায় নয়। যখন একজন জাতীয় পেয়ার একটি আঞ্চলিক মূল্যায়নের শক্তিতে জাতীয়ভাবে একটি প্রোগ্রাম রোল আউট করার সিদ্ধান্ত নেন, সেই মূল্যায়নের কার্যকারণ যুক্তির মান একটি সাফল্য স্কেল করা এবং একটি বিভ্রম স্কেল করার মধ্যে পার্থক্য। নেতারা খুব কমই নিজেরা বিশ্লেষণ চালান, কিন্তু তারা এটি কমিশন করেন, অর্থায়ন করেন, এবং এর উপর কাজ করেন — যার অর্থ মূল্যায়ন দক্ষতা তাদের নিজস্ব মালিকানাধীন।

এই বিষয়টি ইচ্ছাকৃতভাবে একটি পরিসংখ্যান পাঠ্যপুস্তক নয় (বইয়ের সুযোগ সীমানা দেখুন)। এটি একটি অনুমানকারী উৎপন্ন করবে না বা সফটওয়্যার সুপারিশ করবে না। এর কাজ আপনাকে বলা প্রতিটি পদ্ধতি কীসের জন্য, একটি কার্যকারণ দাবি কখন আপনার বিশ্বাসের যোগ্য, এবং কীভাবে অর্থমিতিক কাজ কমিশন এবং মূল্যায়ন করতে হয় যাতে আপনি একটি পরিশীলিত মডেল দ্বারা প্রতারিত না হন বা ভালো প্রমাণকে অবজ্ঞা না করেন। যেখানে বিশ্লেষণ একটি সিদ্ধান্ত-বিশ্লেষণাত্মক মডেল খাওয়ায় যা ডেটার বাইরে এক্সট্রাপোলেট করে, সেই যন্ত্রপাতি বিষয় ২.২ — মডেলিং-এর অন্তর্গত; এখানে আমরা অনুমান নিজেই এবং এটি কার্যকারণ কিনা তার সাথে থাকি।

মূল ধারণাসমূহ

স্বাস্থ্য অর্থমিতি হল সম্পর্ক পরিমাপ করতে এবং, সবচেয়ে বেশি, কার্যকারণ অনুমানকে সমর্থন করতে স্বাস্থ্য এবং স্বাস্থ্যসেবা ডেটায় পরিসংখ্যানগত পদ্ধতির প্রয়োগ — একটি জিনিসে পরিবর্তন অন্যটিতে পরিবর্তন ঘটায় তা প্রতিষ্ঠিত করার প্রচেষ্টা, শুধু এর সাথে চলাচল করা নয়। শৃঙ্খলা বিদ্যমান কারণ স্বাস্থ্য ডেটায় সংঘটন প্রচুর এবং বিভ্রান্তিকর, এবং কারণ পরিষ্কার পরীক্ষা যা প্রশ্নটি নিষ্পত্তি করবে তা প্রায়ই অসম্ভব, অনৈতিক, বা বহন-অযোগ্য।

কেন্দ্রীয় বাধা হল কনফাউন্ডিং: একটি তৃতীয় কারণ যা কে হস্তক্ষেপ পায় এবং তারা কী ফলাফল অনুভব করে উভয়কেই প্রভাবিত করে, একটি সংঘটন তৈরি করে যা কার্যকারণ নয়। একটি নতুন অ্যান্টিকোয়াগুল্যান্টে থাকা রোগীরা পুরাতনটিতে থাকাদের চেয়ে কম রক্তক্ষরণ করতে পারে ওষুধটি নিরাপদ বলে নয় বরং সতর্ক প্রেসক্রাইবাররা এটি কম-ঝুঁকির রোগীদের দিয়েছিল বলে। বয়স, বঞ্চনা, রোগের তীব্রতা, এবং চিকিৎসকের বিচার স্বাস্থ্য ডেটায় নিরলস কনফাউন্ডার, এবং যা আপনি পরিমাপ করতে পারেন তা খুব কমই সবচেয়ে গুরুত্বপূর্ণ।

ঘনিষ্ঠভাবে সম্পর্কিত হল নির্বাচন পক্ষপাত: আপনার চিকিৎসা এবং তুলনা গোষ্ঠীর মানুষদের একটি প্রক্রিয়া দ্বারা তাদের মধ্যে বাছাই করা হয়েছিল — স্ব-নির্বাচন, ক্লিনিকাল ট্রায়াজ, ভূগোল, প্রশাসনিক যোগ্যতা — যা নিজেই ফলাফলের সাথে সম্পর্কিত। ডিজিটালি আত্মবিশ্বাসীদের দ্বারা ব্যবহৃত একটি টেলিহেলথ সেবা আংশিকভাবে ভালো ফলাফল দেখাবে কারণ এর ব্যবহারকারীরা শুরুতে সুস্থ এবং আরও সংগঠিত ছিল। নির্বাচন ডেটা থেকে ঝেড়ে ফেলার একটি উপদ্রব নয়; এটি প্রায়শই সম্পূর্ণ গল্প, এবং পদ্ধতির কাজ এটি নিরপেক্ষ করা।

এটি করার সোনালী মান হল র‍্যান্ডমাইজড নিয়ন্ত্রিত ট্রায়াল (RCT), যেখানে অংশগ্রহণকারীদের সুযোগ দ্বারা চিকিৎসা বা নিয়ন্ত্রণে বরাদ্দ করা হয়। র‍্যান্ডমাইজেশন কাজ করে কারণ, গড়ে, এটি আপনি যে কনফাউন্ডারগুলি সম্পর্কে চিন্তা করেছিলেন এবং যেগুলি করেননি উভয়কেই ভারসাম্য করে, তাই ফলাফলে যেকোনো পার্থক্য হস্তক্ষেপের জন্য দায়ী করা যেতে পারে। যে শৃঙ্খলাগুলি একটি ট্রায়াল রক্ষা করে — রোগীদের সেই গোষ্ঠীতে বিশ্লেষণ করা যেখানে তারা র‍্যান্ডমাইজ করা হয়েছিল, চিকিৎসা-করার-উদ্দেশ্য বিশ্লেষণ নামে পরিচিত, এবং ফলাফল পূর্ব-নিবন্ধন করা — নির্বাচন সমস্যাকে পার্শ্বদ্বার দিয়ে ফিরে আসা বন্ধ করতে বিদ্যমান।

ট্রায়াল সবসময় সম্ভব নয়, তাই স্বাস্থ্য অর্থমিতির অনেকটাই পর্যবেক্ষণমূলক ডেটা দিয়ে কাজ করে এবং একটি প্রাকৃতিক পরীক্ষা থেকে বিশ্বাসযোগ্যতা ধার করে — একটি পরিস্থিতি যেখানে অংশগ্রহণকারীদের নিয়ন্ত্রণের বাইরে কিছু (একটি নীতি রোল-আউট, একটি যোগ্যতা নিয়ম, একটি লটারি, একটি হঠাৎ মূল্য পরিবর্তন) এলোমেলো বরাদ্দের অনুকরণ করে। চারটি অর্ধ-পরীক্ষামূলক ডিজাইন পুনরাবৃত্তি হয়:

• পার্থক্য-ইন-পার্থক্য একটি হস্তক্ষেপের সংস্পর্শে আসা একটি গোষ্ঠীর ফলাফলে পরিবর্তনকে একই সময়কালে একটি অসংস্পর্শিত তুলনা গোষ্ঠীর পরিবর্তনের বিরুদ্ধে তুলনা করে। এর বিশ্বাসযোগ্যতা "সমান্তরাল প্রবণতা" অনুমানের উপর নির্ভর করে: হস্তক্ষেপ ছাড়া, দুটি গোষ্ঠীর ফলাফল তালে চলত।
• যন্ত্রগত ভেরিয়েবল অনুমান একটি ভেরিয়েবল ব্যবহার করে যা কে চিকিৎসা পায় তা প্রভাবিত করে কিন্তু চিকিৎসার মাধ্যম ছাড়া ফলাফলে কোনো সরাসরি প্রভাব নেই — একটি ক্লিনিকের দূরত্ব, একটি লটারি নম্বর, এলোমেলোভাবে নিযুক্ত একজন পর্যালোচক — কনফাউন্ডিং থেকে মুক্ত চিকিৎসায় বৈচিত্র্য বিচ্ছিন্ন করতে। একটি বৈধ যন্ত্র প্রকৃতপক্ষে খুঁজে পাওয়া কঠিন এবং সম্পূর্ণভাবে পরীক্ষা করা অসম্ভব।
• রিগ্রেশন অবিচ্ছিন্নতা একটি তীক্ষ্ণ থ্রেশহোল্ড কাজে লাগায় — একটি ঝুঁকি স্কোর, একটি বয়স, একটি আয় কাট-অফ — যা যোগ্যতা নির্ধারণ করে। লাইনের ঠিক উপরে এবং ঠিক নিচের মানুষ হস্তক্ষেপে অ্যাক্সেস ছাড়া বাস্তবিকভাবে একই, তাই তাদের তুলনা করা একটি স্থানীয় পরীক্ষার আনুমানিক।
• প্যানেল ডেটা পদ্ধতি সময়ের সাথে একই ইউনিট (রোগী, হাসপাতাল, অঞ্চল) অনুসরণ করে, বিশ্লেষককে একটি ইউনিট সম্পর্কে স্থির সবকিছুর জন্য নিয়ন্ত্রণ করতে দেয় যা কখনো পরিবর্তিত হয় না, এবং তাই কনফাউন্ডারের একটি বড় শ্রেণী অপসারণ করে যা একটি একক ক্রস-সেকশন পারে না।

অবশেষে, অনুপস্থিত ডেটা এই সবের নিচে বসে। রোগীরা ঝরে পড়ে, রেকর্ড অসম্পূর্ণ, এবং — গুরুত্বপূর্ণভাবে — ডেটা অনুপস্থিত হওয়ার কারণ প্রায়ই ফলাফলের সাথে সম্পর্কিত, তাই অসম্পূর্ণ রেকর্ড বাদ দেওয়া নীরবে নির্বাচন পক্ষপাত পুনঃপ্রবর্তন করে। অনুপস্থিতি কীভাবে পরিচালনা করা হয়েছিল তা যেকোনো অধ্যয়নের প্রথম জিজ্ঞাসা করা প্রশ্নগুলির মধ্যে একটি।

সর্বোত্তম অনুশীলন

1. পদ্ধতি থেকে নয়, পাল্টা-বাস্তবতা থেকে শুরু করুন। কেউ একটি অনুমানকারী বেছে নেওয়ার আগে, প্রশ্নটি বাধ্য করুন: তুলনাটি কী, এবং কেন আমাদের বিশ্বাস করা উচিত এটি আমাদের বলে হস্তক্ষেপ ছাড়া কী ঘটত? প্রতিটি ফলাফলের বিশ্বাসযোগ্যতা সেই তুলনা থেকে প্রবাহিত হয়, এর উপরের পরিসংখ্যানের পরিশীলনতা থেকে নয়। যদি উত্তরটি অস্পষ্ট হয়, কোনো কৌশল এটি উদ্ধার করবে না।

2. ডেটা সংগ্রহের আগে ডিজাইন কমিশন করুন, পরে নয়। সবচেয়ে শক্তিশালী কার্যকারণ দাবিগুলি অগ্রিম পরিকল্পিত ডিজাইন থেকে আসে — একটি র‍্যান্ডমাইজড রোল-আউট, একটি পূর্ব-নিবন্ধিত বিশ্লেষণ, একটি সম্মত তুলনা গোষ্ঠী — কারণ বিদ্যমান ডেটায় একটি পদ্ধতি রেট্রোফিট করা বিশ্লেষককে একটি চাটুকার ফলাফল না আসা পর্যন্ত অনুসন্ধান চালিয়ে যেতে আমন্ত্রণ জানায়। যখন আপনি একটি মূল্যায়নে অর্থায়ন করেন, ডিজাইন পর্যায়ে অর্থায়ন করুন এবং ফলাফল বিদ্যমান হওয়ার আগে একটি লিখিত বিশ্লেষণ পরিকল্পনার উপর জোর দিন।

3. যেখানে নৈতিক এবং সম্ভব সেখানে র‍্যান্ডমাইজেশন পছন্দ করুন, স্তরিত রোল-আউট সহ। যদি একটি প্রোগ্রাম একবারে সবার কাছে পৌঁছাতে না পারে, লটারি দ্বারা অ্যাক্সেসের ক্রম বরাদ্দ করুন বা কোন সাইট প্রথমে যায় তা র‍্যান্ডমাইজ করুন। এটি একটি অপারেশনাল সীমাবদ্ধতাকে সামান্য অতিরিক্ত ব্যয়ে একটি বিশ্বাসযোগ্য পরীক্ষায় পরিণত করে, এবং এটি প্রায়ই কাউকে চিকিৎসা অস্বীকার করার চেয়ে বেশি প্রতিরক্ষাযোগ্য। সবচেয়ে বিশ্বস্ত নীতি মূল্যায়নগুলির অনেকগুলি কেবল রোল-আউট যা নির্বাচিত হওয়ার পরিবর্তে র‍্যান্ডমাইজ করা হয়েছিল।

4. প্রতিটি অর্ধ-পরীক্ষামূলক ডিজাইনকে অনুমানের একটি বান্ডেল হিসাবে বিবেচনা করুন, এবং তাদের নিজেরটি বলতে বাধ্য করুন। পার্থক্য-ইন-পার্থক্য সমান্তরাল প্রবণতার উপর বাঁচে বা মরে; যন্ত্রগত ভেরিয়েবল একটি যন্ত্রের উপর যা প্রাসঙ্গিক এবং বহির্জাত উভয়ই; রিগ্রেশন অবিচ্ছিন্নতা মানুষ থ্রেশহোল্ডের কোন দিকে অবতরণ করে তা কারসাজি না করার উপর। একজন ভালো বিশ্লেষক তাদের ফলাফল যে অনুমানের উপর নির্ভর করে তার নাম দেন এবং এর জন্য প্রমাণ দেখান; একজন দুর্বল এটি লুকান। স্পষ্টভাবে জিজ্ঞাসা করুন, "এটি কার্যকারণ হওয়ার জন্য কী সত্য হতে হবে, এবং আপনি কীভাবে জানেন এটি সত্য?"

5. শুধু শিরোনাম অনুমান নয়, মিথ্যাকরণ পরীক্ষা দাবি করুন। বিশ্বাসযোগ্য কার্যকারণ কাজ তার নিজের দাবি ভাঙার চেষ্টা করে: তারা সমান্তরাল ছিল কিনা তা পরীক্ষা করতে হস্তক্ষেপ-পূর্ব প্রবণতা প্লট করা, নকল থ্রেশহোল্ডে লাফ পরীক্ষা করা যেখানে কোনোটি বিদ্যমান থাকা উচিত নয়, যন্ত্রটি সেই ফলাফলগুলি ভবিষ্যদ্বাণী করে না যা এটি স্পর্শ করা উচিত নয় তা দেখানো। এই চেকগুলির উপস্থিতি সৎ কাজের সংকেত দেয়; তাদের অনুপস্থিতি একটি সতর্কতা প্রভাবটি যতই বড় বা স্বাগত হোক না কেন।

6. অনুপস্থিত ডেটা এবং ঝরে পড়া কীভাবে পরিচালনা করা হয়েছিল তা জানার উপর জোর দিন। জিজ্ঞাসা করুন কত ভগ্নাংশ বিষয় হারিয়ে গেছে, অনুপস্থিতরা পর্যবেক্ষিতদের থেকে ভিন্ন কিনা, এবং বিশ্লেষণ তাদের সম্পর্কে কী অনুমান করেছে। "সম্পূর্ণ-কেস বিশ্লেষণ" — নীরবে একটি ফাঁক সহ যেকোনো ব্যক্তিকে বাদ দেওয়া — নির্বাচন পক্ষপাত একটি অধ্যয়নে পুনঃপ্রবেশ করার সবচেয়ে সাধারণ উপায় যা পরিষ্কার দেখাচ্ছিল। অনুপস্থিত ডেটা ফলাফলকে যে দিকে ঠেলে দেবে তা প্রায়ই জানা যায় এমনকি যখন ডেটা নিজে জানা যায় না।

7. স্বাস্থ্য ডেটার আকারের সাথে মডেল মেলান। ব্যয় কিছু খুব ব্যয়বহুল রোগী দ্বারা বাঁকানো, ব্যবহার একটি গণনা যা নেতিবাচক হতে পারে না, এবং বেঁচে থাকার ডেটা সেন্সর করা হয় যখন ফলো-আপ শেষ হয়। প্রমিত রৈখিক পদ্ধতিগুলি এগুলি ভুলভাবে মেলায় এবং বিভ্রান্ত করতে পারে; প্রতিটির জন্য বিশেষায়িত মডেল বিদ্যমান। আপনার গণিত জানার প্রয়োজন নেই, কিন্তু "এই পদ্ধতি কি ব্যয় ডেটার জন্য উপযুক্ত?" জিজ্ঞাসা করার জন্য এবং একটি প্রকৃত উত্তর আশা করার জন্য যথেষ্ট জানা উচিত।

8. চিকিৎসাপ্রাপ্তদের উপর প্রভাবকে আপনি স্কেল করতে পারেন এমন প্রভাব থেকে আলাদা করুন। অনেক অর্ধ-পরীক্ষামূলক পদ্ধতি একটি স্থানীয় প্রভাব অনুমান করে — একটি থ্রেশহোল্ডের কাছে মানুষের উপর প্রভাব, বা যাদের উপর একটি যন্ত্র ঘটনাক্রমে সরে গেছে — যা সবার কাছে হস্তক্ষেপ রোল আউট করার প্রভাবের সমান নাও হতে পারে। বয়স ৬৫ এর চারপাশে একটি রিগ্রেশন অবিচ্ছিন্নতা আপনাকে ৬৫ বছর বয়সীদের সম্পর্কে বলে, ৪০ বছর বয়সীদের সম্পর্কে নয়। একটি সংখ্যা সাধারণীকরণ করার আগে, জিজ্ঞাসা করুন এটি প্রকৃতপক্ষে কার প্রভাব।

9. পরিসংখ্যানগত তাৎপর্যকে সিদ্ধান্ত প্রাসঙ্গিকতা থেকে আলাদা করুন। একটি সুনির্দিষ্টভাবে অনুমান করা ছোট প্রভাব পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ এবং অর্থনৈতিকভাবে তুচ্ছ হতে পারে; একটি বড় প্রভাব অনিশ্চিত হতে পারে তবুও বিপদ বিবেচনা করে কাজ করার যোগ্য। প্রভাব আকার, এর আত্মবিশ্বাস অন্তর্বর্তী, এবং আপনার বাজেট ও জনসংখ্যার স্কেলে এর অর্থ কী জিজ্ঞাসা করুন — শুধু একটি p-মান থ্রেশহোল্ড পরিষ্কার করেছে কিনা তা নয়। সিদ্ধান্ত মাত্রা এবং অনিশ্চয়তা একসাথে ঘুরে।

10. অভ্যন্তরীণ বৈধতার মতোই সাবধানে বাহ্যিক বৈধতা বিচার করুন। একটি অধ্যয়ন তার নিজস্ব সেটিংয়ে কার্যকারণ সম্পর্কে নির্ভুল হতে পারে তবুও আপনার কাছে অপ্রাসঙ্গিক যদি জনসংখ্যা, স্বাস্থ্য ব্যবস্থা, বা বেসলাইন ঝুঁকি ভিন্ন হয়। একটি যন্ত্র যা একটি মার্কিন বীমা বাজারে কাজ করেছিল বা একটি স্ক্যান্ডিনেভিয়ান রেজিস্ট্রিতে বৈধ একটি ডিজাইন বিভিন্ন ডেটা এবং প্রণোদনা সহ একটি নিম্ন-আয়ের সেটিংয়ে স্থানান্তরিত নাও হতে পারে। "এই প্রভাব কি আমার ব্যবস্থায় ধরে থাকবে?" জিজ্ঞাসা করুন "এই প্রভাব কি প্রকৃত?" থেকে একটি পৃথক প্রশ্ন হিসাবে।

11. একটি একক অধ্যয়ন বিশ্বাস করার পরিবর্তে ত্রিভুজিত করুন। যখন বিভিন্ন অনুমান সহ বেশ কয়েকটি পদ্ধতি — একটি ট্রায়াল, একটি পার্থক্য-ইন-পার্থক্য, একটি যন্ত্রগত-ভেরিয়েবল অনুমান — একই দিকে নির্দেশ করে, আত্মবিশ্বাস অর্জিত হয়; যখন তারা বিচ্যুত হয়, মতবিরোধ কোন অনুমান ব্যর্থ হচ্ছে সে সম্পর্কে তথ্য। গুরুত্বপূর্ণ হওয়ার জন্য যথেষ্ট বড় যেকোনো সিদ্ধান্তের জন্য একাধিক প্রমাণ লাইন কমিশন বা খুঁজুন, এবং একটি একক আকর্ষণীয় ফলাফলকে একটি অনুমান হিসাবে বিবেচনা করুন, একটি উপসংহার নয়।

12. মূল্যায়ন লিখুন এবং সিদ্ধান্তের সাথে রাখুন। রেকর্ড করুন আপনি কোন কার্যকারণ দাবির উপর নির্ভর করেছিলেন, কোন ডিজাইন এটি উৎপাদন করেছিল, এটি কোন অনুমানের উপর বিশ্রাম নিয়েছিল, এবং কী আপনার মন পরিবর্তন করবে। এটি সংগঠনকে রক্ষা করে যখন ফলাফল পরে চ্যালেঞ্জ করা হয়, এবং এটি ফলাফল জানার আগে, পরে নয়, অনিশ্চয়তা বলার শৃঙ্খলা বাধ্য করে। একটি মূল্যায়ন যার যুক্তি নথিভুক্ত নয় তা একটি চার্ট সহ একটি মতামত।

আপনার দলের সাথে আলোচনা করার প্রশ্নসমূহ

1. সর্বশেষ বড় সিদ্ধান্তের জন্য যা আমরা প্রমাণ দিয়ে ন্যায্যতা দিয়েছিলাম, তুলনা গোষ্ঠী কী ছিল — এবং হস্তক্ষেপ ছাড়া এটি কি প্রকৃতপক্ষে একই কাজ করত? এই প্রশ্নটি সরাসরি পাল্টা-বাস্তবতায় যায়, যেখানে বেশিরভাগ দুর্বল প্রমাণ লুকিয়ে থাকে। শিরোনাম সংখ্যা অতিক্রম করে কাঠামোতে ঠেলে দিন: কার সাথে কাকে তুলনা করা হয়েছিল, তারা কীভাবে সেই গোষ্ঠীতে বাছাই করা হয়েছিল, এবং যদি কিছু পরিবর্তিত না হত তাহলে চিকিৎসা করা গোষ্ঠীর কী ঘটত। সৎ উত্তেজনা হল সবচেয়ে সুবিধাজনক তুলনা — একই গোষ্ঠীতে আগে-এবং-পরে, বা স্বেচ্ছাসেবক বনাম অ-স্বেচ্ছাসেবক — সাধারণত সবচেয়ে কনফাউন্ডেড, এবং যারা একটি হস্তক্ষেপ বেছে নিয়েছিল বা বেছে নেওয়া হয়েছিল তারা প্রায় সবসময় যারা করেননি তাদের থেকে ভিন্ন। একটি ভালো আলোচনা নির্দিষ্ট কনফাউন্ডার (তীব্রতা, বঞ্চনা, প্রেরণা, চিকিৎসক নির্বাচন) নাম দেয় এবং জিজ্ঞাসা করে ডিজাইন তাদের নিরপেক্ষ করেছে নাকি কেবল উপেক্ষা করেছে। আপনি যে উত্তর খুঁজছেন তা "অধ্যয়নটি সহকর্মী-পর্যালোচিত ছিল" নয় বরং কেন তুলনাটি বিশ্বাসযোগ্য তার একটি স্পষ্ট বিবরণ — বা এটি নয় এমন একটি স্বীকৃতি, এবং সিদ্ধান্তটি প্রমাণ হিসাবে সজ্জিত বিচারের উপর বিশ্রাম নিয়েছিল।

2. যখন আমরা একটি মূল্যায়ন কমিশন করি, আমরা কি একটি ডিজাইন কিনছি নাকি শুধু একটি প্রতিবেদন? বেশিরভাগ সংগঠন একটি ডেলিভারেবল হিসাবে মূল্যায়ন সংগ্রহ করে যা প্রোগ্রাম চালু হওয়ার পরে আসে, যা ঠিক তখন যখন সবচেয়ে শক্তিশালী কার্যকারণ ডিজাইনগুলি ইতিমধ্যে অসম্ভব হয়ে গেছে। উত্তেজনা হল অপারেশনাল জরুরিতা — এখন চালু করুন, পরে পরিমাপ করুন — এবং প্রমাণমূলক মানের মধ্যে, যা প্রথম রোগী নথিভুক্ত হওয়ার আগে নেওয়া সিদ্ধান্তের উপর নির্ভর করে: একটি র‍্যান্ডমাইজড রোল-আউট ক্রম, একটি সম্মত তুলনা অঞ্চল, একটি পূর্ব-নিবন্ধিত ফলাফল এবং বিশ্লেষণ পরিকল্পনা। আলোচনা করুন আপনার কমিশনিং প্রক্রিয়া বিশ্লেষকদের ডিজাইন আকার দিতে যথেষ্ট আগে আমন্ত্রণ জানায়, নাকি শুধুমাত্র ফলাফল যুক্তিসঙ্গত করার জন্য যথেষ্ট দেরিতে। একটি সৎ উত্তর এই সত্যের মুখোমুখি হয় যে একটি সস্তা পূর্ববর্তী মূল্যায়ন কোনোটির চেয়ে খারাপ হতে পারে যদি এটি মিথ্যা আত্মবিশ্বাস দেয়, এবং এটি দেখে চুক্তি এবং সময়সীমা আপনার সংগঠনে ভালো ডিজাইনকে কাঠামোগতভাবে সম্ভব বা কাঠামোগতভাবে অসম্ভব করে তোলে কিনা।

3. আমরা কোন দাবির উপর কাজ করতে অস্বীকার করব, এবং কোন প্রমাণ আমাদের মন পরিবর্তন করবে? এই প্রশ্নটি পরীক্ষা করে দল প্রমাণকে একটি প্রকৃত ইনপুট হিসাবে বিবেচনা করে নাকি ইতিমধ্যে নেওয়া একটি সিদ্ধান্তের জন্য সজ্জা হিসাবে। অগ্রিম নাম দেওয়া, একটি দাবিকে অবশ্যই পূরণ করতে হবে এমন প্রমাণের মান — এবং যে আবিষ্কার আপনাকে পথ বিপরীত করতে বাধ্য করবে — নিশ্চিতকরণ পক্ষপাত এবং আমরা পছন্দ করি এমন ফলাফলকে স্বাগত জানানো নির্বাচনী উৎসাহের বিরুদ্ধে সবচেয়ে শক্তিশালী রক্ষক। প্রকৃত উত্তেজনা হল স্টেকহোল্ডাররা খুব কমই প্রিয় প্রোগ্রাম এবং অপ্রিয়গুলিকে একই প্রমাণমূলক বারে রাখে; একটি প্রিয় উদ্যোগ সন্দেহের সুবিধা পায়, একটি হুমকিদায়ক আলাদা করে নেওয়া হয়। একটি সৎ আলোচনা প্রকাশ করে সেই দ্বৈত মান আপনার সংগঠনে কোথায় বাস করে, বিভিন্ন আকারের সিদ্ধান্তের জন্য "কাজ করার জন্য যথেষ্ট ভালো" কী তার সাথে সম্মত হয়, এবং স্বীকার করে যে কী আপনার মন পরিবর্তন করবে তার প্রতি পূর্ব-প্রতিশ্রুতি অস্বস্তিকর ঠিক কারণ এটি হতে পারে।

4. যখন আমরা অন্য একটি ব্যবস্থা থেকে একটি আকর্ষণীয় ফলাফল ধার করি, আমরা কী অনুমান করছি এর সাথে স্থানান্তরিত হয়? একটি অধ্যয়ন তার নিজস্ব সেটিংয়ে কার্যকারণ সম্পর্কে নিখুঁত হতে পারে এবং এখনো আপনাকে বিভ্রান্ত করতে পারে, কারণ যে জনসংখ্যা, স্বাস্থ্য ব্যবস্থা, বেসলাইন ঝুঁকি, এবং প্রণোদনা এর প্রভাব উৎপাদন করেছে তা আপনারটির মতো কিছুই নাও হতে পারে। উত্তেজনা হল সবচেয়ে চিত্তাকর্ষক প্রমাণ সাধারণত অন্য কোথাও থেকে আসে — একটি মার্কিন বীমা বাজার, একটি স্ক্যান্ডিনেভিয়ান রেজিস্ট্রি, একটি ভালোভাবে-সম্পদায়িত ট্রায়াল সাইট — এবং এর কঠোরতা আপনাকে এর ফিট জিজ্ঞাসাবাদ করার পরিবর্তে সংখ্যাটি আমদানি করতে প্রলুব্ধ করে। আলোচনা করুন প্রভাব পুনরুৎপাদন করার জন্য আপনার জনসংখ্যা এবং ব্যবস্থার সম্পর্কে কী সত্য হতে হবে: বেসলাইন ঝুঁকি কি তুলনাযোগ্য, আপনার কর্মীবাহিনীর কি হস্তক্ষেপ যে ক্ষমতা ধরে নিয়েছিল তা আছে, আপনার রোগীরা কি একই সীমাবদ্ধতার মুখোমুখি? একটি সৎ উত্তর বাহ্যিক বৈধতাকে অভ্যন্তরীণ বৈধতা থেকে একটি পৃথক প্রশ্ন হিসাবে বিবেচনা করে, একটি দূরবর্তী অধ্যয়নকে কেবল দূরবর্তী বলে ছাড় দেওয়ার প্রতিফলন প্রতিরোধ করে, এবং মূল সেটিংয়ের কোন বৈশিষ্ট্যগুলি কাজ করছে তার নাম দেয়। সবচেয়ে খারাপ ফলাফল হল এমন একটি প্রভাব স্কেল করা যা সেখানে প্রকৃত ছিল এবং এখানে অনুপস্থিত, তারপর হস্তক্ষেপকে দোষারোপ করা স্থানান্তরের পরিবর্তে।

5. আমাদের ডেটার কতটা অনুপস্থিত, এবং আমরা কি নিশ্চিত ফাঁকগুলি নির্দোষ? প্রতিটি প্রকৃত স্বাস্থ্য ডেটাসেটে গর্ত রয়েছে — রোগীরা ঝরে পড়ে, রেকর্ড অসম্পূর্ণ, ফলো-আপ শেষ হয় — এবং বিপজ্জনক ক্ষেত্রটি হল যখন ডেটা অনুপস্থিত হওয়ার কারণ নিজেই ফলাফলের সাথে সম্পর্কিত, তাই অসম্পূর্ণ রেকর্ড বাদ দেওয়া নীরবে একটি অধ্যয়নে নির্বাচন পক্ষপাত চোরাচালান করে যা পরিষ্কার দেখাচ্ছিল। উত্তেজনা হল "সম্পূর্ণ-কেস" বিশ্লেষণের সুবিধার মধ্যে, যা বেশিরভাগ সরঞ্জামে ডিফল্ট এবং একটি ফলাফলের দ্রুততম পথ, এবং যারা অদৃশ্য হয়ে গেছে তারা যারা থেকে গেছে তাদের থেকে পদ্ধতিগতভাবে ভিন্ন কিনা জিজ্ঞাসা করার সততার মধ্যে। আলোচনা করুন কত ভগ্নাংশ বিষয় হারিয়ে গেছে, অনুপস্থিতরা পর্যবেক্ষিতদের চেয়ে অসুস্থ, দরিদ্র, বা কম সম্পৃক্ত দেখায় কিনা, এবং বিশ্লেষণ তাদের সম্পর্কে কী অনুমান করেছে। একটি ভালো উত্তর প্রায়ই বলতে পারে অনুপস্থিত ডেটা কোন দিকে অনুমানকে ঠেলে দেবে এমনকি যখন মানগুলি নিজে অপুনরুদ্ধারযোগ্য, এবং এটি একটি উচ্চ বা অব্যাখ্যাত ঝরে পড়ার হারকে একটি পাদটীকার পরিবর্তে সম্পূর্ণ দাবির প্রতি একটি হুমকি হিসাবে বিবেচনা করে। নাম দেওয়ার ব্যর্থতা এমন একটি দল যা বেঁচে থাকাদের প্রতিবেদন করে যেন তারা সম্পূর্ণ জনসংখ্যা।

6. আমরা কি কখনো একটি একক অধ্যয়নের উপর কাজ করি, এবং কী আমাদের প্রমাণের দ্বিতীয় লাইনের জন্য অপেক্ষা করাবে? একটি কার্যকারণ দাবিতে আত্মবিশ্বাস বিভিন্ন উপায়ে ব্যর্থ হওয়া পদ্ধতি জুড়ে চুক্তি থেকে আসা উচিত — একটি ট্রায়াল, একটি পার্থক্য-ইন-পার্থক্য, একই দিকে নির্দেশ করা একটি যন্ত্রগত-ভেরিয়েবল অনুমান — যতই ভালোভাবে সম্পাদিত হোক না কেন একটি একক আকর্ষণীয় ফলাফল থেকে নয়। উত্তেজনা হল ত্রিভুজীকরণে সংগঠন খুব কমই ব্যয় করতে চায় এমন সময় এবং অর্থ খরচ হয়, এবং একটি একাকী চিত্তাকর্ষক আবিষ্কার একটি দ্বিতীয় লাইন কমিশন করার আগে কাজ করার চাপ তৈরি করে। আলোচনা করুন কোন সিদ্ধান্তগুলি একাধিক প্রমাণ লাইন দাবি করার জন্য যথেষ্ট বড়, এবং পদ্ধতিগুলি একমত না হলে আপনি কী করেন — কারণ বিচ্যুতি গড় করে দূরে করার শব্দ নয় বরং কোন অনুমান ব্যর্থ হচ্ছে তার তথ্য। একটি সৎ উত্তর পরীক্ষার যোগ্য একটি অনুমানকে কাজ করার যোগ্য একটি উপসংহার থেকে আলাদা করে, এবং সেই গতি প্রতিরোধ করে যা একটি একক মূল্যায়নকে নিষ্পত্তিকৃত সত্যে পরিণত করে কেবল এটি প্রথমে এসেছিল এবং মানুষ যা আশা করেছিল তা বলেছিল বলে।

অনুশীলনে: একটি স্বাস্থ্য অর্থনীতি উদাহরণ

মধ্য ইউরোপের একটি কাল্পনিক উচ্চ-মধ্যম-আয়ের দেশ সোলভেনিয়ার স্বাস্থ্য মন্ত্রণালয়, একটি সামাজিক-বীমা ব্যবস্থা সহ, জানতে চায় একটি নতুন সম্প্রদায় হৃদযন্ত্র-ব্যর্থতা প্রোগ্রাম — স্রাবের পরে রোগীদের পর্যবেক্ষণকারী নার্স-নেতৃত্বাধীন ক্লিনিক — ব্যয়বহুল জরুরি পুনঃভর্তি হ্রাস করে কিনা। বারোটি অঞ্চল ইতিমধ্যে এটি গ্রহণ করেছে; আটটি করেনি। একটি প্রারম্ভিক অভ্যন্তরীণ প্রতিবেদন গ্রহণকারী বনাম অ-গ্রহণকারী অঞ্চলে পুনঃভর্তির হার তুলনা করেছে, গ্রহণকারীদের মধ্যে ১৮ শতাংশ কম পেয়েছে, এবং জাতীয় রোল-আউট সুপারিশ করেছে। মন্ত্রণালয়ের স্বাস্থ্য অর্থনীতিবিদকে শত শত মিলিয়ন কোরুনা প্রতিশ্রুতিবদ্ধ হওয়ার আগে দাবিটি পরীক্ষা করতে বলা হয়েছে।

তার প্রথম প্রশ্ন পাল্টা-বাস্তবতা। গ্রহণকারী অঞ্চলগুলি এলোমেলোভাবে বেছে নেওয়া হয়নি: তারা ধনী ছিল, ভালোভাবে-সংগঠিত প্রাথমিক যত্ন ছিল, এবং প্রোগ্রামটি শুরু হওয়ার আগে নিম্ন পুনঃভর্তি হার ছিল। সরল তুলনা তাই প্রোগ্রামের প্রভাবকে সেই অঞ্চলগুলির পূর্ব-বিদ্যমান সুবিধার সাথে বিভ্রান্ত করে যা এটি গ্রহণ করতে পারত — একটি পাঠ্যপুস্তক নির্বাচন সমস্যা। একটি সরল গ্রহণকারী-বনাম-অ-গ্রহণকারী পার্থক্য দুটিকে আলাদা করতে পারে না, এবং ১৮ শতাংশ সংখ্যা একটি কার্যকারণ প্রভাব হিসাবে অব্যাখ্যাযোগ্য।

তিনি পরিবর্তে একটি পার্থক্য-ইন-পার্থক্য ডিজাইন প্রস্তাব করেন, প্রতিটি অঞ্চলের গ্রহণ তারিখের আগে এবং পরে বেশ কয়েক বছরের আঞ্চলিক পুনঃভর্তি ডেটা ব্যবহার করে। এটি গ্রহণকারী অঞ্চলে পুনঃভর্তির পরিবর্তনকে অ-গ্রহণকারী অঞ্চলের পরিবর্তনের বিরুদ্ধে তুলনা করে, যেকোনো স্থির আঞ্চলিক সুবিধা পার্থক্য করে বের করে দেয়। গুরুত্বপূর্ণভাবে, তিনি প্রথমে গ্রহণ-পূর্ব প্রবণতা প্লট করেন: যদি গ্রহণকারীরা প্রোগ্রামের আগে ইতিমধ্যে অ-গ্রহণকারীদের চেয়ে দ্রুত উন্নতি করছিল, সমান্তরাল-প্রবণতা অনুমান ব্যর্থ হয় এবং ডিজাইন অবৈধ। প্রবণতাগুলি কাছাকাছি কিন্তু অভিন্ন নয়, তাই তিনি সেই সতর্কতা লুকিয়ে না রেখে দৃশ্যমান সহ অনুমান প্রতিবেদন করেন।

কারণ গ্রহণ তারিখগুলি অঞ্চল জুড়ে স্তরিত ছিল, তিনি প্যানেল কাঠামোও কাজে লাগান, প্রতিটি অঞ্চল সম্পর্কে স্থির সবকিছুর জন্য এবং একটি খারাপ ইনফ্লুয়েঞ্জা শীতের মতো জাতীয়-ব্যাপী ধাক্কার জন্য নিয়ন্ত্রণ করে যা একবারে প্রতিটি অঞ্চলে আঘাত করেছিল। পার্থক্য-ইন-পার্থক্য অনুমান পুনঃভর্তিতে ৭ শতাংশ হ্রাসে আসে — প্রকৃত এবং থাকার যোগ্য, কিন্তু শিরোনাম পরিসংখ্যানের অর্ধেকেরও কম, কারণ মূল ১৮ শতাংশের বেশিরভাগ অঞ্চলগুলির পূর্ব-বিদ্যমান সুবিধা ছিল, প্রোগ্রাম নয়। তিনি তারপর অনুপস্থিত ডেটা পরীক্ষা করেন: দুটি অঞ্চলে রূপান্তর বছরে অসম্পূর্ণ কোডিং ছিল, এবং তিনি দেখান ফলাফল সেই অঞ্চল-বছরগুলি অন্তর্ভুক্ত বা বাদ দেওয়া হোক কিনা তা ধরে থাকে।

তিনি অনুমানটি কী এবং কী নয় সে সম্পর্কে খোলামেলা। এটি প্রাথমিক-যত্ন ক্ষমতা সহ অঞ্চলে গড় প্রভাব যা নার্স-নেতৃত্বাধীন ক্লিনিক চালাতে পারে; আটটি অ-গ্রহণকারী অঞ্চল দরিদ্র এবং পাতলা-কর্মীযুক্ত, তাই সেখানে প্রভাব ছোট হতে পারে বা মডেল মূল্য নির্ধারণ করে না এমন বিনিয়োগের প্রয়োজন হতে পারে। এটি বাহ্যিক বৈধতার একটি প্রশ্ন, এবং তিনি ৭ শতাংশ স্থানান্তরিত হবে ধরে নেওয়ার পরিবর্তে এটি স্পষ্টভাবে চিহ্নিত করেন। মন্ত্রণালয়ের প্রতি তার সুপারিশ "জাতীয়ভাবে রোল আউট করুন" বা "এটি পরিত্যাগ করুন" নয়, বরং "যেখানে প্রাথমিক-যত্ন ক্ষমতা বিদ্যমান সেখানে এটি অর্থায়ন করুন, এবং অবশিষ্ট অঞ্চলে রোল-আউট ক্রম র‍্যান্ডমাইজ করুন যাতে পরবর্তী মূল্যায়ন স্থানান্তর প্রশ্নটি নিষ্পত্তি করতে পারে যা এটি পারে না।" ৭ শতাংশ হ্রাসের সাশ্রয়ী-কার্যকারিতা তারপর একটি সিদ্ধান্ত মডেলে (বিষয় ২.২ — মডেলিং) হস্তান্তর করা হয় যা কার্যকারণ অনুমানকে একটি ব্যয়-প্রতি-ফলাফলে পরিণত করে যার উপর পেয়ার কাজ করতে পারে।

চারটি ক্ষেত্র দৃষ্টিভঙ্গি

স্টার্টআপ

একটি ডিজিটাল-স্বাস্থ্য স্টার্টআপ সাধারণত একজন ক্রেতা বা নিয়ন্ত্রকের কাছ থেকে একটি প্রমাণ দাবি হিসাবে স্বাস্থ্য অর্থমিতির সাথে দেখা করে: প্রমাণ করুন আপনার অ্যাপ প্রকৃতপক্ষে ফলাফল পরিবর্তন করে, শুধু সম্পৃক্ত ব্যবহারকারীরা ভালো করে তা নয়। প্রলোভন হল উৎসাহী প্রারম্ভিক গ্রহণকারীদের একটি আগে-এবং-পরে চার্ট, যা প্রায় বিশুদ্ধ নির্বাচন পক্ষপাত — সেই ব্যবহারকারীরা যাই হোক উন্নতি করত। বিশ্বাসযোগ্য, বহন-সাশ্রয়ী পদক্ষেপ হল একটি ছোট র‍্যান্ডমাইজড পাইলট বা সাইট জুড়ে একটি স্তরিত রোল-আউট, চালুর আগে ডিজাইন করা, যা পণ্যের প্রভাবকে এটি বেছে নেওয়া মানুষদের প্রেরণা থেকে বিচ্ছিন্ন করে। প্রতিষ্ঠাতারা যারা প্রথম মোতায়েনে একটি পরিষ্কার তুলনা তৈরি করেন তারা পরে একটি চাটুকার বিশ্লেষণ রেট্রোফিট করাদের চেয়ে পেয়ারদের সাথে অনেক বেশি ওজন বহন করেন।

ছোট ব্যবসা

একটি প্রতিষ্ঠিত ছোট প্রদানকারী — একটি গ্রুপ প্র্যাক্টিস, একটি একক ক্লিনিক, একটি সম্প্রদায় ফার্মেসি, একটি ছোট ডিভাইস সরবরাহকারী — এর প্রকৃত অপারেশনাল ডেটা আছে কিন্তু নিজস্ব অর্ধ-পরীক্ষামূলক অধ্যয়ন চালানোর জন্য না আয়তন না বিশ্লেষণাত্মক দল, এবং চারপাশে র‍্যান্ডমাইজ করার কোনো লঞ্চ মুহূর্ত নেই। এর অর্থমিতিক কাজ বেশিরভাগ মূল্যায়ন: একজন প্রস্তুতকারক, কমিশনার, বা পেশাদার সংস্থা এর সামনে যে প্রমাণ রাখে তা পড়া এবং বিচার করা একটি দাবি করা প্রভাব তার নিজের মতো একটি কেসলোডে ধরে থাকবে কিনা। সবচেয়ে স্থির পদক্ষেপ হল বাহ্যিক-বৈধতা প্রশ্নটি কঠোরভাবে জিজ্ঞাসা করা — এটি কি আমার মতো একটি জনসংখ্যা, স্টাফিং স্তর, এবং ব্যবস্থায় দেখানো হয়েছিল? — এটি সম্পদায়ন করতে পারে না এমন কার্যকারণ বিশ্লেষণ চেষ্টা করার পরিবর্তে। যেখানে এটি প্রমাণ তৈরি করে, এর নিজস্ব সাইট বা চিকিৎসকদের জুড়ে একটি স্তরিত পরিবর্তন, বা একটি তুলনামূলক প্রতিবেশী অনুশীলনের বিরুদ্ধে সততার সাথে পড়া একটি সরল আগে-এবং-পরে, একটি চাটুকার অভ্যন্তরীণ চার্টের চেয়ে বেশি বিশ্বাসযোগ্য। একটি পেয়ারের প্রমাণ বারের পিছনে ছুটে চলা একটি স্টার্টআপের বিপরীতে, এর প্রণোদনা এমন কিছু গ্রহণ এড়ানো যা নীরবে একটি কেসলোডে দুষ্প্রাপ্য সময় এবং অর্থ অপচয় করে যা কখনো অধ্যয়নের সাথে মেলেনি।

উদ্যোগ

একটি বড় প্রদানকারী বা বীমাকারী সমৃদ্ধ দীর্ঘমেয়াদী ডেটায় বসে — দাবি, রেকর্ড, রেজিস্ট্রি — এবং এর সুবিধা স্কেলে প্যানেল এবং অর্ধ-পরীক্ষামূলক বিশ্লেষণ চালানোর ক্ষমতা। ঝুঁকি হল ডেটা ভলিউমকে কার্যকারণ স্পষ্টতার সাথে ভুল করা: এক মিলিয়ন কনফাউন্ডেড রেকর্ড এখনো আপনাকে বলতে পারে না একটি যত্ন-ব্যবস্থাপনা প্রোগ্রাম কাজ করেছে কিনা, এবং একটি ভালো-সম্পদায়িত বিশ্লেষণাত্মক দল পরিশীলিত মডেল তৈরি করতে পারে যা নির্বাচন পক্ষপাতকে আপাত প্রভাবে ধুয়ে ফেলে। পরিপক্ক উদ্যোগ অভ্যন্তরীণ কর্মক্ষমতা প্রতিবেদনকে কার্যকারণ মূল্যায়ন থেকে আলাদা করে, দুটিকে ভিন্ন মান ধারণ করে, এবং তার নিজস্ব অপারেশনাল রোল-আউটে র‍্যান্ডমাইজড বা স্তরিত ডিজাইন তৈরি করে যাতে রুটিন পরিবর্তন শুধু ড্যাশবোর্ড নয় বিশ্বাসযোগ্য প্রমাণ উৎপাদন করে।

সরকার

একটি মন্ত্রণালয় বা জাতীয় পেয়ার সর্বোচ্চ-বিপদের কার্যকারণ সিদ্ধান্ত নেয় — জাতীয়ভাবে একটি প্রোগ্রাম স্কেলিং, একটি সুবিধা অর্থায়ন বা প্রত্যাহার — এবং প্রায়ই নীতি লিভার রয়েছে যা প্রাকৃতিক পরীক্ষা তৈরি করে: যোগ্যতা থ্রেশহোল্ড, পর্যায়ক্রমিক রোল-আউট, আঞ্চলিক পাইলট। এর শৃঙ্খলা শুরু থেকে সেই রোল-আউটগুলিকে মূল্যায়ন হিসাবে ডিজাইন করা উচিত, যাতে অনিবার্য পর্যায়ক্রমিকতা একটি অব্যাখ্যাযোগ্য তুলনার পরিবর্তে একটি পার্থক্য-ইন-পার্থক্য বা একটি রিগ্রেশন অবিচ্ছিন্নতা দেয়। সরকার একটি দায়িত্বও বহন করে যা অন্যান্য খাত করে না: রাজনৈতিক অসামঞ্জস্যের বিরুদ্ধে রক্ষা করা যেখানে প্রিয় প্রোগ্রামগুলি যাচাই এড়িয়ে যায় এবং হুমকিদায়ক আবিষ্কার বিতর্কিত হয়, মূল্যায়ন মান প্রতি পূর্ব-প্রতিশ্রুতিবদ্ধ হয়ে এবং নীতিকে চাটুকার করুক বা না করুক ফলাফল প্রকাশ করে।

সাধারণ ব্যর্থতার ধরন

• সংঘটনকে কার্যকারণের সাথে বিভ্রান্ত করা। চিকিৎসা করা রোগীরা কেন চিকিৎসা করা হয়েছিল তা সম্বোধন না করে ভালো করেছে বলে প্রতিবেদন করা। সমাধান: পাল্টা-বাস্তবতা থেকে শুরু করুন এবং যেকোনো পার্থক্য ব্যাখ্যা করার আগে কনফাউন্ডার নাম দিন।

• ফলাফলের উপর নির্বাচন করা। স্বেচ্ছাসেবকদের অ-স্বেচ্ছাসেবকদের সাথে, সম্পূর্ণকারীদের ঝরে পড়াদের সাথে, বা গ্রহণকারীদের অ-গ্রহণকারীদের সাথে তুলনা করা যেন গোষ্ঠীগুলি বিনিময়যোগ্য। সমাধান: একটি ডিজাইন ব্যবহার করুন (র‍্যান্ডমাইজেশন, পার্থক্য-ইন-পার্থক্য, যন্ত্রগত ভেরিয়েবল, রিগ্রেশন অবিচ্ছিন্নতা) যা মানুষকে কীভাবে গোষ্ঠীতে বাছাই করা হয়েছিল তা সম্বোধন করে।

• নীরব সম্পূর্ণ-কেস বিশ্লেষণ। অনুপস্থিত ডেটা সহ সবাইকে বাদ দেওয়া এবং অবশিষ্টটি যেন সম্পূর্ণ তা প্রতিবেদন করা। সমাধান: অনুপস্থিতির পরিমাণ এবং প্যাটার্ন প্রতিবেদন করুন এবং এটি সম্পর্কে বিভিন্ন অনুমানের অধীনে উপসংহার বেঁচে থাকে কিনা পরীক্ষা করুন।

• পরীক্ষা ছাড়া অনুমান করা। সমান্তরাল প্রবণতা পরীক্ষা না করে একটি পার্থক্য-ইন-পার্থক্য উপস্থাপন করা, বা এর বহির্জাততা যুক্তি না দিয়ে একটি যন্ত্র। সমাধান: মিথ্যাকরণ পরীক্ষা দাবি করুন এবং তাদের অনুপস্থিতিকে একটি ত্রুটি হিসাবে বিবেচনা করুন।

• একটি স্থানীয় প্রভাব সাধারণীকরণ করা। একটি থ্রেশহোল্ড-ভিত্তিক বা যন্ত্র-ভিত্তিক অনুমান একটি জনসংখ্যায় প্রয়োগ করা যা এটি কখনো বর্ণনা করেনি। সমাধান: সংখ্যাটি কার প্রভাব তা বলুন এবং অভ্যন্তরীণ বৈধতা থেকে আলাদাভাবে বাহ্যিক বৈধতা মূল্যায়ন করুন।

• পরিসংখ্যানগত-তাৎপর্য থিয়েটার। একটি p-মানকে সিদ্ধান্ত হিসাবে বিবেচনা করা, প্রভাব আকার এবং অনিশ্চয়তা উপেক্ষা করা। সমাধান: প্রকৃত বাজেট এবং জনসংখ্যার বিরুদ্ধে ফ্রেম করা মাত্রা এবং আত্মবিশ্বাস অন্তর্বর্তী দাবি করুন।

• বিশ্লেষণ রেট্রোফিট করা। একটি সন্তোষজনক ফলাফল না আসা পর্যন্ত একটি বিদ্যমান ডেটাসেট অনুসন্ধান করা, তারপর এটিকে যেন পূর্ব-পরিকল্পিত ছিল উপস্থাপন করা। সমাধান: ডেটা দেখার আগে ডিজাইন এবং বিশ্লেষণ পরিকল্পনা পূর্ব-নিবন্ধন করুন।

পরিপক্বতা মডেল

চেকলিস্ট

• পাল্টা-বাস্তবতা বলুন: তুলনা গোষ্ঠী কী, এবং কেন এটি দেখাবে হস্তক্ষেপ ছাড়া চিকিৎসা করা গোষ্ঠী কী করত?
• সম্ভাব্য কনফাউন্ডার এবং নির্বাচন প্রক্রিয়া চিহ্নিত করুন, এবং তাদের সম্বোধন করা ডিজাইনের নাম দিন।
• নিশ্চিত করুন ডেটা সংগ্রহের আগে ডিজাইন পরিকল্পিত হয়েছিল, একটি লিখিত বিশ্লেষণ পরিকল্পনা সহ।
• নির্বাচিত পদ্ধতির জন্য, মূল অনুমান (সমান্তরাল প্রবণতা, যন্ত্র বহির্জাততা, কোনো থ্রেশহোল্ড কারসাজি নেই) নাম দিন এবং এর জন্য প্রমাণ পরীক্ষা করুন।
• শুধু শিরোনাম অনুমান নয়, মিথ্যাকরণ পরীক্ষা দাবি করুন।
• জিজ্ঞাসা করুন কত ডেটা অনুপস্থিত ছিল, অনুপস্থিতরা পর্যবেক্ষিতদের থেকে ভিন্ন কিনা, এবং অনুপস্থিতি কীভাবে পরিচালনা করা হয়েছিল।
• পরীক্ষা করুন মডেল ডেটার আকারের সাথে মেলে (বাঁকা ব্যয়, গণনা, সেন্সর করা বেঁচে থাকা)।
• সাধারণীকরণের আগে অনুমান কার প্রভাব (স্থানীয় বা সাধারণ) তা প্রতিষ্ঠা করুন।
• শুধু p-মান নয়, আপনার বাজেট এবং জনসংখ্যার বিরুদ্ধে প্রভাব আকার এবং আত্মবিশ্বাস অন্তর্বর্তী পড়ুন।
• অভ্যন্তরীণ বৈধতা থেকে আলাদাভাবে বাহ্যিক বৈধতা মূল্যায়ন করুন — এটি কি আমার ব্যবস্থায় ধরে থাকবে?
• গুরুত্বপূর্ণ হওয়ার জন্য যথেষ্ট বড় যেকোনো সিদ্ধান্তের জন্য প্রমাণের দ্বিতীয় লাইন খুঁজুন।
• কার্যকারণ দাবি, ডিজাইন, এর মূল অনুমান, এবং কী আপনার মন পরিবর্তন করবে তা রেকর্ড করুন।

Key sources

• Andrew Jones, "Health Econometrics" — in Culyer & Newhouse (eds.), Handbook of Health Economics — the standard survey of methods for health data and their pitfalls.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — the reference text for panel and quasi-experimental methods.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — an accessible treatment of causal inference, natural experiments, and the four quasi-experimental designs.
• CONSORT Statement — reporting standards for randomised controlled trials, useful as an appraisal checklist.
• Economics Network, Health Economics for Teachers — econometrics module — https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, and WHO health-systems publications — sources of the routine health data on which much health econometrics is practised.

References

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics