Econometria da Saúde

Por que isso importa na economia da saúde

Quase toda decisão que um líder de saúde toma repousa em uma afirmação causal: este medicamento reduz a mortalidade, aquela clínica reduziu admissões, esta reforma de pagamento cortou tempos de espera. A afirmação é fácil de declarar e difícil de merecer. Dois grupos de pacientes diferem em um resultado, mas também diferiam antes que qualquer um interviesse — pessoas mais doentes buscam mais cuidado, regiões mais ricas adotam novos programas primeiro, clínicas motivadas se voluntariam para pilotos. O problema central é que nunca observamos o que teria acontecido ao grupo tratado se não tivesse sido tratado. Tudo neste tópico é sobre aproximar essa comparação ausente honestamente.

Os riscos são dinheiro público e vidas. Uma afirmação causal confiante mas errada envia um orçamento em direção a uma intervenção que não faz nada, ou retira uma que silenciosamente salvava vidas; ambos os erros são pagos em resultados, não apenas em moeda. Quando um pagador nacional decide expandir um programa nacionalmente com base na força de uma avaliação regional, a qualidade do raciocínio causal dessa avaliação é a diferença entre escalar um sucesso e escalar uma ilusão. Os líderes raramente executam a análise eles próprios, mas a comissionam, financiam, e agem sobre ela — o que significa que a habilidade de avaliação é deles para possuir.

Este tópico deliberadamente não é um livro didático de estatística (ver os limites de escopo do livro). Não derivará um estimador ou recomendará software. Seu trabalho é dizer a você para que cada método serve, quando uma afirmação causal merece sua confiança, e como comissionar e avaliar trabalho econométrico para que você não seja enganado por um modelo sofisticado nem seja dispensivo com boa evidência. Onde a análise alimenta um modelo de análise de decisão que extrapola além dos dados, essa maquinaria pertence ao Tópico 2.2 — Modelagem; aqui permanecemos com a estimativa em si e se ela é causal.

Conceitos centrais

A econometria da saúde é a aplicação de métodos estatísticos a dados de saúde e assistência à saúde para medir relações e, acima de tudo, apoiar a inferência causal — a tentativa de estabelecer que uma mudança em uma coisa causa uma mudança em outra, em vez de meramente se mover com ela. A disciplina existe porque a correlação em dados de saúde é abundante e enganosa, e porque o experimento limpo que resolveria a questão é frequentemente impossível, antiético, ou inacessível.

O obstáculo central é a confusão: um terceiro fator que influencia tanto quem recebe uma intervenção quanto qual resultado experimenta, criando uma associação que não é causal. Pacientes em um novo anticoagulante podem sangrar menos do que aqueles no antigo não porque o medicamento é mais seguro mas porque prescritores cautelosos o deram a pacientes de menor risco. Idade, privação, severidade da doença, e julgamento clínico são fatores de confusão implacáveis em dados de saúde, e os que você pode medir raramente são os que mais importam.

Intimamente relacionado está o viés de seleção: as pessoas em seus grupos tratado e de comparação foram classificadas neles por um processo — autosseleção, triagem clínica, geografia, elegibilidade administrativa — que ele próprio está relacionado ao resultado. Um serviço de telessaúde usado pelos digitalmente confiantes mostrará bons resultados parcialmente porque seus usuários eram mais saudáveis e mais organizados para começar. A seleção não é um incômodo a ser espanado dos dados; é frequentemente toda a história, e o trabalho do método é neutralizá-la.

O padrão-ouro para fazer isso é o ensaio clínico randomizado (RCT), no qual os participantes são alocados ao tratamento ou controle ao acaso. A randomização funciona porque, em média, equilibra tanto os fatores de confusão nos quais você pensou quanto os que não pensou, então qualquer diferença no resultado pode ser atribuída à intervenção. As disciplinas que protegem um ensaio — analisar pacientes no grupo para o qual foram randomizados, conhecida como análise de intenção de tratar, e pré-registrar o resultado — existem para impedir que o problema de seleção volte a rastejar pela porta lateral.

Os ensaios nem sempre são viáveis, então boa parte da econometria da saúde trabalha com dados observacionais e toma emprestado credibilidade de um experimento natural — uma situação onde algo fora do controle dos participantes (um lançamento de política, uma regra de elegibilidade, uma loteria, uma mudança súbita de preço) imita alocação aleatória. Quatro designs quase-experimentais recorrem:

• A diferença-em-diferenças compara a mudança nos resultados para um grupo exposto a uma intervenção contra a mudança para um grupo de comparação não exposto ao longo do mesmo período. Sua credibilidade repousa na premissa de "tendências paralelas": que, na ausência da intervenção, os resultados dos dois grupos teriam se movido em passo.
• A estimação de variáveis instrumentais usa uma variável que afeta quem é tratado mas não tem efeito direto no resultado exceto através do tratamento — distância a uma clínica, um número de loteria, um revisor designado aleatoriamente — para isolar variação no tratamento que está livre de confusão. Um instrumento válido é genuinamente difícil de encontrar e impossível de testar completamente.
• A descontinuidade de regressão explora um limiar nítido — uma pontuação de risco, uma idade, um corte de renda — que determina elegibilidade. Pessoas logo acima e logo abaixo da linha são praticamente idênticas exceto pelo acesso à intervenção, então compará-las aproxima um experimento local.
• Os métodos de dados em painel seguem as mesmas unidades (pacientes, hospitais, regiões) ao longo do tempo, permitindo que o analista controle por tudo estável sobre uma unidade que nunca muda, e assim remova uma grande classe de fatores de confusão que uma única seção transversal não pode.

Finalmente, dados ausentes se situam sob todos esses. Pacientes desistem, registros estão incompletos, e — crucialmente — a razão pela qual os dados estão ausentes está frequentemente relacionada ao resultado, então descartar registros incompletos silenciosamente reintroduz viés de seleção. Como a ausência foi tratada é uma das primeiras perguntas a fazer de qualquer estudo.

Melhores práticas

1. Comece pela contrafactual, não pelo método. Antes que qualquer um escolha um estimador, force a pergunta: qual é a comparação, e por que deveríamos acreditar que nos diz o que teria acontecido sem a intervenção? A credibilidade de todo resultado flui dessa comparação, não da sofisticação da estatística em cima dela. Se a resposta é vaga, nenhuma técnica a resgatará.

2. Comissione o design antes que os dados sejam coletados, não depois. As afirmações causais mais fortes vêm de designs planejados antecipadamente — um lançamento randomizado, uma análise pré-registrada, um grupo de comparação acordado — porque adaptar um método a dados existentes convida o analista a continuar procurando até que um resultado favorável apareça. Quando você financia uma avaliação, financie a fase de design e insista em um plano de análise escrito antes que resultados existam.

3. Prefira randomização onde for ética e viável, incluindo lançamento escalonado. Se um programa não pode alcançar todos de uma vez, aloque a ordem de acesso por loteria ou randomize quais sites vão primeiro. Isso transforma uma restrição operacional em um experimento crível a pouco custo extra, e frequentemente é mais defensável do que negar tratamento a alguém. Muitas das avaliações de política mais confiáveis são simplesmente lançamentos que foram randomizados em vez de escolhidos.

4. Trate todo design quase-experimental como um pacote de premissas, e faça-os declarar as suas. A diferença-em-diferenças vive ou morre em tendências paralelas; as variáveis instrumentais em um instrumento que é tanto relevante quanto exógeno; a descontinuidade de regressão em pessoas não manipulando de qual lado do limiar caem. Um bom analista nomeia a premissa da qual seu resultado depende e mostra evidência para ela; um fraco a esconde. Pergunte, explicitamente, "o que precisa ser verdade para isso ser causal, e como você sabe que é?"

5. Demande os testes de falsificação, não apenas a estimativa de manchete. O trabalho causal crível tenta quebrar sua própria afirmação: plotando tendências pré-intervenção para verificar que eram paralelas, testando saltos em limiares falsos onde nenhum deveria existir, mostrando que o instrumento não prevê resultados que não deveria tocar. A presença dessas verificações sinaliza trabalho honesto; sua ausência é um aviso independentemente de quão grande ou bem-vindo o efeito.

6. Insista em saber como dados ausentes e desistência foram tratados. Pergunte que fração de sujeitos foi perdida, se os ausentes diferem dos observados, e que premissa a análise fez sobre eles. "Análise de caso completo" — silenciosamente descartando qualquer pessoa com uma lacuna — é a forma mais comum pela qual o viés de seleção reentra em um estudo que parecia limpo. A direção que os dados ausentes empurrariam o resultado é frequentemente conhecível mesmo quando os valores em si não são recuperáveis.

7. Combine o modelo com a forma dos dados de saúde. Os custos são distorcidos por alguns pacientes muito caros, a utilização é uma contagem que não pode ser negativa, e os dados de sobrevivência são censurados quando o acompanhamento termina. Métodos lineares padrão se ajustam mal a estes e podem enganar; modelos especializados existem para cada um. Você não precisa saber a matemática, mas deveria saber o suficiente para perguntar "este método é apropriado para dados de custo?" e esperar uma resposta real.

8. Separe o efeito naqueles tratados do efeito que você poderia escalar. Muitos métodos quase-experimentais estimam um efeito local — o impacto em pessoas próximas a um limiar, ou naquelas que um instrumento aconteceu de mover — que pode não igualar o efeito de expandir a intervenção para todos. Uma descontinuidade de regressão em torno dos 65 anos diz a você sobre pessoas de 65 anos, não de 40. Antes de generalizar um número, pergunte de quem é realmente o efeito.

9. Distinga significância estatística de relevância de decisão. Um efeito minúsculo precisamente estimado pode ser estatisticamente significativo e economicamente trivial; um efeito grande pode ser incerto mas ainda valer a pena agir dados os riscos. Peça o tamanho do efeito, seu intervalo de confiança, e o que significa na escala de seu orçamento e população — não meramente se um valor-p passou um limiar. A decisão gira em torno de magnitude e incerteza juntas.

10. Julgue a validade externa tão cuidadosamente quanto a validade interna. Um estudo pode ser impecável sobre causação em seu próprio contexto mas irrelevante para o seu se a população, sistema de saúde, ou risco de linha de base diferem. Um instrumento que funcionou em um mercado de seguro dos EUA ou um design validado em um registro escandinavo pode não se transferir para um contexto de baixa renda com dados e incentivos diferentes. Pergunte "este efeito se manteria em meu sistema?" como uma pergunta separada de "este efeito é real?"

11. Triangule em vez de confiar em um único estudo. Quando vários métodos com premissas diferentes — um ensaio, uma diferença-em-diferenças, uma estimativa de variáveis instrumentais — apontam da mesma forma, a confiança é merecida; quando divergem, o desacordo é informação sobre quais premissas estão falhando. Comissione ou busque mais de uma linha de evidência para qualquer decisão grande o suficiente para importar, e trate um resultado impressionante isolado como uma hipótese, não uma conclusão.

12. Escreva a avaliação e mantenha-a com a decisão. Registre qual afirmação causal você confiou, qual design a produziu, em qual premissa repousou, e o que mudaria sua mente. Isso protege a organização quando resultados são posteriormente desafiados, e força a disciplina de declarar incerteza antes, não depois, que o resultado seja conhecido. Uma avaliação cujo raciocínio está indocumentado é uma opinião com um gráfico.

Perguntas para discutir com sua equipe

1. Para a última grande decisão que justificamos com evidência, qual foi o grupo de comparação — e ele realmente teria feito a mesma coisa sem a intervenção? Esta pergunta vai direto à contrafactual, que é onde a maioria da evidência fraca se esconde. Empurre além do número de manchete para a estrutura: quem foi comparado com quem, como foram classificados nesses grupos, e o que teria acontecido ao grupo tratado se nada tivesse mudado. As tensões honestas são que a comparação mais conveniente — antes-e-depois no mesmo grupo, ou voluntários versus não voluntários — é geralmente a mais confundida, e que as pessoas que escolheram ou foram escolhidas para uma intervenção quase sempre diferem daquelas que não foram. Uma boa discussão nomeia os fatores de confusão específicos em jogo (severidade, privação, motivação, seleção do clínico) e pergunta se o design os neutralizou ou meramente os ignorou. A resposta que você está procurando não é "o estudo foi revisado por pares" mas uma descrição clara de por que a comparação é crível — ou uma admissão de que não é, e que a decisão repousou em julgamento vestido de evidência.

2. Quando comissionamos uma avaliação, estamos comprando um design ou apenas um relatório? A maioria das organizações procura avaliação como um entregável que chega depois que o programa está funcionando, o que é precisamente quando os designs causais mais fortes já se tornaram impossíveis. A tensão é entre urgência operacional — lance agora, meça depois — e qualidade evidencial, que depende de decisões tomadas antes que o primeiro paciente seja inscrito: uma ordem de lançamento randomizada, uma região de comparação acordada, um resultado e plano de análise pré-registrados. Discuta se seu processo de comissionamento convida analistas cedo o suficiente para moldar o design, ou apenas tarde o suficiente para racionalizar o resultado. Uma resposta honesta confronta o fato de que uma avaliação retrospectiva barata pode ser pior do que nenhuma se empresta falsa confiança, e observa se contratos e cronogramas tornam bom design estruturalmente possível ou estruturalmente impossível em sua organização.

3. Qual afirmação nos recusaríamos a agir, e qual evidência mudaria nossas mentes? Esta pergunta testa se a equipe trata evidência como um insumo genuíno ou como decoração para uma decisão já tomada. Nomear, antecipadamente, o padrão de prova que uma afirmação deve atender — e a descoberta que faria você reverter o curso — é a guarda mais forte contra viés de confirmação e contra o entusiasmo seletivo que saúda resultados que gostamos. A tensão real é que as partes interessadas raramente mantêm programas favorecidos e desfavorecidos ao mesmo padrão evidencial; uma iniciativa amada recebe o benefício da dúvida, uma ameaçadora é dissecada. Uma discussão honesta traz à superfície onde esses padrões duplos vivem em sua organização, concorda o que "bom o suficiente para agir" significa para decisões de tamanhos diferentes, e aceita que pré-comprometer-se com o que mudaria sua mente é desconfortável precisamente porque pode.

4. Quando tomamos emprestado um resultado impressionante de outro sistema, o que estamos assumindo se transfere com ele? Um estudo pode ser impecável sobre causação em seu próprio contexto e ainda enganá-lo, porque a população, sistema de saúde, risco de linha de base, e incentivos que produziram seu efeito podem não ser nada como os seus. A tensão é que a evidência mais impressionante geralmente vem de outro lugar — um mercado de seguro dos EUA, um registro escandinavo, um site de ensaio bem recursado — e seu próprio rigor o tenta a importar o número em vez de interrogar seu ajuste. Discuta o que precisaria ser verdade sobre sua população e sistema para o efeito reproduzir: o risco de linha de base é comparável, sua força de trabalho tem a capacidade que a intervenção assumiu, seus pacientes enfrentam as mesmas restrições? Uma resposta honesta trata a validade externa como uma pergunta separada da validade interna, resiste ao reflexo de descontar um estudo distante meramente porque é distante, e nomeia quais características do contexto original estão fazendo o trabalho. O pior resultado é escalar um efeito que era real lá e ausente aqui, depois culpar a intervenção em vez da transferência.

5. Quanto de nossos dados está ausente, e temos certeza de que as lacunas são inocentes? Todo conjunto de dados de saúde real tem buracos — pacientes desistem, registros estão incompletos, o acompanhamento termina — e o caso perigoso é quando a razão pela qual os dados estão ausentes está ela própria relacionada ao resultado, de modo que descartar registros incompletos silenciosamente contrabandeia viés de seleção de volta para um estudo que parecia limpo. A tensão é entre a conveniência da análise de "caso completo", que é o padrão na maioria das ferramentas e a rota mais rápida para um resultado, e a honestidade de perguntar se as pessoas que desapareceram diferem sistematicamente daquelas que permaneceram. Discuta que fração de sujeitos foi perdida, se os ausentes parecem mais doentes, mais pobres, ou menos engajados do que os observados, e o que a análise assumiu sobre eles. Uma boa resposta frequentemente pode dizer em qual direção os dados ausentes empurrariam a estimativa mesmo quando os valores em si são irrecuperáveis, e trata uma taxa de desistência alta ou não explicada como uma ameaça a toda a afirmação em vez de uma nota de rodapé. A falha a nomear é uma equipe que relata os sobreviventes como se fossem toda a população.

6. Alguma vez agimos com base em um único estudo, e o que nos faria esperar por uma segunda linha de evidência? A confiança em uma afirmação causal deveria vir de acordo entre métodos que falham de formas diferentes — um ensaio, uma diferença-em-diferenças, uma estimativa de variáveis instrumentais apontando na mesma direção — não de um único resultado impressionante por mais bem executado que seja. A tensão é que a triangulação custa tempo e dinheiro que a organização raramente quer gastar, e uma descoberta impressionante isolada cria pressão para agir antes que uma segunda linha possa ser comissionada. Discuta quais decisões são grandes o suficiente para exigir mais de uma linha de evidência, e o que você faz quando métodos discordam — porque a divergência não é ruído a ser calculado na média mas informação sobre quais premissas estão falhando. Uma resposta honesta distingue uma hipótese que vale a pena testar de uma conclusão que vale a pena agir, e resiste ao ímpeto que transforma uma única avaliação em fato estabelecido simplesmente porque chegou primeiro e disse o que as pessoas esperavam.

Na prática: um exemplo de economia da saúde

O Ministério da Saúde de Solvênia, um fictício país de renda média-alta na Europa Central com um sistema de seguro social, quer saber se um novo programa comunitário de insuficiência cardíaca — clínicas lideradas por enfermeiros que monitoram pacientes após a alta — reduz readmissões de emergência custosas. Doze regiões já o adotaram; oito não. Um relatório interno inicial comparou taxas de readmissão em regiões adotantes versus não adotantes, encontrou-as 18 por cento mais baixas nas adotantes, e recomendou expansão nacional. O economista da saúde do Ministério é solicitado a verificar a afirmação antes que centenas de milhões de coroas sejam comprometidas.

Sua primeira pergunta é a contrafactual. As regiões adotantes não foram escolhidas ao acaso: eram mais ricas, tinham atenção primária mais bem organizada, e tinham taxas de readmissão mais baixas antes do programa começar. A comparação ingênua, portanto, confunde o efeito do programa com a vantagem pré-existente das regiões que puderam adotá-lo — um problema de seleção de livro-texto. Uma simples diferença adotantes-versus-não-adotantes não pode separar os dois, e a figura de 18 por cento é ininterpretável como um efeito causal.

Ela propõe um design de diferença-em-diferenças em vez disso, usando vários anos de dados regionais de readmissão antes e depois da data de adoção de cada região. Isso compara a mudança em readmissões em regiões adotantes contra a mudança em regiões não adotantes, diferenciando qualquer vantagem regional fixa. Crucialmente, ela primeiro plota as tendências pré-adoção: se as adotantes já estavam melhorando mais rápido do que as não adotantes antes do programa, a premissa de tendências paralelas falha e o design é inválido. As tendências são próximas mas não idênticas, então ela relata a estimativa com essa ressalva visível em vez de enterrada.

Como as datas de adoção foram escalonadas através das regiões, ela também explora a estrutura de painel, controlando por tudo estável sobre cada região e por choques nacionais como um inverno de gripe ruim que atingiu todas as regiões de uma vez. A estimativa de diferença-em-diferenças vem a 7 por cento de redução em readmissões — real e que vale a pena ter, mas bem abaixo da metade da figura de manchete, porque a maior parte dos 18 por cento originais era a vantagem pré-existente das regiões, não o programa. Ela então verifica dados ausentes: duas regiões tinham codificação incompleta no ano de transição, e ela mostra que o resultado se mantém se esses anos-região são incluídos ou excluídos.

Ela é franca sobre o que a estimativa é e não é. É o efeito médio em regiões com a capacidade de atenção primária para executar clínicas lideradas por enfermeiros; as oito regiões não adotantes são mais pobres e com menos pessoal, então o efeito lá poderia ser menor ou poderia exigir investimento que o modelo não precifica. Essa é uma questão de validade externa, e ela a sinaliza explicitamente em vez de assumir que os 7 por cento se transferirão. Sua recomendação ao Ministério não é nem "expandir nacionalmente" nem "abandonar", mas "financie onde a capacidade de atenção primária existe, e randomize a ordem de lançamento nas regiões restantes para que a próxima avaliação possa resolver a questão de transferência que esta não pode." A custo-efetividade da redução de 7 por cento é então entregue a um modelo de decisão (Tópico 2.2 — Modelagem) que transforma a estimativa causal em um custo-por-resultado sobre o qual o pagador pode agir.

Quatro lentes setoriais

Startup

Uma startup de saúde digital geralmente encontra a econometria da saúde como uma demanda de evidência de um comprador ou regulador: prove que seu aplicativo realmente muda resultados, não apenas que usuários engajados vão bem. A tentação é um gráfico antes-e-depois de adotantes iniciais entusiastas, que é quase viés de seleção puro — esses usuários teriam melhorado de qualquer forma. O movimento crível e acessível é um pequeno piloto randomizado ou um lançamento escalonado através de sites, projetado antes do lançamento, que isola o efeito do produto da motivação das pessoas que o escolheram. Fundadores que constroem uma comparação limpa no primeiro deployment carregam muito mais peso com pagadores do que aqueles que adaptam uma análise favorável depois.

Pequena empresa

Um provedor pequeno estabelecido — uma prática de grupo, uma única clínica, uma farmácia comunitária, um pequeno fornecedor de dispositivos — tem dados operacionais reais mas nem o volume nem a equipe de análise para executar seus próprios estudos quase-experimentais, e nenhum momento de lançamento em torno do qual randomizar. Sua tarefa econométrica é principalmente avaliação: ler a evidência que um fabricante, comissionador, ou órgão profissional coloca diante dele e julgar se um efeito reivindicado se manteria em uma carga de casos como a sua própria. O movimento mais estável é fazer a pergunta de validade externa com rigor — isso foi mostrado em uma população, nível de pessoal, e sistema parecidos com o meu? — em vez de tentar análise causal que não pode recursar. Onde ele realmente gera evidência, uma mudança escalonada através de seus próprios sites ou clínicos, ou uma simples leitura antes-e-depois honestamente comparada a uma prática vizinha comparável, é mais crível do que um gráfico interno favorável. Diferente de uma startup perseguindo a barra de evidência de um pagador, seu incentivo é evitar adotar algo que silenciosamente desperdiça tempo e dinheiro escassos em uma carga de casos que nunca combinou com o estudo.

Empresa

Um grande provedor ou seguradora se senta sobre dados longitudinais ricos — reivindicações, registros, registries — e sua vantagem é a capacidade de executar análises de painel e quase-experimentais em escala. O risco é confundir volume de dados com clareza causal: um milhão de registros confundidos ainda não pode dizer a você se um programa de gestão de cuidado funcionou, e uma equipe de análise bem recursada pode produzir modelos sofisticados que lavam viés de seleção em efeito aparente. A empresa madura separa relatório de desempenho interno de avaliação causal, mantém os dois em padrões diferentes, e constrói designs randomizados ou escalonados em seus próprios lançamentos operacionais para que mudança rotineira gere evidência confiável em vez de apenas painéis.

Governo

Um ministério ou pagador nacional toma as decisões causais de maior risco — expandir um programa nacionalmente, financiar ou retirar um benefício — e frequentemente tem alavancas de política que criam experimentos naturais: limiares de elegibilidade, lançamentos em fases, pilotos regionais. Sua disciplina deveria ser projetar esses lançamentos como avaliações desde o início, para que o faseamento inevitável renda uma diferença-em-diferenças ou uma descontinuidade de regressão em vez de uma comparação ininterpretável. O governo também carrega um dever que os outros setores não carregam: guardar contra a assimetria política na qual programas favorecidos escapam do escrutínio e descobertas ameaçadoras são contestadas, pré-comprometendo-se com padrões de avaliação e publicando resultados independentemente de favorecerem ou não a política.

Modos de falha comuns

• Confundir correlação com causação. Relatar que pacientes tratados foram melhor sem abordar por que foram tratados. Solução: comece pela contrafactual e nomeie os fatores de confusão antes de interpretar qualquer diferença.

• Selecionar no resultado. Comparar voluntários com não voluntários, completadores com desistentes, ou adotantes com não adotantes como se os grupos fossem intercambiáveis. Solução: use um design (randomização, diferença-em-diferenças, variáveis instrumentais, descontinuidade de regressão) que aborde como as pessoas foram classificadas em grupos.

• Análise de caso completo silenciosa. Descartar todos com dados ausentes e relatar o restante como se fosse o todo. Solução: relate a extensão e padrão de ausência e teste se as conclusões sobrevivem a diferentes premissas sobre ela.

• Assumir sem testar. Apresentar uma diferença-em-diferenças sem verificar tendências paralelas, ou um instrumento sem argumentar sua exogeneidade. Solução: exija os testes de falsificação e trate sua ausência como um defeito.

• Generalizar um efeito local. Aplicar uma estimativa baseada em limiar ou instrumento a uma população que ela nunca descreveu. Solução: declare de quem é o efeito do número e avalie a validade externa separadamente da validade interna.

• Teatro de significância estatística. Tratar um valor-p como a decisão, ignorando tamanho de efeito e incerteza. Solução: demande magnitudes e intervalos de confiança enquadrados contra o orçamento e população reais.

• Adaptar a análise. Pesquisar um conjunto de dados existente até que um resultado agradável apareça, depois apresentá-lo como se fosse pré-planejado. Solução: pré-registre o design e plano de análise antes que os dados sejam vistos.

Modelo de maturidade

Lista de verificação

• Declare a contrafactual: qual é o grupo de comparação, e por que mostraria o que o grupo tratado teria feito sem a intervenção?
• Identifique os prováveis fatores de confusão e mecanismos de seleção, e nomeie o design que os aborda.
• Confirme que o design foi planejado antes que os dados fossem coletados, com um plano de análise escrito.
• Para o método escolhido, nomeie a premissa-chave (tendências paralelas, exogeneidade do instrumento, nenhuma manipulação de limiar) e verifique a evidência para ela.
• Exija os testes de falsificação, não apenas a estimativa de manchete.
• Pergunte quantos dados estavam ausentes, se os ausentes diferem dos observados, e como a ausência foi tratada.
• Verifique se o modelo se ajusta à forma dos dados (custos distorcidos, contagens, sobrevivência censurada).
• Estabeleça de quem é o efeito da estimativa (local ou geral) antes de generalizá-la.
• Leia o tamanho do efeito e o intervalo de confiança contra seu orçamento e população, não apenas o valor-p.
• Avalie a validade externa — isso se manteria em meu sistema? — separadamente da validade interna.
• Busque uma segunda linha de evidência para qualquer decisão grande o suficiente para importar.
• Registre a afirmação causal, o design, sua premissa-chave, e o que mudaria sua mente.

Key sources

• Andrew Jones, "Health Econometrics" — in Culyer & Newhouse (eds.), Handbook of Health Economics — the standard survey of methods for health data and their pitfalls.
• Jeffrey Wooldridge, Econometric Analysis of Cross Section and Panel Data — the reference text for panel and quasi-experimental methods.
• Joshua Angrist & Jörn-Steffen Pischke, Mostly Harmless Econometrics — an accessible treatment of causal inference, natural experiments, and the four quasi-experimental designs.
• CONSORT Statement — reporting standards for randomised controlled trials, useful as an appraisal checklist.
• Economics Network, Health Economics for Teachers — econometrics module — https://economicsnetwork.ac.uk/health/teachers
• OECD, Health at a Glance, and WHO health-systems publications — sources of the routine health data on which much health econometrics is practised.

References

1. Econometrics — Wikipedia — https://en.wikipedia.org/wiki/Econometrics
2. Causal inference — Wikipedia — https://en.wikipedia.org/wiki/Causal_inference
3. Confounding — Wikipedia — https://en.wikipedia.org/wiki/Confounding
4. Selection bias — Wikipedia — https://en.wikipedia.org/wiki/Selection_bias
5. Randomized controlled trial — Wikipedia — https://en.wikipedia.org/wiki/Randomized_controlled_trial
6. Intention-to-treat analysis — Wikipedia — https://en.wikipedia.org/wiki/Intention-to-treat_analysis
7. Natural experiment — Wikipedia — https://en.wikipedia.org/wiki/Natural_experiment
8. Difference in differences — Wikipedia — https://en.wikipedia.org/wiki/Difference_in_differences
9. Instrumental variables estimation — Wikipedia — https://en.wikipedia.org/wiki/Instrumental_variables_estimation
10. Regression discontinuity design — Wikipedia — https://en.wikipedia.org/wiki/Regression_discontinuity_design
11. Panel data — Wikipedia — https://en.wikipedia.org/wiki/Panel_data
12. Missing data — Wikipedia — https://en.wikipedia.org/wiki/Missing_data
13. Economics Network — Health Economics for Teachers — https://economicsnetwork.ac.uk/health/teachers
14. Health economics — Wikipedia — https://en.wikipedia.org/wiki/Health_economics