Métodos Avançados de Síntese da Literatura

Meta-análise

Fernando Ferreira-Santos
frsantos@fpce.up.pt

Neuropsicologia
Fernando Ferreira-Santos 1
 Sumário
• 4. Meta-análise: combinação de tamanhos do
efeito
– 4.1. Métodos de combinação de tamanhos de
efeito (meta-análise)
– 4.2. Análise do viés de publicação
– 4.3. Análise da heterogeneidade
– 4.4. Apresentação de resultados meta-analíticos

Neuropsicologia
Fernando Ferreira-Santos 2
 Relembrar: Inferência estatística em Psicologia
• Recomendções da APA’s Task Force on Statistical Inference
(TFSI, 1996, 1999; mais recentemente, APA, 2010)
– Tamanhos de efeito (Effect sizes)
• Mostram magnitude e direção do efeito, permitindo
avaliar a significância práticado efeito (para além da
significância estatística).
– Intervalos de confiança
• Mostram claramente a precisão do estudo
– Meta-análise e pensamento meta-analítico
• Combinar tamanhos de efeito de estudos ao longo do
tempo enfatiza a replicação e o conhecimento cumulativo
(buffer epistémico)
Neuropsicologia
Fernando Ferreira-Santos 3
 Relembrar: pensamento meta-analítico

Neuropsicologia
Fernando Ferreira-Santos 4
 Relembrar: pensamento meta-analítico

Limites do intervalo
de confiança

Valor do tamanho
de efeito

Neuropsicologia
Fernando Ferreira-Santos 5
 Meta-análise e replicação

Bouwmeester et al. (2017)

Perspectives on Psychological Science
Neuropsicologia
Fernando Ferreira-Santos 6
 Meta-análise
• Meta-análise (no sentido técnico) consiste na
combinação dos tamanhos de efeitos de vários
estudos
– Em cada estudo houve (pelo menos) uma análise
– Ao juntar os resultados de vários estudos estamos a
realizar uma meta-análise

• Consiste numa média ponderada dos

tamanhos de efeito dos vários estudos

• Estudos com amostras maiores = menor

variância = maior precisão = maior ponderação

Neuropsicologia
Fernando Ferreira-Santos 7
 Combinação de tamanhos de efeito
• Média dos d’s individuais ponderada pela precisão do
estudo
– Precisão de cada estudo:
1
𝑤=
𝑣𝑑

– d combinado de k estudos:
σ𝑘𝑖=1 𝑑𝑖 𝑤𝑖
𝑑. =
σ𝑘𝑖=1 𝑤𝑖

Neuropsicologia
Fernando Ferreira-Santos 8
 Combinação de tamanhos de efeito
• Exemplo meta-análise de efeitos fixos
Estudo N (n1=n2) d vd w
1 300 0.6 0.014 71.770
2 20 0.9 0.220 4.540
3 16 -0.1 0.250 3.995

σ𝑘𝑖=1 𝑑𝑖 𝑤𝑖 0.6 × 71.770 + 0.9 × 4.540 + −0.1 × 3.995

𝑑. = 𝑘 =
σ𝑖=1 𝑤𝑖 71.770 + 4.540 + 3.995

𝑑. = 0.582

Neuropsicologia
Fernando Ferreira-Santos 9
 Combinação de tamanhos de efeito
• Exemplo meta-análise de efeitos fixos
Estudo N (n1=n2) d vd w dw
1 300 0.6 0.014 71.770 43.062
2 20 0.9 0.220 4.540 4.086
3 16 -0.1 0.250 3.995 -0.399
80.306 46.749

σ𝑘𝑖=1 𝑑𝑖 𝑤𝑖 46.749
𝑑. = 𝑘 = = 0.582
σ𝑖=1 𝑤𝑖 80.306

1
𝐶𝐼𝑑.95% = 𝑑. ±1.96
σ𝑘𝑖=1 𝑤𝑖

Neuropsicologia
Fernando Ferreira-Santos 10
 Combinação de tamanhos de efeito

Vídeo de introdução ao software JASP (em Português): https://www.youtube.com/watch?v=pwOwqUUCsS8

Neuropsicologia
Fernando Ferreira-Santos 11
 Combinação de tamanhos de efeito
Dados: Análise:

Resultados:

Neuropsicologia
Fernando Ferreira-Santos 12
 Combinação de tamanhos de efeito
• Meta-análise de efeitos fixos
– Apenas se considera a variância intra-estudo (erro de
amostragem)
– Concetualmente, assume que os tamanhos de efeito
individuais são medidas de um único tamanho de efeito
real da população

Bornstein et al. (2009). Introduction to meta-analysis (p. 65)

Neuropsicologia
Fernando Ferreira-Santos 13
 Combinação de tamanhos de efeito
• Meta-análise de efeitos aleatórios
– Considera a variância intra-estudo (erro de amostragem) e
entre estudos
– Estima não o efeito real da população, mas parâmetros da
distribuição populacional (i.e., assume diferentes
populações)

Bornstein et al. (2009). Introduction to meta-analysis (p. 72)

Neuropsicologia
Fernando Ferreira-Santos 14
 • Efeitos fixos vs. Efeitos aleatórios

Neuropsicologia
Fernando Ferreira-Santos https://www.youtube.com/watch?v=VvP2DMLCRjU 15
 Combinação de tamanhos de efeito
• Meta-análise de efeitos aleatórios
– Heterogeneidade: estatística Q de Cochrane
• A heterogeneidade refere-se à existência de diferenças entre os
tamanhos de efeito dos diferentes estudos que entram numa
meta-análise
• Q significativo indica afastamento da homogeneidade

– Na meta-análise de efeitos aleatórios, a combinação de

tamanhos de efeito é ponderada tendo em conta a
variabilidade intra-estudo (vd) mas também a variabilidade
entre estudos (pelo cálculo de τ2)

– Como tal, o modelo de efeitos aleatórios é mais

apropriado para situações em que é detetada
heterogeneidade
Neuropsicologia
Fernando Ferreira-Santos 16
 Combinação de tamanhos de efeito
• Ponderação dos tamanhos de efeito na meta-análise
de efeitos aleatórios:
– Precisão:
∗
1
𝑤 =
𝑣𝑑 + 𝜏 2
… na próxima
– d combinado de k estudos: aula
𝑘 ∗
σ 𝑑 𝑤
𝑖=1 𝑖 𝑖
𝑑∗ . =
σ𝑘𝑖=1 𝑤𝑖 ∗

– Intervalos de confiança 95% para o d combinado:

1
𝐶𝐼𝑑 ∗ .95% = 𝑑 ∗ . ±1.96
σ𝑘𝑖=1 𝑤𝑖 ∗

Neuropsicologia
Fernando Ferreira-Santos 17
 Efeitos fixos vs.
aleatórios
Efeitos aleatórios dão
resultados mais
conservadores, mas que são
considerados, no geral, mais
apropriados.

Bornstein et al. (2007)

Neuropsicologia
Fernando Ferreira-Santos 18
 Avaliação do viés de publicação
– Viés de publicação: definição
• Diferença sistemática entre os resultados de estudos
publicados e de estudos não publicados, devido a
seletividade nas decisões sobre o que é publicado.

– Fail-Safe N (Rosenthal)
• Quantos estudos não significativos seriam necessários
para tornar o resultado na meta-análise (tamanho de
efeito combinado) não significativo?
• Usado como medida de viés de publicação, mas na
verdade não é, e tem-se sugerido que esta medida
deixe de ser utilizada.
Vevea, J. L., Coburn, K., & Sutton, A. (2019). Publication Bias. In H. M. Cooper, L. V. Hedges, & J. C. Valentine
(Eds.), Handbook of research synthesis and meta-analysis (3rd ed., pp. 383–429). Russell Sage Foundation.
Neuropsicologia
Fernando Ferreira-Santos 19
 Avaliação do viés de publicação
– Gráfico de funil (funnel plot) assimétrico

Precisão
(~tamanho)
do estudo

Tamanho
de efeito

Neuropsicologia
Fernando Ferreira-Santos 20
 Egger et al. (1997). British Medical Journal
– Teste de regressão de Egger
z = ES/seES

Neuropsicologia
Fernando Ferreira-Santos https://bookdown.org/MathiasHarrer/Doing_Meta_Analysis_in_R/pub-bias.html 21
 Egger et al. (1997). British Medical Journal
– Teste de regressão de Egger

• Calcular valores normalizados (tamanho de efeito dividido

pelo seu erro padrão)

• Regressão
– Preditor (x): precisão do estudo (inverso da variância/erro padrão)
– Resultado (y): valores normalizados (z = ES/seES)

• Na ausência de viés de publicação, intercept (ordenada na

origem) do modelo de regressão não difere de forma
estatisticamente significativa de 0

• Se o intercept (ordenada na origem) difere

estatisticamente de 0, há risco de viés de publicação

Neuropsicologia
Fernando Ferreira-Santos https://bookdown.org/MathiasHarrer/Doing_Meta_Analysis_in_R/pub-bias.html 22
 – Trim and fill
Duval & Tweedie (2000). Biometrics

• Retificação da assimetria do
gráfico de funil
• Permite estimar qual seria o
tamanho de efeito “corrigido”
(i.e., sem viés de publicação)
• Esta lógica está na base de
modelos mais recentes e mais
complexos (e.g., selection models)

Neuropsicologia
Fernando Ferreira-Santos https://bookdown.org/MathiasHarrer/Doing_Meta_Analysis_in_R/pub-bias.html 23
 Revisão
• 4. Meta-análise: combinação de tamanhos do
efeito
– 4.1. Métodos de combinação de tamanhos de
efeito (meta-análise)
– 4.2. Análise do viés de publicação
– 4.3. Análise da heterogeneidade
– 4.4. Apresentação de resultados meta-analíticos

Neuropsicologia
Fernando Ferreira-Santos 24