SUMARIZAÇÃO DOS RESULTADOS

Síntese dos resultados

É importante que a revisão sistemática responda a sua pergunta PICOT. Para que isso
ocorra temos que lançar mão de técnicas de síntese geralmente empregamos a meta-
análise, porém alguns casos, não é possível fazer uma meta-análise, devido não
haver um desfecho comum ou que foi medido da mesma forma todos os estudos. Nesse
caso devemos lançar mão de uma síntese qualitativa, uma síntese narrativa. É
importante portanto ter foco e adotar padronizações para que haja uma comparabilidade
mínima entre os estudos. Nos casos que apresentados somente uma síntese narrativa na
revisão sistemática, espera-se que minimamente os resultados sejam apresentados uma
tabela que sumarize os resultados dos estudos incluidos. É papel da equipe de pesquisa
adotar padronizações, classificações, de modo que possamos ter uma comparabilidade
entre os estudos e essa síntese seja mais fácil de ser realizada. Claro que isso deve estar
de forma bem detalhada e transparente nos métodos de forma que os leitores possam
entender quais foram as sumarizações realizadas mesmo numa síntese narrativa. Não se
espera portanto que a revisão lance mão de apresentar um resumo de cada artigo
incluído por parágrafo. Não é esse o produto que se espera de uma revisão
sistemática. Deve haver uma comparabilidade entre os estudos de modo que
esse produto seja facilmente interpretável, que as pessoas entendam o que que se
encontrou da revisão sistemática. Outro aspecto que ajuda nessa tarefa é organizar a
citação das referências de estudos incluidos e excluídos de preferência apresentando na
forma sequencial ajudando o leitor a identificar o que está sendo considerado na
análise. Devemos também verificar casos em que a meta-análise não é apresentada, se
de fato essa síntese não era possível. Muitas vezes, faltou ali uma observação se
transformações dos resultados eram possíveis de modo a apresentar essa síntese
estatística. A revisão sistemática deve responder a sua pergunta de pesquisa e a
apresentação de resultados claros é um processo essencial para que essa tarefa seja
concluída.

Medidas de efeito
Uma boa parte das revisões sistemáticas trabalha com sínteses quantitativas, ou seja,
trabalha com algum aspecto que é quantificável numericamente para aferir o
desempenho daquilo que está sendo observado. Na maior parte das vezes essa
quantificação funciona de duas formas: ou de uma maneira dicotômicas, com respostas
do tipo sim ou não ou ausência presença, sucesso ou fracasso ou ainda de
maneira contínua, em que é usado, por exemplo, algum instrumento para fazer aferição
como balança para aferir o peso de algum indivíduo. Enfim, se você estiver trabalhando
com alguma variável dicotômica é possível que você tenha que trabalhar com
probabilidade que refere-se a quantidade de eventos dividido pela população total que
foi observado. Também é possível você ter que trabalhar com chance que refere o
número de eventos dividido pela quantidade de pessoas que não tiver o evento. Essas
duas medidas, seja probabilidade e chance, derivam medidas de associação. Ao pegar,
por exemplo, a probabilidade de uma pessoa que teve evento grupo exposto e dividir
essa probabilidade de ter o evento no grupo não exposto, nós um temos o cálculo
chamado risco relativo. que é uma relação entre os dois riscos. Ao pegar por exemplo a
chance de grupo exposto comparado com a chance do grupo não exposto nós podemos
fazer o cálculo do odds ratio ou razão de chances. Essas duas medidas, o risco relativo e
a razão de chances são interpretadas de uma maneira muito parecida. Se o resultado
for igual a 1, por exemplo, isso indica que não há diferença entre os dois grupos. Uma
vez que a divisão simples vai indicar uma igualdade seja em proporções ou seja em
chance. Pra desfechos negativos, valores menores do que 1, indicam proteção, valores
maiores do que 1, indicam dano. Ao analisar desfechos contínuos é comum
trabalharmos com média e desvio padrão. A média refere-se a soma de todas as
mensurações dividido pelo total de observações. O desvio padrão é uma medida de
dispersão e ele avalia o ponto médio em que cada observação se distancia da
média. Então, com isso a gente contém a uma medida de variabilidade desses
resultados. Ao ter que comparar dos grupos, nós vamos precisar da média, desvio
padrão e tamanho de amostra de cada uma das comparações a serem realizadas. A
medida de associação que é estudada, chama-se diferença de média que compara a
média, desvio padrão e tamanho de amostras entre os dois grupos. Ela é interpretada da
seguinte forma valores igual a zero indicam que não há diferença entre os dois
grupos. Se o valor for menor do que zero vai depender da interpretação do desfecho. Em
uma escala de dor por exemplo, usualmente, valores menores indicam uma melhora
daquela dor, então vai indicar uma proteção. Valores então, maiores do que zero vai
indicar que por exemplo teve aumento da dor. Então, vai depender da interpretação do
seu desfecho. É importante ponderar o intervalo de confiança da medida de associação
que você estiver trabalhando. Seja ela risco relativo, odds ratio ou diferença de
média. Para isso podemos contar com algumas ferramentas, como por
exemplo www.openepi.com que disponibiliza várias calculadoras e dá até para calcular
o tamanho de amostras, se você julgar necessário. Há também a possibilidade de você
usar o Review Manager da Cochrane, que já facilita um bocado o processo. Além disso,
você pode usar o pacote estatístico da sua preferência.

Gráfico de floresta
A meta-análise é a síntese estatística dos resultados dos estudos. Pode haver revisão
sistemática sem meta-análise, como também meta-análise sem uma revisão que a
preceda. Não são sinônimos. A representação gráfica da meta análise é feita por meio do
gráfico de floresta. Nessa ilustração, no eixo horizontal está representada a medida de
resultado. Geralmente uma medida de associação, como o risco relativo o odds
ratio, que é a razão de chance, a diferença média ou a diferença média
padronizada. Como também alguma medida de frequência como a prevalência. A linha
vertical que aparece nesse gráfico geralmente vai representar a linha de imunidade, a
linha de nenhum efeito. Se estamos tratando de uma meta-análise que apresenta
resultados contínuos, que lançou mão da diferença média, essa linha será representada
pelo zero que é o ponto que a diferença entre as médias dos grupos for igual a zero. Se
estamos trabalhando com uma medida de associação relativa como o risco relativo ou a
razão de chance, ou odds ratio, essa linha será representada pelo 1. O ponto em que a
divisão dos riscos ou das chances é muito semelhante e se aproxima do 1. Então,
visualmente quando verificamos que o resultados da meta-análise passam por essa linha
de não efeito, ou de nulidade podemos dizer que não teve significância
estatística. Porém, isso não vai se aplicar para meta-análise de frequência como
por exemplo, da prevalência. A linha vertical, se estiver representada, estará
sumarizando a média da prevalência entre os estudos. Geralmente os estudos incluídos
estarão representados do lado esquerdo do gráfico de floresta. A estimativa de cada
estudo estará representada por quadrado e a sua incerteza por uma linha horizontal
acompanhando essa estimativa. O peso do estudo é dado pelo tamanho de amostra
e também pelo número de eventos que o estudo contribuiu com estimativa. E
geralmente o tamanho do quadrado reflete esse peso do estudo. O resultado da meta
análise é representado pelo losango. Apresentado na parte inferior do gráfico. Se
estamos trabalhando com a meta-análise que utilizou medida de associação como a
diferença média ou risco relativo e esse losango cruzou a linha vertical, a linha de
nulidade, podemos dizer que esse resultado não teve significância estatística,
isso porque algum momento, o intervalo de confiança assume a linha de nenhum
efeito. Para serem incluídos na meta-análise, os estudos devem ter a mesma
população, intervenção, comparador, desfecho, e também ter o mesmo delineamento. A
inclusão de estudos que tem divergências nesses aspectos pode já introduzir
desnecessariamente uma heterogeneidade, uma diferença nos resultados dos estudos que
se deve principalmente pelos métodos desses estudos.

Responder a pergunta
Essa é a função da síntese dos resultados, seja ela qualitativa, quando não conseguimos
aplicar métodos estatísticos, ou quantitativa, nos casos em que a meta-análise é possível.
Essa etapa é muito dependente da qualidade da extração e avaliação crítica dos estudos
que vimos no módulo anterior. Consideramos neste texto que tais desafios já foram
superados.
Síntese qualitativa
Pode parecer contraditório, mas algumas vezes é mais difícil preparar uma síntese
narrativa do que uma quantitativa. Na síntese narrativa é exigida criatividade e clareza
para traduzir informação compreensível, sem lançar mão de texto longo que pode
obscurecer a comunicação dos resultados e a esperada resposta para a pergunta. Nesses
casos, a apresentação dos resultados deve realçar o que é comum nos estudos e,
preferencialmente, apresentar de forma comparativa os resultados de cada estudo para
os desfechos primários e secundários.
Uma tabela como a do exemplo abaixo auxilia na tarefa e minimiza a necessidade de
explicar cada estudo e seu resultado em um parágrafo, o que diminui a clareza na
resposta da revisão. Neste exemplo hipotético, o desfecho apresentado é dor, medido de
diferentes formas. Apesar de não haver meta-análise, o leitor consegue entender o que
cada estudo encontrou no desfecho, mesmo com mensurações diferentes.
Tabela. Resultados dos estudos para o desfecho dor após 30 dias da intervenção
Estudo % de melhora Δ VAS Dias sem dor/mês (média)

1 - -2,3 10

2 30 - 0

3 sem alteração - -

4 - 1,7 -
 Notas: Δ , diferença entre o resultado inicial e final; VAS, visual analogue scale (escala
visual analógica de 10 pontos); -, desfecho não relatado

Síntese quantitativa
Em revisão sistemática, a principal forma de síntese quantitativa é a meta-análise. Por
meio dessa técnica estatística, os resultados de diferentes estudos para um mesmo
desfecho são combinados e um novo dado é gerado, nos fornecendo a estimativa global
ponderada por esses estudos. Esse cálculo pode ser feito de forma manual, mas
geralmente ocorre com auxílio de softwares estatísticos, específicos ou não para meta-
análise. A alimentação desses softwares é feita pelos pesquisadores, então mesmo uma
meta-análise apresentada em uma revisão sistemática pode trazer estimativas imprecisas
ou incompletas.

Medidas de efeito
Para sumarizar estatisticamente os resultados, precisamos quantificá-los e compará-los.
Isso é feito em cada estudo por meio de medidas de frequência e de associação. A tabela
abaixo traz as medidas de frequência e de associação mais comuns nas pesquisas da área
da saúde: Na meta-análise essas medidas são genericamente denominadas medidas de
efeito ou estimativa global.
Medida de
Medida de associação Dados para a meta-análise
frequência

número de pessoas com desfecho e total de cada

Risco Risco relativo (RR)
grupo

número de pessoas com e sem o desfecho em

Chance (odds) Razão de chance (odds ratio, OR)
cada grupo

logaritmo do HR e erro padrão ou intervalos de

Hazard Hazard ratio (HR)
confiança*

Diferença de médias (DM), diferença média número de pessoas, média e desvio-padrão do

Média
padronizada (DMP) desfecho em cada grupo

* Para a técnica do inverso da variância; há outras técnicas aplicáveis, que demandarão

outros dados.¹

Em meta-análises de frequência, geralmente se apresenta como medida de efeito a

própria medida de frequência, seja ela a prevalência ou incidência. A medida de
associação nesses casos seria a razão de prevalência e o risco relativo, respectivamente,
e, se sumarizados, estamos tratando de uma meta-análise de fatores associados ou de
risco.
Uma revisão sistemática com meta-análise apresentada em um didático gráfico de
floresta como na figura acima enche os olhos, mas temos que ter cautela e avaliar se os
resultados apresentados respeitam os métodos preconizados, tanto quando estamos
elaborando quanto quando estamos avaliando uma revisão sistemática. Nas próximas
aulas, vamos aprender sobre esses cuidados.

Referência
1.Tierney JF, Stewart LA, Ghersi D, Burdett S, Sydes MR. Practical methods for
incorporating summary time-to-event data into meta-analysis. Trials. 2007;8:16. doi:
10.1186/1745-6215-8-16

META-ANÁLISE

Técnicas de meta-análise

Ao estudarmos as técnicas de meta-análise, é importante ressaltar que os termos revisão

sistemática e meta-análise não são sinônimos. Podemos compreender a meta-análise
como uma média ponderada das estimativas de efeito observadas nos estudos. Essa
ponderação tem relação com alguma importância de cada estudo dentro de todo o
escopo evidências. O modelo lógico para a construção desses pesos por exemplo seria
encontrar alguma forma de dar mais importância aos estudos com menor imprecisão,
por exemplo. Geralmente são os estudos com maior tamanho de amostras, e assim
teremos menor peso, menor importancia aos estudos com tamanho menor de amostra. E
assim, mais imprecisão. Um método bastante difundido de cálculo desses pesos é
um método genericamente chamado de inverso da variância. Compreenda a variância
como nosso indicador de incerteza dos estudos. Quanto maior o seu valor, mais
impreciso, mais incerto é o seu resultado. Agora, adote o inverso dessa
incerteza. Teremos o raciocínio contrário. Quanto maior o seu valor, mais preciso o
estudo. Assim, ao adotarmos a ponderação pelo inverso da variância, estaremos dando
mais importância aos estudos mais precisos. Outra questão muito importante que você
deve considerar ao conduzir ou avaliar criticamente o modelo de meta-análise é a
diferença entre os modelos de efeito fixo e aleatório. Nos modelos de efeito fixo,
assumimos o pressuposto de que o efeito real é o único na população de estudo. Já no
modelo de efeitos aleatórios não temos um único efeito na população, mas uma
distribuição de efeitos de acordo com as características dos estudos e até mesmo o
acaso. Assim, ao considerarmos o cálculo do intervalo de confiança no modelo
de efeitos aleatórios podemos considerar o impacto da heterogeneidade estatística. Na
presença de heterogeneidade, o intervalo de confiança do modelo de efeitos randômicos
ou aleatórios terá uma amplitude maior. Podemos dizer assim que é intervalo de
confiança mais conservador do que o modelo de efeitos fixos. Adotando também essa
lógica de ponderação, além do método gerérico do inverso da variância, você encontrará
a descrição de outros métodos, como os modelos de Mantel-Haenszel, Peto e
DerSimonian and Laird cada método tem a sua limitação e a sua aplicação de acordo
com as caraterísicas dos estudos e as variáveis análise. A escolha de qual método assim
como a escolha entre o modelo de efeitos fixos e modelo de efeitos aleatórios precisa
ser criteriosa, inclusive ela pode fazer parte de uma análise de sensibilidade
onde observamos o seu impacto na conclusão da meta-análise. Procure conhecer os
métodos e aplicá-los adequadamente em sua análise e interpretação das meta-análises.

Meta-análise em rede

Tradicionalmente, quando estamos interessados em comparar duas intervenções de

saúde, como, por exemplo, um antidepressivo e uma terapia psicológica. Fazemos o uso
de comparações diretas; ou seja, a evidência de ensaio clínico, por exemplo,
comparando esses dois tratamentos. Outra alternativa seria fazer o uso de um
comparador comum, como, por exemplo, um tratamento placebo. Por meio das
diferenças relativas desses tratamentos é possível realizar uma comparação
indireta. Imagine agora não apenas um, dois ou três tratamentos, mas uma ampla rede
de intervenções, onde é possível combinar as comparações diretas e indiretas. Essa é a
aplicação da meta-análise em rede de evidências, a "network meta-analysis". O gráfico,
comumente, adotado nesse tipo de meta-análise também possui alguns significados
clássicos. Cada ponto, ou cada nó, dessa rede representa uma intervenção incluída na
comparação. As linhas significam as comparações diretas, ou seja, as evidências
disponíveis de estudos que compararam diretamente aquelas intervenções. A espessura
da linha representa o número de comparações, o número de estudos que realizaram
aquela comparação. O diâmetro do nó de cada intervenção também representa quantas
vezes aquela intervenção foi adotada como comparador. Para fazer parte dessa rede é
necessário que exista pelo menos uma conexão com algum desses tratamentos.
Dentre os resultados apresentados, você encontrará as estimativas relativas não de um,
dois ou três tratamentos, mas quadro, uma tabela, com todos os tratamentos
comparados. Você também encontrará os gráficos de floresta, que também são adotados
na revisão de meta-análise tradicional. Por fim, você também encontrará a hierarquia, o
ranking, dos tratamentos, podendo observar quais aqueles que tem a
maior probabilidade de ser a melhor escolha. Isso é feito com o uso da estatística
SUCRA, por exemplo. Entretanto, é importante considerar que a meta-análise em rede
só é possível se preservarmos alguns importantes pressupostos, como, por exemplo, a
transitividade. Nele, imagine a situação onde todos esses participantes dos estudos
fossem, na verdade, parte de grande ensaio clínico. E todos teriam a mesma chance, a
mesma possibilidade de receber qualquer um dos tratamentos. Comparar, por exemplo,
um tratamento de primeira linha no glaucoma, onde, comumente, adota-se uma
monoterapia; contra um tratamento de segunda linha, onde já se utiliza uma associação,
não seria adequado. Pois esses indivíduos não têm as mesmas características. Procure
observar se foi garantida a similaridade desses indivíduos e das situações em que foram
estudados. Um dado importante é observar a tabela das características basais dos
indivíduos cada dos estudos. Observe questões como idade, quadro clínico, tempo de
tratamento, por exemplo. Eles devem ser semelhantes para garantir a similaridade. Em
situações em que a rede de evidências contém "loop" fechado, é possível observar,
também, se houve coerência entre as estimativas obtidas pela comparação direta e a
comparação indireta. Por fim, procure observar, também, se outros
pressupostos comuns à meta-análise tradicional também foram garantidos. Como, por
exemplo, a consistência das comparações entre pares diretos; a busca, identificação e
seleção das evidências de forma sistemática. São pressupostos comuns que também vão
acompanhar a meta-análise em rede.

Softwares para elaboração da meta-análise

Há diversos softwares disponíveis para a realização da meta-análise, alguns são livres

como o R e outros são pagos como o Stata. Há alguns softwares específicos para a
meta-análise e outros, como o R e o Stata, que possuem rotinas específicas e comandos
para que a meta-análise seja realizada. O que diferencia esses softwares é a
complexidade das rotinas ou dos comandos. Há também o RevMan, software da
Cochrane, onde é possível realizar a meta-análise e também registrar todo o texto da
revisão sistemática. Há, atualmente, já uma versão web do RevMan, que além de
facilitar o processo de entrada dos dados e informações que são trocadas entre os
diferentes autores, também pode estar ligada com outras plataformas como
Covidence. Há alguns estudos na literatura que compararam o resultado das meta-
análises a partir da aplicação de diferentes softwares. Em geral, os resultados são muito
semelhantes, porém, há algumas imprecisões que foram detectadas, então, uma abertura
maior das rotinas internas desses softwares pode dar mais clareza para a comunidade
acadêmica de qual software deve ser empregado. Na realização da meta-análise, é
importante os revisores terem mente que a extração é um processo crucial, se a extração
de dados não estiver precisa e correta, a meta-análise será rodada de maneira errônea,
então, a decisão de qual software será utilizado para a realização da meta-análise
depende muito das habilidades da equipe e dos recursos que estão disponíveis.

O que é a meta-análise?

Ao considerarmos o estudo da meta-análise, é importante ressaltar que os termos

revisão sistemática e meta-análise não são sinônimos. Uma revisão sistemática garante a
transparência e a maior isenção possível do viés de seleção dos estudos. De todo modo,
ao finalizar todas as etapas de seleção, não seria interessante ter um resultado final que
combinasse os dados disponíveis de todo o conjunto de evidências (ex: um risco relativo
geral)? A meta-análise trata justamente desse ponto específico de como serão calculados
e combinados os resultados quantitativos (proporções, riscos relativos, diferenças de
médias etc.) dos estudos incluídos na revisão.

Em termos gerais, a meta-análise pode ser compreendida como uma média

ponderada das estimativas observadas nos estudos.
Se recordarmos, em sua essência, uma média ponderada nada mais é que uma média
obtida pelo somatório dos valores multiplicados por seus pesos relativos. Lembre-se
daquela tão necessária média final obtida muitas vezes por uma sequência de provas
com pesos diferenciados ao longo do semestre!

Assim como os pesos de cada prova comumente se referiam à complexidade do

conteúdo abordado em cada prova, na meta-análise, o nosso interesse é de que os pesos
dessa média ponderada se refiram à alguma medida da importância de cada estudo em
relação ao conjunto completo de evidências. No gráfico de uma meta-análise, além da
indicação dos estudos e de suas estimativas de efeito com intervalo de confiança, será
comum encontrarmos a relação dos pesos de cada estudo incluído.

Dados individuais dos participantes (individual participant data)

Usualmente, as meta-análises sumarizam os dados agregados de cada estudo. Uma

alternativa é realizar meta-análise a partir dos dados individuais dos participantes
(individual participant data - IPD)¹. Para isso, é necessário obter o banco de dados de
cada estudo incluído, o que exigirá da equipe elaboradora habilidades de comunicação e
relacionamento com os pesquisadores da área. Dentre as vantagens potenciais dessa
técnica, seria melhor comparabilidade entre os estudos e pacientes incluídos, bem como
evitar vieses como relato seletivo de desfecho. Por depender da obtenção dos dados
completos de pesquisas prévias, essa abordagem não é a mais frequentemente observada
nas meta-análises.
Meta-análise direta

Esta é a forma clássica de combinação dos resultados dos estudos individuais de

intervenção ou exposição, sumarizando a medida de associação (risco relativo, odds
ratio, hazard ratio para desfechos dicotômicos e diferença de médias ou diferença
média padronizada em desfechos contínuos) das comparações diretas entre
intervenção/exposição e comparador. Se a meta-análise é de frequência, como a
prevalência, a medida de efeito calculada é de frequência (incidência, prevalência) e não
de associação. Existem alguns pressupostos adotados para calcular a meta-análise,
conforme veremos a seguir.

Inverso da variância

Podemos concordar que um modelo lógico para essa ponderação da meta-análise seria
encontrar um meio de dar mais importância aos estudos com resultados mais precisos
(estudos com um tamanho de amostra maior, por exemplo).
Uma forma bastante difundida para a construção dos pesos da meta-análise de acordo
com a imprecisão é método chamado genericamente de inverso da variância (IV) .
Nesse método, compreenda a variância como nossa medida do grau de "incerteza" ou
"confiança" na estimativa de efeito pontual (média) de cada estudo. Ou seja, quanto
maior o valor da variância, mais incertos estamos do resultado médio do estudo .
Trabalhando agora com inverso da variância (1/variância) de cada estudo, teremos o
raciocínio contrário: quanto maior seu valor, mais preciso o estudo. Assim, adotando o
inverso da variância como nosso fator de ponderação estaremos dando maior peso aos
estudos com maior certeza das estimativas pontuais.

Efeitos fixos e aleatórios

Ao conduzir e até mesmo ao avaliar criticamente os resultados de uma meta-análise,

existem ainda dois conceitos muito importantes que você deve considerar: a diferencia
entre os modelos de efeito fixo e de efeito aleatório.

O modelo de efeitos fixos irá estimar a medida sumária, ou seja, o resultado da meta-
análise, assumindo um único efeito real, ou seja, fixo, na população de estudo. Repare
na situação abaixo que representa esse pressuposto, onde o losango ao final seria a
medida sumária e a curva laranja uma distribuição hipotética das infinitas médias
amostrais tentando captar esse efeito fixo obtido com a meta-análise:
Já no modelo de efeitos aleatórios, consideramos que não existe um valor único de
efeito real na população, mas uma distribuição de valores de efeitos possíveis e que,
além do acaso, dependem das características dos estudos incluídos:

Dessa forma, na construção dos intervalos de confiança (IC) das estimativas sumárias, o
modelo de efeitos randômicos considera também a heterogeneidade estatística e terá
intervalos maiores na sua presença. Nessa situação, podemos considerar que esse
modelo nos informa uma estatística mais conservadora dos efeitos em relação ao
modelo de efeitos fixos.

Entretanto, o modelo de efeitos aleatórios também pode sofrer algumas influências

indesejadas quando comparado ao modelo de efeitos fixos. Por dar pesos relativamente
maiores a estudos com tamanhos menores de amostra (quando comparado ao modelo de
efeitos fixos), o modelo de efeitos aleatórios pode aumentar o impacto do viés de
estudos pequenos (viés de publicação) quando houver sua suspeita.

Meta-análise em rede

Diferente da meta-análise tradicional, onde são confrontados resultados das

intervenções aos pares (pairwise), a meta-análise em rede (network meta-analysis)
permite estabelecer uma rede de comparações mais ampla combinando as evidências
diretas dos estudos incluídos (head-to-head) com as indiretas por meio dos efeitos
relativos de cada tratamento. O diagrama a seguir traz um exemplo de uma rede
completa de comparações, onde a espessura da linha reflete o número de comparações
diretas disponíveis de um conjunto de intervenções (A, B, C etc.)².

Todas as intervenções dentro dessa rede podem ser comparadas entre si, existindo ou
não um estudo clínico de comparação diretamente para cada uma delas. Por exemplo, na
rede apresentada, é possível comparar E vs. F, apesar de não haver um ensaio clínico
comparando-os (note que não há uma linha ligando as duas intervenções). Porém, note
que para uma intervenção fazer parte dessa rede é necessário ter pelo menos uma
comparação direta (uma linha) com alguma das intervenções do conjunto de evidências.
A meta-análise em rede pode combinar as estimativas de efeito tanto com abordagens
estatísticas clássicas, também chamadas de frequentistas, quanto com abordagens
bayesianas. Em ambas as abordagens, além das estimativas sumárias de efeito, é
possível construir um ranqueamento dos tratamentos de acordo com o seu desempenho
no desfecho avaliado. Com a estatística Surface Under the Cumulative Ranking Curve
(SUCRA), por exemplo, temos um indicativo (de 0 a 100%) de qual intervenção
apresenta uma maior probabilidade de estar entre os tratamentos com melhor
desempenho.

Contudo, independente dos métodos estatísticos adotados, é importante avaliar se foram

garantidos alguns importantes pressupostos da meta-análise em rede, com destaque para
a transitividade (ou similaridade). Nesse ponto, a meta-análise assume que as
intervenções seriam potencialmente indicadas para qualquer um dos indivíduos e que
foram testadas em contextos sem diferenças clinicamente relevantes em relação aos
fatores preditores da resposta ao tratamento. Por exemplo, se a idade do indivíduo tem
um grande impacto no efeito do tratamento, o conjunto de evidências não deve ter
grandes diferenças em relação à faixa etária média com que os indivíduos foram
incluídos nos estudos. Da mesma forma, não seria possível incluir na mesma rede
estudos estágios diferentes de evolução da doença caso isso impacte na indicação dos
tratamentos estudados.

Softwares
Uma gama de softwares estão disponíveis para a condução de meta-análises. A escolha
por cada software depende de fatores como a possibilidade de aquisição de licença
proprietária, domínio de programação e a complexidade dos modelos e seus respectivos
gráficos. Como exemplo, alguns softwares de livre acesso e interface gráfica amigável,
como o RevMan (disponibilizado pela colaboração Cochrane), permitem a construção
dos principais modelos e gráficos da meta-análise. Contudo, será comum que nem todas
essas ferramentas permitirão algumas análises menos triviais, como a metarregressão e a
meta-análise em rede.
Abaixo, uma relação mínima, não exaustiva, de alguns dos softwares disponíveis que
permitem a condução de meta-análises:

Softwar Domínio de Modelos e

Obtenção de licença de uso
e programação gráficos

R Necessário Não (Livre) Muito flexível

Stata Desejável Sim (Paga) Flexível

Sim (Gratuita para fins não

RevMan Não é necessário Pouco flexível
comerciais)
Escolher o método adequado

Adotando também a lógica de ponderação, além do método genérico do inverso da

variância, você encontrará a adoção dos modelos como Mantel Haensel, Peto e
Dersimonian and Laird. Da mesma forma, na meta-análise em rede você irá se deparar
com abordagens variadas. Cada método tem suas aplicações e limitações de acordo com
as características dos estudos disponíveis e as variáveis em análise³.
A escolha de qual método adotar deve ser criteriosa e transparente, podendo inclusive
fazer parte de análises de sensibilidade, onde é possível identificar o impacto dessas
escolhas sobre as conclusões da meta-análise.
Procure conhecer os métodos disponíveis nas referências apresentadas e aplicá-los em
suas análises e interpretações.

Referências
1. Riley Richard D, Lambert Paul C, Abo-Zaid Ghada. Meta-analysis of individual
participant data: rationale, conduct, and reporting. BMJ 2010; 340:c221. doi:
10.1136/bmj.c221

2. Mbuagbaw L, Rochwerg B, Jaeschke R, Heels-Andsell D, Alhazzani W, Thabane L,

Guyatt GH. Approaches to interpreting and choosing the best treatments in network
meta-analyses. Syst Rev. 2017;6(1):79. doi: 10.1186/s13643-017-0473-z.

3. Khan K, Kunz R, Kleijnen J, Antes, G. Systematic Reviews to Support Evidence‐

Based Medicine. 2nd edition, CRC Press, 2011 (ISBN‐13: 9781853157943)

HETEROGENEIDADE E VIÉS DE PUBLICAÇÃO

Heterogeneidade

Ao finalizar a síntese quantitativa, que é o resultado geral da meta-análise, é essencial

avaliar a heterogeneidade. O que isso significa? É fazer uma comparação entre os
estudos. Por exemplo, será que um há estudo que está pegando uma população mais
idosa, e outro estudo pegando o resultado com uma população de crianças?
Como o resultado entre essas duas populações é bem diferente, pode ser uma fonte de
heterogeneidade. É essencial, por exemplo, comparar se, há estudos que estão
fazendo intervenções diferentes, ou avaliando intensidade de exposições diferentes.
Por exemplo, será que algum estudo está comparando uma dose e outro estudo tá
fazendo uma comparação de uma dose maior? Se isso ocorrer, os resultados serão
diferentes. Também, é essencial avaliar como é que os desfechos foram
mensurados entre os estudos, ou seja, será que usou o mesmo instrumento que outro
estudo? É fundamental, também, avaliar eventuais diferenças entre os
delineamentos empregados entre os estudos, ou seja, será que há uma diferença nos
métodos, uma diferença metodológica, entre os estudos incluídos?
Um estudo, por exemplo, é ensaio clínico randomizado, outro é estudo de coorte, e o
outro é caso controle? Então, é importante, ao avaliar meta-análise, se essas
eventuais diferenças no delineamento estão influenciando os resultados. Existem duas
formas triviais de se investigar a heterogeneidade. A primeira e mais tranquila de se
fazer, é avaliar a dispersão, ou como os intervalos de confiança estão distantes da
medida final. Ao olhar esse gráfico, você acompanhará o seguinte, o gráfico da esquerda
está homogêneo, ou seja, você pode observar que os intervalos de confiança, conversam
entre si, e parecem estar coerentes com o resultado final. No gráfico da direita, você vai
ver os resultados mais dispersos, e os intervalos de confiança nem sempre acompanham
o diamante final. Outra forma de investigar a heterogeneidade é usando
técnicas estatísticas, porque, por vezes, ao trabalhar com gráficos, fica difícil de
visualizar. Entre as técnicas mais comuns, temos fazer o teste qui-quadrado, calcular o
Tau2, ou trabalhar com uma medida chamada I2, ou I ao quadrado. O I2 é mais fácil de
trabalhar, ele é, como se fosse, uma medida de poluição. Então, valores acima de 50% já
contam uma elevada heterogeneidade. No gráfico da esquerda, você vai observar que a
heterogeneidade é nula, 0%. No gráfico da direita, você já vai detectar a
heterogeneidade, que vai estar acima de 50%.

Investigação da heterogeneidade

Heterogeneidade ocorre quando há variação entre os estudos incluídos de uma revisão

sistemática, dificilmente encontraremos estudos primários com o mesmo desenho e com
a mesma população.
Dessa forma, essas variações podem ocorrer pela questão metodológica ou pela questão
dos diferentes tipos de pacientes incluídos, assim, uma forma de contornar a
heterogeneidade é realizar uma análise de subgrupo.
Essa análise de subgrupo pode ocorrer de duas formas, selecionando diferentes
pacientes dentro dos estudos primários incluídos, por exemplo, analisando apenas
mulheres versus homens, analisando a questão de faixa etária ou status
socioeconômico. Outra forma de contornar, via análise de subgrupo, é selecionar
determinados estudos incluídos, então eu vou selecionar apenas os estudos primários
provenientes de países de renda alta versus países de renda baixa ou média.
Outra forma de contornar a heterogeneidade é via metarregressão, ela é tipo de análise
de subgrupo, somente utiliza uma ferramenta estatística, ela funciona como método de
regressão simples, na qual uma variável é explicada por conjunto de outras variáveis. A
variável que será explicada é aquela do efeito da sua revisão sistemática, que pode ser o
risco relativo, a diferença de médias ou odds ratio e essa variação do efeito se dará por
conjunto de variáveis explicativas, que pode ser, por exemplo, o ano do estudo, dos
estudos primários, pode ser a questão de estudos primários de países de renda
alta, versus de renda média ou baixa ou alguma outra característica que você achar
relevante, que pode gerar essa diferença de efeito. É importante ressaltar que a
metarregressão só pode ser realizada se a sua revisão sistemática incluiu pelo menos 10
estudos primários.

Viés de publicação

Resultados negativos, ou que não sejam de interesse das pessoas elaboradoras da

pesquisa, ou por interesses comerciais, acabam não conseguindo serem publicados na
literatura científica. Esse tipo de fenômeno é conhecido como viés de publicação; ou
seja, não conseguimos captar a totalidade da evidência disponível.
Bem, há setores que se utilizam desse artifício para manipular evidências e, por vezes, é
difícil fazer diagnóstico inicial. Entretanto, temos algumas técnicas que facilitam nesse
processo, que se concentram três.
A primeira e mais fácil, é fazer uma apreciação crítica do processo de busca para saber,
por exemplo, se foram olhados os termos mais usuais para descrever aquela tecnologia,
ou aquela exposição que está sendo investigada. Ou até mesmo olhar se as fontes de
informação, as bases de dados, são as mais recomendadas para conseguir identificar
de uma maneira efetiva a busca que se quer. O viés de publicação também pode ser
investigado por técnicas gráficas e estatísticas.
Essas técnicas partem do pressuposto do efeito de estudos pequenos. O quê isso
significa? É que estudos com pequeno tamanho de amostra vão ter uma elevada
variabilidade de resultado; e essa variabilidade que se detecta nos gráficos e nas técnicas
estatísticas. Nos gráficos, é trabalhado com gráfico de funil. Nos gráficos, o que você
poderá observar? Na parte inferior, no eixo 'x', vai estar o resultado da
metaanálise, indicada por esse tracinho. No lado esquerdo, no eixo 'y', você vai ver a
medida de dispersão, que é o erro padrão. Você vai ver que gráfico simétrico, os
pontinhos que representam os resultados dos estudos individuais apontam que há uma
homogeneidade entre eles. Então, indica que há ausência de viés de publicação.
No gráfico da direita, você vai identificar que os pontos estão distribuídos apenas para
lado. Isso indica, por exemplo, que você está pegando resultados positivos, indicando o
potencial viés de publicação. No que se refere às técnicas estatísticas, que também parte
do mesmo pressuposto do efeito de estudos pequenos. Existem quatro técnicas
convencionais. A primeira é a técnica de "Harbor" e de "Peters" para desfechos
dicotômicos.
A segunda é a técnica de "Begg" e de "Egger" para desfechos contínuos. A forma de
interpretação desse teste consiste você saber o resultado final do teste estatístico, que,
no caso, é dado pelo valor do 'p'. Valores estatisticamente significativos usualmente
apontam que não há o efeito de estudos pequenos; e apontam, assim, viés de
publicação. Ao investigar o viés de publicação, o pesquisador se confrontará com
situações que será muito difícil fazer esse julgamento; porque depende
da disponibilidade de informação, por vezes, indisponível naquele momento. Assim, há
momentos que a verdade sobre aquele viés de publicação só será revelada depois. O
exemplo mais prático, mais clássico, é o do "Rofecoxibe", que se provou que ele
causava maior dano cardiovascular quando comparado com o placebo. Desconfie das
revisões sistemáticas que não investiguem o viés de publicação! E que por mais que ele
exista, é importante ponderar para subsidiar processo mais racional de tomada de
decisão.

Adequação da meta-análise

A maneira mais elaborada de resumir e divulgar os dados obtidos em revisões

sistemáticas é por meio de meta-análise, uma soma estatística dos resultados de cada
estudo. Os principais cuidados para evitar distorções nos resultados da meta-análise
dizem respeito à heterogeneidade entre os estudos e ao viés de publicação.

Heterogeneidade

Uma forma de evitar resultados heterogêneos é incluir na revisão sistemática apenas os

estudos metodologicamente semelhantes, em termos de população,
intervenção/exposição, comparador, desfecho e tipo de estudo. Contudo, podem ocorrer
variações que são difíceis de serem detectadas ao inspeccionar os estudos primários,
como mudança de critérios diagnósticos ao longo do tempo e influência do contexto.
Uma forma simples de verificar se há heterogeneidade é observar se os resultados dos
estudos "se conversam", se os seus intervalos de confiança se sobrepõem parcial ou
totalmente. Se não há sobreposição deduzimos que os resultados divergem
estatisticamente e, então, partimos para a análise por outras técnicas.
Para identificar a heterogeneidade nos achados são aplicadas técnicas estatísticas com o
propósito de verificar se as diferenças observadas nos resultados são explicadas pelo
acaso.
O teste do qui-quadrado é um dos mais empregados para avaliar a significância da
heterogeneidade. Tem sido convencionado um nível de significância mais conservador
de p<0,10, em lugar do usual p<0,05 é o adequado para identificar a presença de
heterogeneidade. A magnitude da heterogeneidade é averiguada principalmente pelo
cálculo do I-quadrado (I²), que varia de 0 a 100%. Em geral, um I² superior a 50%
indica heterogeneidade substancial e, acima de 75%, heterogeneidade considerável¹.
Quanto maior a heterogeneidade, maior o questionamento sobre a validade de combinar
resultados. Na presença de heterogeneidade, recomenda-se investigar suas causas por
meio de análise de subgrupo e metarregressão.

Análise de subgrupo

Na análise de subgrupo, analisa-se os estratos específicos da população recrutada nos

estudos incluídos ou em propriedades dos estudos incluídos para identificar sua
repercussão nos resultados. Se houver resultados mais homogêneos, os revisores
precisam avaliar a plausibilidade do achado. Veja o exemplo abaixo:
O resultado geral da meta-análise é relativamente heterogêneo (I²=41,9%; p=0,026). Ao
separar os resultados por tipo de estudo encontramos resultados mais homogêneos
(I²=18,5% com p=0,272 para estudos de coorte e I²=0% com p=0,722 para estudos do
tipo caso-controle).

Metarregressão

Nos estudos primários, ou seja, nos relatos de pesquisas originais, a técnica de regressão
é empregada rotineiramente para avaliar a relação entre uma ou mais covariáveis com a
variável-desfecho. Da mesma forma, em meta-análises pode ser empregada técnica
semelhante, denominada metarregressão. Ela permite avaliar o efeito de múltiplos
fatores na heterogeneidade, respeitando-se o mínimo de dez estudos para que a análise
tenha validade. Veja o exemplo abaixo:

O gráfico sugere que a média do tempo de seguimento em dias diminui o odds ratio
(razão de chances) em escala logaritma. Essa hipótese é confirmada pelo teste estatístico
(p=0,017).

Viés de publicação

Os dados selecionados para compor a meta-análise podem estar influenciados pelo viés
de publicação. Entende-se por viés de publicação a tendência de os resultados
publicados estarem sistematicamente diferentes da realidade. A não publicação de
resultados pode ser devida à decisão do autor ou do financiador do estudo, que não
submetem para publicação os achados desfavoráveis, ou dos editores de periódicos
científicos, que podem não ter interesse em divulgar resultados negativos (sem
significância estatística).
Nas revisões sistemáticas, a presença desse viés pode ser identificada por meio de
gráfico de funil e de testes estatísticos.
A utilização dessas técnicas é recomendada para meta-análises com dez estudos ou mais
e baseia-se em questões de estimativa e de precisão. Os estudos pouco precisos, em
geral realizados com amostras de tamanho pequeno, poderão encontrar resultados
positivos ou negativos (estatisticamente significativos ou não) por influência do acaso.
Eles estariam distribuídos simetricamente na parte mais larga do funil. Estudos de maior
precisão, em geral em menor número, estariam mais próximos do valor real e situados
na parte mais estreita do funil. Vejamos o exemplo abaixo:

No eixo Y do gráfico, temos uma medida de dispersão, o erro padrão, que é

influenciado pelo tamanho de amostra do estudo. Quanto maior esse valor, maior é
imprecisão do estudo e mais próximo da base estaria posicionado. No eixo X do gráfico,
temos a medida de efeito mensurada na meta-análise e a linha central é o resultado da
meta-análise (estimativa média ou estimativa global). A linha pontilhada representa o
intervalo de confiança de 95%.
Uma vez que estudos imprecisos tem a mesma chance de encontrar resultados positivos
e negativos devido à influência do acaso, espera-se que esse funil tenha resultados
distribuídos simetricamente no gráfico. O gráfico acima sugere assimetria: os estudos
marcados com triângulo estão apenas do lado direito, superestimando o valor do odds
ratio. O efeito de estudos pequenos foi confirmado pelo teste de Harbord (p=0,037).
Assim, tanto a assimetria do gráfico como a presença do efeito de estudos pequenos
evidenciam viés de publicação.
Também é possível estimar a presença desse viés em bases de registros de estudos, pela
busca daqueles que não vieram a ser publicados. Não fique condicionado aos resultados
estatísticos. Faça uma apreciação crítica do processo de busca realizado, em relação aos
termos, fontes de informação e idioma. Tais elementos devem ser apropriados para a
pergunta da revisão sistemática.
Referência
1. Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA
(editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0
(updated July 2019). Cochrane, 2019. Available from
www.training.cochrane.org/handbook

CIÊNCIA ABERTA E DISSEMINAÇÃO CIENTÍFICA

Ciência aberta

Há diferentes níveis de ciência aberta, aqui, nos deteremos, principalmente, na

disponibilização do banco de dados que permitiu a análise estatística da pesquisa. Há
questões envolvidas nessa disponibilização do banco de dados, questões éticas como o
anonimato dos participantes da pesquisa, se estamos tratando de uma pesquisa realizada
seres humanos.
Há, também, questões práticas, como a originalidade da publicação de artigos futuros
com essa mesma base de dados.
No caso da revisão sistemática, esses dilemas são bastante minimizados, isso porque a
origem dos dados da revisão sistemática já é proveniente de dados publicamente
disponíveis, porém, houve um tempo da equipe de pesquisa coletar esse dado,
uniformizar, fazer transformações, interpretações e esse banco, portanto, é algo novo
que a revisão sistemática pode proporcionar. A disponibilização desse banco de dados
da revisão sistemática permite análises adicionais, aumenta a transparência, contribui
para a reprodutibilidade na área da pesquisa, como também permite a atualização dessa
revisão por outros grupos de pesquisa. É comum que os autores da primeira revisão
sistemática percam o interesse ou não tenham condições de realizar a atualização, então,
disponibilizando esse banco de dados, a medida que saiam novos estudos elegíveis, eles
podem ser atualizados por outros grupos de pesquisa, facilitando a utilização já
dos recursos iniciais dispendidos para a elaboração desse primeiro banco de
dados. Existem vários repositórios que têm pacotes de dados gratuitos e que permitem o
depósito desse banco de dados de maneira aberta e transparente. Entre eles destacamos
o Data Mendeley, o Figshare, Dryad e o OSF. Idealmente, para contribuir com a ciência
aberta, a revisão sistemática deveria depositar o banco de dados da extração, os detalhes
que subsidiaram a avaliação da qualidade, os dados que foram imputados da meta-
análise, como também os comandos que foram aplicados. É importante ressaltar que não
se faz necessário depositar, por exemplo, os PDFs dos artigos incluídos, pois há
questões de direitos autorais envolvidos. Outros aspectos que é importante falarmos
sobre ciência aberta é a pré-publicação, os pré-prints. O pré-print consiste depositar o
manuscrito na sua versão final da revisão sistemática, ou do artigo que se vai publicar
enquanto ele está sendo submetido para outras revistas. Essa pré-publicação permite que
o manuscrito receba críticas, antecipa a disponibilização dos resultados para a
comunidade científica e as citações desse pre-print são incorporadas no artigo final.
Há, também, revistas com política editorial de acesso aberto, ou seja, as revistas open
access, que o autor faz o subsidio, faz o pagamento pela publicação desse artigo e esse
artigo fica sem custos para o leitor, temos, também, que distinguir as revistas open
access das revistas predatórias, que são revistas sem política editorial rigorosa e
que, geralmente, cobram dos autores pela publicação, porém, via de regra, não são
indexadas nas bases de dados.
Entrevista com Olavo Amaral - Iniciativa Brasileira de Reprodutibilidade

E: Eu converso agora com o Olavo Boher Amaral, professor do instituto de bioquímica

médica da UFRJ. Olavo é médico e escritor e coordena a iniciativa brasileira
de reprodutibilidade. Um projeto multicêntrico para a replicação sistemática de
pesquisas brasileiras na área biomédica. Obrigada pela sua disponibilidade compartilhar
a sua experiência conosco, Olavo.

O: De nada, é prazer.

E: Explica pra gente como funciona a iniciativa brasileira de reprodutibilidade.

O: Então, a iniciativa é uma tentativa de replicação sistemática de experimentos

publicados da ciência brasileira. E visa responder uma questão, que pra mim, é
realmente importante, que é o quanto da ciência publicada de fato é confiável,
reprodutível, é uma coisa que aparentemente parece se sustentar quando laboratório
independente tenta replicar os meus resultados. Surpreendentemente, a gente tenta
acreditar muito literatura científica, e a gente tem pouquíssimos dados sobre isso,
poucos levantamentos áreas muito restritas: "Vamos tentar pegar coisas aqui e ver até
que ponto as coisas se repetem." E os poucos que a gente tem mostra que muita coisa
não replica, a gente tem alguma coisa na área de psicologia e biologia básica do
câncer, alguma coisa clínica, realmente muito pontuais e você tem números da ordem
de, dependendo da área, de zero a 70%. Você tem desde, o mais bem feito que a gente
tenha uns 100 estudos da área de psicologia, você tem torno de 37 ou 46% replicando,
pouco menos da metade. Bem poucos, por que que não replicam outra história, se era
mentira? Ou se aconteceu de fato ou foi acaso, ou se tem algum erro no meio, de fato as
coisas variam, se você replicar lugar acontece outro lugar. Isso não se repete, você tem
espectro grande de causas pra isso. Mas parece que é difícil repetir muitos resultados da
literatura científica, o que quer dizer que não sejam exatamente confiáveis. E a gente
não tem muitos levantamentos, não conheço nenhum levantamento a nível nacional,
acho que o nosso projeto é particular nesse sentido. Vamos tentar reproduzir
experimentos da ciência brasileira, acho que ninguém fez isso ainda. A gente pode
discutir se é melhor ou pior de forma específica, mas são experimentos publicados nos
últimos 20 anos por autores brasileiros utilizando metodologias comuns na área de
ciências de biomédicas, biológicas, de laboratório e tal. A gente está começando com
três métodos que são experimentos envolvendo medidas feitas pelo ensaio de MTT, que
é ensaio de viabilidade celular culturas de células por medidas de mRNA por RT-PCR,
que é método bastante comum também, e uma tarefa comportamental que é o labirinto
cruz elevado, que é uma tarefa de uma sociedade. Então a gente tem ainda 20
experimentos com cada método, a gente está começando com 60 experimentos. Nosso
objetivo é chegar entre 50 e 100, a gente está começando com 60. Se sobrarem recursos
depois disso a gente estender pra mais ou duas técnicas. Mas isso no momento não é
muito certo, talvez a gente acabe 60 mesmo, porque sei o esforço que é custoso
assim. Cada experimento vai ser replicado três laboratórios diferentes, então a gente
montou uma rede que hoje dia tem mais de 60 laboratórios ao redor do país, que
trabalham com esses métodos, a gente fez o recorte por método, porque a gente tinha
que conseguir coisas que gente suficiente conseguisse fazer. A gente está desde o início
do ano passado trabalhando com esses laboratórios pra desenvolver os protocolos de
replicação, a partir do que está descrito nos artigos originais. Cada laboratório
desenvolveu o seu protocolo particular, a partir do método que está descrito, cada
laboratório faz as adaptações que acha necessárias e preenche as lacunas metodológicas
que eventualmente tem, e a gente está razoavelmente pronto pra começar a maior parte
dos experimentos, alguns têm que fazer ajustes, alguns têm que passar pelo comitê de
ética, os que envolvem animais, mas a gente tem os primeiros em célula estão mais ou
menos prontos, estamos adquirindo reagentes. Então a expectativa é que os
experimentos devam começar ao longo dos próximos dois meses, provavelmente. E
cada tem que ser feito três lugares, então você tem total de 180 experimentos 60
laboratórios que têm ritmo diferentes, a gente espera que vai ter os resultados finais só
lá pra metade do ano que vem.

E: 2021, né? Olavo, você falou duas coisas que eu achei interessantes, primeiro que
psicologia tem muita iniciativa de verificar reprodutibilidade, mas se a gente olhar a
literatura biomédica, a literatura da saúde, a psicologia não está no topo, né? Então, às
vezes fico pensando se tem também uma questão de conflito de interesses, ou alguma
coisa do tipo que faça, por exemplo, a gente querer investigar pouco mais a psicologia,
mas efeitos de tratamentos, de medicamentos e tal, a gente >> realmente relegar para a
confiança. O que você acha disso?

O: Acho que cada área tem coisas muito peculirares. Em defesa da pesquisa de saúde,
acho que pesquisa clínica de alto nível tem padrões metodológicos muito melhores do
que pesquisas de laboratório, termos de desenho experimental, de randomização, de
controle de uma série de coisas. A pesquisa clínica está a décadas a frente. Por incrível
que pareça, qualquer pessoa sabe que idealmente um ensaio clínico deveria ser duplo-
cego, e bizarramente é muito difícil, a maior parte dos experimentos com animais, por
exemplo, não reporta o que a análise do desfecho cega, e às vezes é difícil convencer
pessoas que estão trabalhando com métodos obviamente dependentes de observador em
microscopia e que a cegagem é importante, nesse sentido a gente está 50 anos atrasado.
Então a gente tem padrões de rigor muito piores. Acho que a psicologia tinha problemas
parecidos. A psicologia tem uma multiplicidade de desfechos possíveis grandes, então
tem uma possibilidade de análise grande, e tenta usar tamanho de amostra não tão
grande, então eu acho que é campo que tinha problemas, e que por uma conjunção
casual de fatores, alguns artigos provocando, a gente tem problema, levando esse debate
adiante, acabou que tomou uma dianteira. E claro, se beneficiou também do fato de que
muito do que eles fazem é experimento simples e barato, no sentido de que muita coisa
você dá questionário online e a pessoa responde

E: Mais fácil de testar, né?

O: Sim! É muito mais fácil você pegar e replicar 100 experimentos da área de
psicologia, quer dizer, são experiências mais fáceis, do que fazer experimentos de
laboratório, que tem reagente, que tem amostra, que tem uma série de coisas, é uma área
que tem uma movida importante nesse sentido, a gente debate grande e toda uma nova
geração que tem conflito de gerações. Tem uma nova geração mais preocupada com
isso. E tentando estabelecer uma maneira mais confiável de proceder que os seus
predecessores. É campo pouquinho consagrado. Acho que esse tamanho de movimento
ainda não chegou na ciência de laboratório, por exemplo. A gente começou a discutir o
problema, acho que a conscientização sobre o fato que a gente tem o problema
de reprodutibilidade ao longo da última década aumentou muito, a partir de 2012, 2013
especialmente, por conta de alguns resultados pequenos, alguns levantamentos desses,
hoje dia tem muito interesse no campo. Acho que a mobilização pra tentar mudar as
coisas na área biomédica básica, ainda está demorando pouquinho, a gente está tentando
meio empurrar a coisa pra frente, tem pouquíssimos levantamentos como o nosso no
mundo. Talvez a gente seja o maior levantamento, a maior tentativa de replicar conjunto
de experimentos de laboratório que o mundo já viu.

E: Eu ia pergunta isso. Se você conhecia outra iniciativa semelhante outros países, e

uma dúvida lá que eu fiquei com o método da iniciativa brasileira da reprodutibilidade,
a escolha dos estudos foi sorteio, como que vocês fizeram pra serem replicados?

O: O nosso projeto é bastante influenciado pelos projetos que estão no centro do Web of
Science, que fez primeiro essa tentativa de replicar 100 artigos da área da psicologia
mais ou menos numa metodologia parecisa, eles recrutaram e abriram, selecionaram
experimentos três revistas, abriram pra laboratórios ao redor do mundo, e quem quer
nos ajudar e etc. Eles têm segundo levantamento que é na área de biologia básica do
câncer, tentando replicar artigos de muito alto impacto nessa área. Que é muito mais
complicado, são artigos às vezes com metodologias complicadíssimas. Então eles
começaram querendo replicar 50 estudos, acabaram com 19, acho que tem 15
publicados. E foi todo terceirizado também, mas terceirizado por serviços
comerciais que faziam os métodos, mas foi muito difícil, eles acabaram tendo que
desistir de muita coisa durante o processo, se tornou muito caro, então acho que a gente
aprendeu pouquinho com isso e algumas coisas. Primeiro que a gente tentou fazer uma
seleção aleatória. Então, os artigos que a gente tem são focados revistas de alto impacto
ou nos artigos mais citados, que é universo válido, são os artigos que mais influenciam.
Mas eu não conheço nenhum artigo que seja realmente, vamos tentar fazer uma
amostragem sistemática da literatura. Fora que acaba não sendo completamente
sistemática. Agora você tem que acabar optando pelo que você consegue fazer. Então
assim, a gente selecionou aleatoriamente artigos científicos com mais da metade dos
autores no Brasil, inclusive com exponente ao longo dos últimos vinte anos que
pudessem ser feitos, que tivessem os nossos métodos mais comuns que a gente achava
que a gente podia fazer. que acabaram sendo só três. Tem os experimentos cujos
desfechos sejam medidos por esse método que sejam feitos, passível de fazer com
materiais comercialmente disponíveis que envolvam uma comparação entre os dois
grupos e que os nossos laboratórios consigam fazer.

E: Sei. Então, todos os critérios vocês sortearam?

O: É uma amostragem aleatória que acaba sendo enriquecida experimentos simples e

baratos que a gente tem capacidade para fazer. Os caros e difíceis acabam que vão
sendo pra fora. Assim, uma amostra aleatória dentro de certos critérios que acabam
limitando a gente essa coisa mais simples, não é?

E: É, mas aí ajuda a gente a perceber que os estudos minimamente são representativos,

não teve uma conveniência na escolha, teve os critérios, e aí fez o sorteio daqueles que
preenchiam o critério, não é?

O: É a gente fez uma amostragem, a gente fez assim, sei lá a gente baixou trinta mil
PDFs de arquivos brasileiros muito obrigado por Sci-Hub, que nos permitiu fazer, a
gente não teria feito, conseguido terminar terminar esse projeto sem Sci-Hub buscamos
termos que enfim, que eram significativamente representativos de artigos com
experimentos daqueles métodos mas no final acabou tendo a filtragem do pouquinho
que a gente consegue fazer. A gente começou sei lá, a gente começou com dezenas de
estudos para conseguir chegar vinte que a gente tivesse três laboratórios que fossem
tecnicamente capazes de fazer.

E: Entendi. E o que te motivou a fazer pesquisas reprodutibilidade?

O: Eu acho que a gente tem problema grande, não é? Enfim, acho que é o motivo maior
para várias pessoas, eu acho que minha carreira científica meio que teve ponto de
inflexão grande quando eu comecei a dar aulas de estatística foi 2011 assim até então eu
era enfim alguém da neurociência básica, eu faço pouquinho de neurociência mas cada
vez menos, assim e tal. E acho que assim, acho que começar a dar aula de estatística me
colocou contato com literatura sobre a reprodutibilidade, John Ioannidis essas pessoas
estão batendo no tema a muito tempo, assim e tal, e dois me fez perceber o quanto a
ciência é baseada em dados, as pessoas trazem os seus dados, trazem os seu projetos,
assim tipo assim poxa, o quanto de furos a gente tem e isso não é uma exclusividade da
UFRJ, do Brasil, assim sabe acho que de uma maneira geral a pesquisa básica é muito
mal desenhada, as pessoas não as pessoas não têm, enfim, não tem noção de estatísticas
assim e tal, entendimento de conceitos básicos de estatística é buraco negro na
biologia. Não tem uma produção forte da linha experimental, do controle de viés, de
pensar nas suas análises antes de sabe assim, coisas que a clínica já faz a bastante
tempo, a gente tem problemas muito sérios algum momento caiu a ficha para mim que
sabe, talvez tentar concertar essas coisas aí que fosse mais importante ou mais relevante
que qualquer outra coisa que eu conseguisse fazer no laboratório, assim e tal. Fora que
tem uma coisa legal não na iniciativa si, assim a ideia de metaciência ou de ciência
sobre ciência que a boa parte do que a gente fala sobre reprodutibilidade, tem uma coisa
de "pô" sabe, tem muita literatura disponível,m muita gente procurando dados assim, e
acho que assim faz menos falta mais gente tirando dados mas falta gente que possa
olhar para dados criticamente.

E: Analisando dados.

O: É de revisão sistemática que é uma coisa de novo assim, a gente pouquíssima cultura
fora da área clínica, assim então acho que a gente poderia ter mas não é fácil, não é
necessariamente fácil você fazer uma meta-análise de trabalhos que tem suas
peculiaridades, tem metodologias muito distintas, tem muitos experimentos por artigo,
tem mais viés. Então assim não é simples mas assim, é uma coisa que a gente também
tem tentado pensar, e "pô" como é que você consegue trazer metodologias que estão
bem que estão bem estabelecidas outras áreas, aí e tal aí para uma área mais de ciência
mais básica, acho que isso é importante.

E: Isso. Mas eu acho que até digamos efeito de quem vai fazer esse tipo de revisão
sistemática na pequisa básica é se conscientizar do problema. E aí na, quando você tenta
fazer a revisão sistemática de estudos de pesquisa básica ou de estudos pré clínicos com
animais enfim, você se depara com tudo isso e aí você percebe, nossa então, há espaço
para crescer e eu acho que desse mesmo jeito foi que aconteceu também na pesquisa
clínica não é, quando se percebeu que tinha muita heterogeneidade tinha muita coisa
obscura e aí vieram os guias de redação, e tal, e aí já nesse sentido que eu ia te
perguntar, que nosso curso aqui então trata de revisão sistemática da literatura que se
baseiam justamente pesquisas realizadas, e como que você vê a questão da
reprodutibilidade nessa área de metaciência, acho que você já respondeu pouco mas se
quiser complementar.

O: Eu acho que você tem enfim, os mesmos problemas potencial de quase tudo,
assim. Você tem o potencial para viés, pra qualquer de análise, para enfim, seleção de
desfecho ou de critérios meio por conveniência, você tem enfim, E você tem que ver o
contrário, se é clínico, se a pesquisa quem está testando uma intervenção, não sei de quê
geralmente está propenso a dizer que poxa, isso aqui vai ser efetivo, geralmente a gente
tem ao contrário, a gente quer provar que está tudo errado. Mas, então assim, sei lá o
principio de tentar controlar o seu viés vale para qualquer coisa, assim e tal. Do lado
positivo, assim eu acho que assim, quem tá nesse campo tem uma percepção muito mais
aguda do problema do que outras pessoas. Então eu acho que assim sei lá, no campo de
metaciência que ainda é uma coisa muito emergente assim, muito emergente mas assim
acho que tem muita gente preocupada com compartilhar dados, com registrar
protocolos, assim com uma série de coisas que eu acho que ajudam nesse sentido, mas
evidentemente é campo da ciência como qualquer outro assim, então assim está sujeito a
vieses dos mais diversos tipos.

E: E aí já nesse aspecto a gente sabe que a ciência é baseada confiança, não é? Quando
nós começamos então, a pesquisar sobre a área de integridade pesquisa enfim eu
percebo que tem uma linha tênue entre esse ceticismo de eu pegar uma pesquisa
científica e verificar se ela é válida, verificar se os métodos dela são livres de vieses, ou
pelo menos ela tem controle de vieses, e o outro lado que seria a negação, o
negacionismo científico, não acreditar nada que vem da ciência que aí é prato cheio para
o problema que a gente enfrenta já a algum tempo de gerar fake news, então como que
você vê esse cenário, não é, de se por lado a gente aumenta a consciência das pessoas
que o que está pesquisado e o que está publicado precisa ser olhado com olhar crítico
mas o outro lado que já pode ser o extremo, que é o que eu chamo de assim de
negacionismo científico, diferente de ceticismo.

O: Eu acho que eles são o mesmo problema, eu acho que eles existem dentro e fora da
ciência assim, quer dizer, isso tem a ver com conseguir... Acho que a revisão sistemáica
tem a ver com conseguir graduar a força de evidência, assim e tal, obviamente que tem
coisas que a gente sabe, a gente sabe que a terra é redonda a gente sabe que insulina
diminui a glicemia, a gente sabe que a gente tem uma confiança muito grande de que o
aquecimento global é provocado por causas antropogênicas enfim algumas coisas a
gente sabe menos, assim e tal, quer dizer acho que até hoje a gente não sabe direito se é
melhor comer carboidratos ou comer gordura aí e tal, a gente tem consensos 50 anos
mas assim na prática eu acho que a gente não sabe, assim e tal, então assim o que
diferencia as coisas, e isso é complicado assim, do que a gente sabe para mim é uma
problemática filosófica importante assim e tal, e que acho que não está bem resolvida
assim e tal, quer dizer a gente tem enfim, a gente tem a ideia que 'pô' se a coisa está
enfim, idealmente a ideia não, poxa essa cois foi publicada artigo científico revisado por
vários 'não sei de que', sei que deveria ser verdade não é o caso assim e tal, certamente
revisão como existe hoje não é nem de longe assim o filtro para eu conseguir separar o
joio do trigo, assim e tal, agora, uma coisa que foi mostrada repetidamente por milhares
de grupo, é mas assim, não tem uma linha clara, assim e tal. E eu acho que a gente tem
que conseguir construir essas linhas claras assim e eu acho que isso passa por ter uma
ciência mais confiável assim, quer dizer sabe se está escrito, simplesmente está num
artigo revisado por pares não é o suficiente para e não é para dizer que isso aqui
provavelmente é verdade ou isso aqui, nem se quer provavelmente, não é nem que assim
isso aqui é provavelmente verdade. não é uma informação.

E: É sinal né?

O: Que isso aqui é provavelmente verdade, então a gente tem que ter higher standards,
não é, tipo assim, a gente tem que conseguir confirmar algumas coisas. E a gente está
pouco, eu acho que assim, especialmente na pesquisa básica, a gente está
pouco equipado para isso, assim. Claro, assim, poxa sai artigo interessante a gente pode
pegar, cinco, dez, quinze laboratórios no mundo, vamos todo mundo replicar e a
gente chega a uma conclusão e "pô" bate o martelo assim "pô" isso aqui
realmente assim está quase além de qualquer dúvida aqui e tal a gente acha que é
verdade. Mas a gente não tem esse passo hoje, a gente não tem o hábito de
ciência confirmatória a gente tem uma obsessão com novidade, a gente tem essa coisa
que a primeira pessoa que descobriu alguma coisa é quem importa, e cara não é quer
dizer, sabe a segunda pessoa que que comprovou isso aqui é tão importante quando o
primeiro assim talvez assim e tal.

E: Sim, porque mostra que é verdade.

O: Melhor e direito, com tamanho de amostra maiores provavelmente mais relevante

que os primeiros estudos assim e tal, e é claro o que importa é a gente tem que ter uma
pespectiva meta-analítica digamos assim do conhecimento, de agregar conhecimento e
infelizmente assim o nosso sistema de publicação é muito ruim nisso quer dizer você, e
isso é uma coisa, vocês estão em um curso de revisão sistemática fazer uma revisão
sistemática, isso dá trabalho tremendo que não deveria dar assim quer dizer sabe e
idealmente deveriam ter sistemas que agregassem automaticamente as coisas, você tem
dez estudos sobre droga X em diabetes aqui e tal, "pô" a gente deveria ter metadados
bons o suficiente para alguem está fazendo isso aqui, fazendo meta-análise automático,
isso aqui é a nossa última estimativa de o efeito da droga X, ou seja, a gente não tem
isso, assim e tal, processo extremamente custoso e extremante dispendioso, e assim e tal
poder, sabe como organizar melhor os conhecimentos seria mais fácil não é, então
assim, acho que a gente tem muito que melhorar e acho que melhorar é importante para
defender a ciência quer dizer, sabe, 'Ah' porque a gente vai combater sabe, as pessoas
pegam uma área tipo nutrição que ninguém sabe nada assim e tal e a gente vai combater
com o quê? nem os nossos experts não deixando questionar a ciência.

O: É. A gente tem que conseguir agregar. Se a gente tem a certeza de que vacina
funciona, de não sei o que, tem corpo de coisa que a gente sabe. Quem sabe conseguir ir
juntando as coisas que a gente vai tendo certeza. Cara, isso aqui está comprovado além
de qualquer dúvida razoável. Eu acho que é importante, mas a gente não tem essa
graduação de evidência, a gente não tem esse certificado e acho que isso passa pelas
escolhas que a gente fez termos de como a gente certifica a ciência. Ou por sistema que
me parece de revisão por pares que no fundo é opinião, é muito pouco sistemático, a
gente não sabe muito bem o que entra na revisão por pares. Quer dizer, é processo
anônimo feito por portas fechadas, você tem pouquíssima orientação. Tipo assim, a
gente está checando isso, isso, isso e isso. Quer dizer, a pessoa vai olhar aqui com o
olhar que eu tiver. As vezes vai ser bom, às vezes não vai. As vezes ela vai ter tempo, as
vezes ela não vai. As vezes vai ter condições, as vezes não vai e no fundo a gente não
sabe quem está checando, não sabe quem está olhando, não sabe o que as pessoas estão
checando. E é completamente diferente de campos do empreendimento humano que as
pessoas têm controle de qualidade de verdade. Se você entra no avião, você sabe, eu não
sei, mas se você quiser você vai saber exatamente o que as pessoas checaram, quem é
fez não sei o que, quem é que assinou, qual é a empresa, qual é a metodologia. Tudo
ultratransparente termos de controle de qualidade. Eu acho que a gente tem que seguir
por esse ponto. De novo, até para poder dizer "cara, isso aqui não é fake news. Tem fake
news que também vão aparecer forma de artigo científico.

E: Sim.

O: Você tem artigos que são fakes, são fraudes. Tem revistas inteiras que são
publicidade da indústria, ou são, sei lá, publicidade criacionista. Então a gente tem que
conseguir criar. O pessoal da divulgação científica costuma dizer que, "não, o cientista
tem que descer da torre de marfim". Cara, eu acho que a gente tem que construir a torre
de marfim. A gente não tem uma torre de marfim, a gente tem castelo de cartas e nesse
sentido,

E: E meio que todo mundo combinou de não mexer na base do castelo de cartas.

O: Fica difícil defender a ciência nesse mundo. Tem aquela pesquisa, poxa, X% dos
brasileiros desconfiam da ciência. Eu desconfio. Não consigo discordar deles.

E: [RISOS]

O: O único jeito de combater o troço é combatendo o nosso telhado de vidro e sendo

transparente. Não vai conseguir esconder isso, " não vamos falar do problema". Não
funciona.

E: Exato. Eu acho que é trazer o diagnóstico, que é o primeiro passo, e eu acho que isso
que é o legal da iniciativa e depois construir bases sólidas. Então nesse sentido, que
ferramentas, eu acho que você já falou algumas coisas, mas que ferramentas que você
acha que podem melhorar a confiança e reprodutibilidade na ciência?

O: Eu acho que a gente tem que ter, acho que passa por vários aspectos. A primeira
coisa que a gente precisa ter é a gente precisa ter incentivo para as coisas serem
verdade. Quer dizer, a gente tem muito incentivo para publicar, muito incentivo para
dizer coisas, para postular ideias, a gente tem recompensa praticamente completamente
baseado na publicação. Na verdade, sem saber se aquilo de fato se sustenta ou não. Faz
pouquíssima diferença para sua carreira científica no fim das contas. A gente tem
sistema muito compromissado com a publicação. Não que as pessoas queiram mentir,
ou queiram publicar uma coisa que está errada, mas o jeito que a gente estruturou a
economia da ciência faz com que naturalmente você tenha muito pouco estímulo para
questionar os seus dados. Você tem o resultado, você pode checar ele duas, três vezes
para ver se é verdade mesmo, mas se não for você vai perder todo o esforço que você
pôs você não vai publicar, você vai perder sua tese. Então vamos confiar.

E: Não vamos nem olhar direito.

O: Não acho que fraude seja grande problema. Quer dizer, existe, mas acho que não é
problema de proporções grandes o suficiente para distorcer tanto a ciência assim, mas
acho que o estímulo para, na dúvida, não pergunte, não cheque, publique isso aqui sem
fazer muitos testes, infelizmente é muito comum. E a recompensa também. Quer dizer,
você vai publicar, você vai achar que você teve muito bem, saiu na Nature, saiu não sei
o que, pode ser tudo mentira e nesse caso você não está indo bem. Se a gente acha que
ciência melhora o mundo, salva vidas, ciência errada mata gente e piora o mundo.

E: Consome recursos.

O: Mas você tem a impressão de que está tudo muito bem. Campos inteiros da ciência
as vezes tem a impressão de que está muito bem porque a gente está dando os estímulos
errados. Acho que a primeira coisa é recompensar verdade, rigor, antes de impacto e
publicação, etc.

E: Números.

O: Pode até ser números, mas tem que ser números que digam respeito ao quanto. Se
dez pessoas conseguiram reproduzir seu achado esse é o número que vale. A gente pula
para impacto direto. Quanta gente citou, quanta gente achou, quem é que leu. Antes de
tudo tem que ser verdade. Acho que a gente tem pulado esse passo repetidamente na
avaliação científica. O segundo grande grupo é gerar processo de controle de qualidade
que funcione. Você tem que ter estímulo a rigor científico, mas a gente tem que ter
metodologias mais estandardizadas de controle de qualidade vários aspectos. Primeiro a
gente tem que ter a revisão por pares de uma maneira mais aberta, mais transparente,
que a gente saiba que está sendo checado. Nossa revista aqui checa código, pede isso,
pede aquilo. Uma certificação que você não sabe se foi feita é mesma coisa que
nada. Eu acho que a gente tem que migrar a revisão por pares e o controle de qualidade
do produto final para mais cedo, para revisar os métodos, a ideia dos registry
reports. Depois que você fez tudo está mal desenhado não adianta. No máximo você vai
dizer que está ruim, mas você não vai consertar nada e nem chamar o médico depois
que o paciente morreu. Então acho que a gente tem que migrar métodos para antes, a
gente tem que ter sistemas mais atualizados de revisar protocolos, de certificar que
estudo está bem desenhado antes dele começar. Acho que isso pode ser feito várias
instâncias, não é muito claro quem é que tem que fazer. A gente deveria mandar
métodos para as revistas, ou se a gente deveria fazer isso nível institucional. Acho que
as comissões de ética fazem isso até certo ponto.

E: Sim.

O: Pesquisas, mas nem todas. Então tem também que padronizar isso. Acho que
métodos mais cedo funcionam. Acho que pré registrar protocolos para mitigar a
flexibilidade de análise funciona e acho que tem todo lado educacional. Acho que a
gente tem que terminar informações estatística, experimentar uma ajuda científica, a
gente pula. Cientistas da área básica tendem a olhar isto como muito simples e não
é muito simples. A maior parte das pessoas na área base não sabe desenhar o
experimento com medidas mínimas de controle de viés porque não parece
importante. Porque na verdade isto daí acaba dando mais trabalho, consumindo mais
recurso, diminuindo a chance de você achar resultados positivo. Parece que tudo que
você faz de melhor conta contra você, isso volta lá para a primeira coisa que é o
incentivo. Então acho que mudar os incentivos, melhorar o controle de qualidade,
melhorar o sistema de publicação no sentido de a gente poder agregar a evidência
melhor. Então é ridículo que a gente tenha que fazer uma revisão sistemática
manualmente, deveria poder ser feito automaticamente com metadados e etc. Conseguir
traquear a reprodutibilidade. Poxa, tenho achado aqui mais dez artigos da literatura,
replicaram isso aqui? Não tem como saber isso dia. E educação e conscientização. A
gente trabalha muito pelo lado do ativismo também. E claro, tudo isso maior
transparência também. É uma coisa que a gente pode recomeçar, que a gente tem
métricas e pode olhar. E o quão transparente você é termos de disponibilizar os seus
protocolos, seus dados, etc. Isso é uma coisa medível, tem números cima disso e dá para
usar isso. Acho que a gente é muito pouco recompensado. Se você quiser botar todos os
seus dados disponíveis tem gente que vai achar que isso conta contra você, porque
alguém vai usar os meus dados e vai conseguir achar uma coisa, implicar. Isso é bom.
Se alguém conseguir usar os seus dados e descobrir uma coisa antes de você, mais
rápido, a ciência avançou. Então a gente tem que conseguir providenciar recompensa
para isso, você tem que ter estímulo para divulgar os seus dados e não estímulo para ter
medo disso. É bizarro.

E: É, exatamente. E uma última pergunta, Olavo. Que sugestões que você daria para os
nossos alunos que querem se aprofundar pouco na área de reprodutibilidade, enfim. Que
sugestões que você daria para eles?

O: Entre no Twitter.

E: [RISOS]

O: Não, é verdade. Eu acho que tem uma discussão muito rica e muito prolífica e
muito, na verdade, puxada por gente jovem nesse campo. O jovem é mais comum
algumas áreas do que outras. Acho que essa psicologia é bom exemplo, de que muita
gente entrou no barco mas tem muita literatura sobre o campo. Se você pegar algumas
revistas como eLife, PlosBiology tem seções de metociência hoje dia. Tem autores
clássicos, Joannidis, que são pessoas interessantes de lerem. Vocês podem acompanhar
a iniciativa. A gente tem site da ativa, a gente tem rede sociais. A gente tem Twitter,
Facebook. A gente tem o Instagram que não funciona muito, mas talvez venha a
funcionar algum momento. A gente tem periodical que é meio que journal
particular, uma brincadeira de editoração. Cada semana a gente seleciona alguns
artigos, coloca lá artigos sobre a comunidade que a gente acha importantes. Depende de
como você abordar o campo. Acho que tem muita coisa para ser lida e muita coisa para
investigar. Acho que é uma área super rica termos de trabalho acadêmico e de
oportunidades. Acho que nesse momento os problemas já estão colocados, acho que
claramente o jeito que a gente faz, avalia e considera a ciência vai mudar bastante
nos próximos dez ou vinte anos e acho que nesse momento ser earlier doctor de práticas
reprodutíveis e abertas ciência é uma coisa que conta muitos pontos a favor de você no
setor acadêmico e tem muita ciência para ser feita sobre isso. E ciência que não custa
nada. A gente tem outro projeto que se chama No-Budget Science, que se alguém quiser
olhar tem Facebook mais ou menos ativo, mas basicamente tudo que é trabalho cima da
literatura que está disponível e para melhorar a literatura, boa parte disso não custa. A
gente tem noção dos problemas que a gente está imerso no campo científico, a gente
mais do que ninguém tá bem posto para conseguir identificar a área dos estudos que são
importantes, sua área de intervenção. Tem muita coisa a ser feita, tem muita coisa para
ser estudada, tem muita coisa que gente não sabe e dá para fazer muito disso
independentemente, ou grupo de pessoas. A gente tem alguns trabalhos que a gente fez
com crowdsourcing, então a gente está abrindo para quem quiser avaliar artigo, acabou
de sair uma coisa sobre comparando pré prints e artigos realizados por pares, mas a
gente achou 15, ou 18 avaliadores ao redor do mundo que estavam afim de fazer isso
aqui, todo mundo é autor. Acho que tem uns sentidos legais de colaboração. De novo,
redes sociais funcionam para isso. O Twitter particular, eu acho que é campo onde é
fácil conseguir ter acesso a pessoas importantes da área, porque todo mundo está lá, a
galera da meta-ciência e ciência beta e é muito aberto a pessoas jovens. Então ele é
muito feito por pessoas jovens. As pessoas às vezes me veem como bom samaritano,
como alguém que está preocupado como seu eu estivesse afundando minha carreira
científica e tentando fazer as coisas muito rigorosas, e eu vou mandar muito mal. É
mentira, pelo contrário, eu só pelo menos até agora eu só tenho colhido os frutos, minha
carreira acadêmica só cresceu ao ter me dedicado para esse tema e acho que esse é o
caso das pessoas. Eu falei do Joannidis de início, de alguém que está puxando essa bola
há 20 anos. Ele hoje é o médico mais citado de todos os tempos. Então mesmo falando
mal do sistema, basicamente. Falar mal do sistema é uma coisa que o próprio
sistema nas suas métricas recompensa hoje dia. Eu vejo o campo com grande
otimismo. Acho que tem muita coisa para fazer e com uma enorme oportunidade
para quem quer se dedicar a alguma coisa e acha isso uma coisa válida e
interessante, acho que tem muito espaço. Tem muito espaço mesmo. Legal. Última
coisa. A gente deve estar organizando Hack Week São Paulo Julho. Então se alguém
estiver afim de aparecer entre No-Budget Science e você vai se abrir mais sobre
isso. Mas também é uma ideia de tentar desenvolver esse projeto, sim. Isso. Julho de
2020, né? Só para posicionar os nossos alunos. A gente fez o ano passado e espero que a
gente consiga repetir isto. Bacana. Muito legal. Muito obrigada, Olavo pelo seu tempo,
pela sua disposição, pelo seu entusiasmo. Eu acho que acrescentou bastante para os
nossos alunos aqui deste curso e se você quiser falar mais alguma coisa, fique a
vontade. Acho que é isso. Acho que eu falo bastante já, então não preciso falar
mais. Está ótimo. Obrigado pelo convite. Qualquer coisa, quem quiser falar comigo, a
gente é razoavelmente acessível tanto no reprodutibilidade.br@gmail.com, como o meu
e-mail pessoal que é olavo@bioqmed.ufrj.br. Enfim, entrem contato.

E: Perfeito.

O: Obrigadão.

E: Obrigado.

O: Até logo. Tchau. Tchau.

Confiança na ciência

Pesquisa e publicação científica são processos rigorosos de apuração dos fatos cujo
pressuposto principal é a confiança. Na maior parte das vezes os pesquisadores
publicam os seus achados seguindo as regras de redação e da revista sem precisar, por
exemplo, compartilhar o banco de dados dos resultados quem embasaram as análises.
Esse é um dos principais pressupostos da ciência aberta.

Crise de confiança
A ausência de transparência na ciência nesse processo baseado em confiança é apontada
como uma das razões para a crise de confiança na ciência, em parte impulsionada pela
divulgação de pesquisas enganosas ou fraudadas. Essas pesquisas representam a menor
parte do esforço científico mundial, mas podem causar grande impacto na imagem da
ciência. Lembramos dois exemplos na saúde originados por pesquisas com problemas
metodológicos: o movimento antivacinas e a brasileira “pílula do câncer”, a
fosfoetanolamina.
Vale ressaltar que várias dessas pesquisas científicas que originaram fake news não
respeitaram os pressupostos e procedimentos científicos, via de regra demorados, mas
que conferem o rigor necessário para as afirmações que a pesquisa poderia trazer. Em
nome de uma pressa motivada por necessidade de soluções rápidas, cuidados
básicos são ignorados antes de fazer anúncios e alegações ao grande público.
Este texto, voltado ao público em geral, relembra os procedimentos que uma pesquisa
científica deve respeitar, desde a sua elaboração até sua publicação. Recomendamos a
leitura.

Níveis de ciência aberta

Ciência aberta é um conceito guarda-chuva que compreende diferentes níveis de

abertura, propriedade e disponibilidade de dados. Destacamos os níveis mais relevantes
no contexto de publicação científica relacionado às revisões sistemáticas:

 Revisão por pares aberta (open peer review): pareceristas e autores identificados no
processo de revisão por pares para publicação
 Acesso aberto (open access): publicação de maneira aberta e acessível
 Dados abertos: disponibilização gratuita dos dados criados

A Fundação Oswaldo Cruz disponibiliza em seu campus virtual um curso de formação

modular sobre ciência aberta. Recomendamos para aqueles que querem se aprofundar
no tema.

Ciência aberta na revisão sistemática

Os métodos de revisão sistemática foram desenvolvidos nas últimas décadas e o

amadurecimento da área se deu dentro do contexto de ciência aberta. Várias vezes
quando nos referimos a esse método empregamos qualificadores como “transparente”,
“robusta”, “reprodutível”, fazendo alusão a procedimentos que estão no cerne desse
delineamento.
A própria necessidade de elaborar e divulgar revisões sistemáticas se baseia na
necessidade de dirimir divergências no campo que se está pesquisando, então a
consciência dos impactos da integridade em pesquisa é reconhecida na área.
Vários procedimentos já são adotados na revisão sistemática e seu relato: registro do
protocolo, disponibilização da estratégia de busca, explicação da exclusão de uma
pesquisa em particular, dentre outros aspectos.
O que ainda podemos avançar na área é no compartilhamento dos dados produzidos na
revisão sistemática, incluindo por exemplo:

 Banco de dados da extração

 Detalhes de avaliação crítica de cada artigo incluído
 Cálculos ou imputações realizados para dados faltantes
 Comandos e rotinas adotadas para análises estatísticas

Evoluir para esse nível de ciência aberta traria um novo paradigma na elaboração de
revisões sistemáticas, evitando deturpações e revisões redundantes e facilitando a
atualização dos dados quando novos estudos fossem publicados.

Para saber mais

Sobre ciência aberta e reprodutibilidade, relacionamos a seguir materiais que podem ser
úteis para conhecer um pouco mais do debate e do que há de avanços e desafios na área.
Bons estudos!
Aumentar o valor e reduzir desperdício em pesquisas
Artigo: Stop this waste of people, animals and money
Série: Lancet - Research: increasing value, reducing waste
Artigo: Increasing value and reducing waste in biomedical research: who's listening?

Revisão por pares

Artigo: Let’s make peer review scientific
Artigo: Three Decades of Peer Review Congresses
Artigo: Publishing: The peer-review scam
Artigo: Peer review and fraud
Post: 8º Congresso internacional de revisão por pares e publicação científica
Blog: Retraction Watch

Revistas e conferências predatórias

Artigo: Defining predatory journals and responding to the threat they pose: a modified
Delphi consensus process
Artigo: Predatory journals: no definition, no defence
Artigo: How predatory journals leak into PubMed
Artigo: What is a predatory journal? A scoping review
Artigo: Knowledge and motivations of researchers publishing in presumed predatory
journals: a survey
Artigo: Is This Conference for Real? Navigating Presumed Predatory Conference
Invitations
Artigo: You are invited to submit…
Artigo: Potential predatory and legitimate biomedical journals: can you tell the
difference? A cross-sectional comparison
Artigo: Stop Predatory Publishers Now: Act Collaboratively
Controle de qualidade
Artigo: How quality control could save your science
Artigo: How scientists fool themselves – and how they can stop
Artigo: Reproducibility crisis: Blame it on the antibodies

Análise estatística
Artigo: Blind analysis: Hide results to seek the truth
Artigo: Scientific method: Statistical errors
Artigo: Statisticians issue warning over misuse of P values

Reprodutibilidade
Vídeo: Is there a reproducibility crisis in science?
Série: Nature - Challenges in irreproducible research
Artigo: What is replication?
Artigo: Cancer reproducibility project releases first results
Artigo: How many replication studies are enough?
Artigo: Robust research: Institutions must do their part for reproducibility
Artigo: Reproducibility: Seek out stronger science
Artigo: Acknowledging and Overcoming Nonreproducibility in Basic and Preclinical
Research
Artigo: Psychology’s reproducibility problem is exaggerated – say psychologists
Notícia: Scientists replicated 100 recent psychology experiments. More than half of
them failed
Notícia: A TED talk on "power poses" got 25 million views — even though the
evidence is flimsy
Projeto: Iniciativa Brasileira de Reprodutibilidade
Blog: Peeriodicals