1

2
Ficha técnica

Título: Metodologia de investigação em gerontomotricidade:

introdução à revisão sistemática de estudos mistos

Autores: André Ramalho & João Petrica

Revisão: Maria Clara Ferrão

Edição: Instituto Politécnico de Castelo Branco I Av. Pedro Álvares

Cabral, n.º 12 I 6000-084 Castelo Branco, Portugal

Unidade de investigação e desenvolvimento: Sport, Health &

Exercise Research Unit

Capa: Maria Clara Ferrão

Ano: 2023

ISBN: 978-989-53931-3-8

Suporte: Eletrónico

Formato: PDF

3
4
Índice

Capítulo introdutório ...................................................................7

Revisão sistemática de estudos mistos: visão geral ................11

Procedimentos prévios à realização de projetos de revisão

sistemática de estudos mistos ..................................................19

Desenvolvimento de projetos de revisão sistemática de

estudos mistos ...........................................................................39

Considerações finais ..................................................................77

Lista de verificação de itens a considerar na conceção de

projetos de revisão sistemática de estudos mistos .................79

Referências .................................................................................81

5
6
Capítulo introdutório

7
Uma revisão sistemática de literatura (RSL) usa procedimentos
metodológicos para sintetizar um conjunto de evidências
publicadas, permitindo conhecer os resultados divergentes e
convergentes dos estudos primários de uma área de pesquisa. As
revisões sistemáticas, ao contrário das tradicionais, minimizam o
risco de seleção de estudos inadequados e garantem a fiabilidade
dos estudos na revisão.

As revisões sistemáticas pretendem reunir todas as evidências

empíricas que se enquadram em critérios de elegibilidade pré-
especificados, no sentido de responder a uma questão de
investigação. Os procedimentos metodológicos são explícitos, com
o objetivo de minimizar o risco de viés de publicação, o que
permite atingir resultados mais seguros. Desta forma, as
conclusões da revisão podem guiar a tomada de decisão em
contextos práticos (Oxman & Guyatt, 1993). Uma revisão
sistemática tem os seguintes critérios (Liberati et al., 2009): (1)
objetivos claros e uma metodologia explícita; (2) uma pesquisa
sistemática para identificar todos os estudos que atendam aos
critérios pré-estabelecidos; (3) uma avaliação crítica da validade
das conclusões dos estudos incluídos na revisão, por exemplo,
através da avaliação do risco de viés; e (4) uma apresentação
sistemática e uma síntese dos estudos na revisão.

A necessidade de revisões sistemáticas decorre de uma variedade

de fatores, como o volume de literatura científica sobre um
determinado tópico, os vieses presentes nos estudos primários, os
resultados contraditórios em estudos semelhantes e a variação do
número dos participantes. Nesse sentido, algumas das vantagens
das revisões sistemáticas de literatura são as seguintes (Mulrow,
1994): (1) garantir uma generalização dos resultados mais
abrangente face aos estudos primários; (2) mostrar com mais

8
fiabilidade uma relação de causa e efeito entre variáveis; (3)
integrar informações que permitam guiar a prática baseada em
evidência; e (4) identificar as lacunas na literatura primária,
servindo como ponto de partida para novos estudos.

A maioria das revisões de literatura publicadas apenas sintetiza as

evidências científicas de uma abordagem metodológica,
selecionando estudos com o mesmo desenho de investigação (por
exemplo, estudos longitudinais, transversais ou qualitativos).
Contudo, há argumentos plausíveis para a elaboração de estudos
de revisão de literatura que integrem diferentes evidências
científicas qualitativas e quantitativas. Essa integração favorece
uma compreensão mais aprofundada da complexidade de
diferentes objetos de estudo (Pluye, Hong, Bush, & Vedel, 2016).

Uma extensa análise de literatura metodológica nas áreas do

exercício, do envelhecimento e da saúde (http://www.equator-
network.org/) mostrou a necessidade de uma sistematização de
orientações para revisões de literatura mistas. O objetivo deste
trabalho é, justamente, apresentar um conjunto de orientações
metodológicas a considerar no desenvolvimento de projetos de
revisão sistemática de estudos mistos. Além disso, apresenta-se
uma visão geral sobre a aplicação dos princípios dos métodos
mistos aos estudos de síntese de literatura.

9
10
Revisão sistemática de estudos mistos:
visão geral

11
Nas últimas décadas, reconheceu-se a necessidade de sínteses de
evidências científicas para apoiar decisões em diferentes áreas da
saúde, incluindo as ciências do desporto. Como resultado, diversos
métodos e técnicas foram criados para, de forma sistemática,
agregar as evidências científicas. Na literatura, é possível
encontrar vários termos (como revisão sistemática, revisão
integrativa, revisão narrativa ou meta-análise) que descrevem
variações de diferentes métodos usados para sintetizar evidências
empíricas.

Por um lado, há os métodos de RSL que permitem a agregação e a

compreensão das evidências científicas qualitativas, como a
metassíntese, por exemplo. Este tipo de trabalho permite uma
interpretação geral dos dados analisados, com a definição de
temas, conceitos e modelos teóricos (Thorne, Jensen, Kearney,
Noblit, & Sandelowski, 2004). Por outro lado, os métodos
quantitativos, como a meta-análise, usam procedimentos
estatísticos para integrar e resumir os resultados dos estudos
primários quantitativos na revisão. Desta forma, através da
combinação das informações de todos os estudos relevantes, as
meta-análises fornecem estimativas mais precisas dos efeitos das
variáveis independentes do que os estudos primários (Borenstein
et al., 2009). Uma revisão sistemática pode conter uma meta-
análise ou não, dependendo, em grande medida, da
heterogeneidade dos procedimentos metodológicos dos estudos
incluídos na revisão (Sackett, Straus, Richardson, Rosenberg, &
Haynes, 2000). Isto significa que, quanto maior for a
heterogeneidade dos estudos, menor será a possibilidade de
realizar uma meta-análise.

Embora os métodos de investigação quantitativos sejam

importantes para o avanço das fronteiras do conhecimento, eles

12
podem ser insuficientes para abordar questões complexas de
pesquisa. Esta insuficiência relaciona-se com a capacidade de
antecipar o que deve ser medido, uma vez que há fenómenos
complexos do comportamento humano que não podem ser
totalmente antecipados (Noyes et al., 2019). As evidências
quantitativas mostram o valor das associações entre as variáveis
independentes e dependentes, enquanto as qualitativas permitem
entender os mecanismos por trás dessas associações. Na verdade,
os estudos qualitativos permitem investigar como as pessoas
experimentam e conceptualizam o mundo ao seu redor. Isto
permite, por exemplo, compreender o porquê do sucesso ou do
fracasso das intervenções (Lewin & Glenton, 2018).

Numa outra perspetiva, a compreensão de alguns

comportamentos humanos requer uma combinação de métodos
quantitativos com as abordagens mais flexíveis dos métodos
qualitativos (de Savigny, Borghi, & Windish, 2009). Neste contexto,
são relevantes os métodos de síntese de evidências mistas. As
revisões sistemáticas de literatura de evidências mistas permitem
incluir evidências primárias de diferentes aproximações
metodológicas qualitativas e quantitativas, assim como estudos
que utilizam métodos mistos (Pluye, Gagnon, Griffiths, & Johnson-
Lafleur, 2009). As revisões sistemáticas de literatura de evidências
mistas usam dados de estudos primários qualitativos,
quantitativos e mistos de um campo de investigação. Assim, num
estudo de nível primário, os participantes são os indivíduos
recrutados; por sua vez, num estudo de síntese de literatura, os
participantes são os estudos primários selecionados.

As sínteses de literatura de evidências mistas podem ser

identificadas de acordo com os seguintes critérios (Thomas &
Harden, 2010): (1) os estudos incluídos e, portanto, o tipo de
resultados a sintetizar (dados qualitativos/textuais e dados

13
quantitativos/numéricos); (2) os métodos de síntese utilizados na
revisão (por exemplo, métodos qualitativos, métodos
quantitativos ou métodos mistos); e (3) quanto à forma de análise:
construção de modelos teóricos a partir das evidências recolhidas
e verificação das teorias existentes com base nos resultados dos
estudos primários.

Uma revisão sistemática de evidências mistas não deve ser

composta apenas por uma análise qualitativa e outra quantitativa,
onde cada uma responde às suas próprias questões. Em vez disso,
as revisões de estudos mistos devem procurar integrar os dados
qualitativos e quantitativos recolhidos (Bryman, 2007). A
integração de dados é considerada uma peça central dos estudos
de métodos mistos. Assim, os dados qualitativos e quantitativos
tornam-se interdependentes na definição das questões de
pesquisa e das suas hipóteses. Isto significa que uma integração de
dados significativa pode permitir que os pesquisadores produzam
um tipo de conhecimento superior à soma das partes dos dados
qualitativos e quantitativos (Fetters & Freshwater, 2015).

Uma síntese de evidências mistas é uma revisão sistemática, o que

significa que tem como objetivo pesquisar, analisar e avaliar todos
os estudos disponíveis de uma área de pesquisa específica, de
acordo com critérios de elegibilidade pré-estabelecidos. Desta
forma, este tipo de revisão deve utilizar um processo explícito,
transparente e reproduzível com: (1) questões de investigação
específicas e critérios de elegibilidade precisos; (2) um conjunto
amplo de fontes de informação (bases de dados científicos) e uma
estratégia de pesquisa exaustiva dos estudos; (3) uma seleção
fiável (realizada por, pelo menos, dois investigadores) dos estudos
relevantes, extração dos dados e uma avaliação crítica dos estudos
incluídos na síntese; e (4) uma síntese rigorosa (Pluye et al., 2016).

14
Um domínio de investigação pode ter vários estudos primários
com abordagens metodológicas diferentes (como estudos
experimentais, quase-experimentais, transversais, longitudinais,
de caso ou de investigação-ação). Assim, as revisões sistemáticas
de literatura mistas têm a vantagem de incluir uma elevada
quantidade e diversidade de dados numa única síntese, ao
contrário dos métodos de síntese de literatura, que apenas
incluem estudos de um determinado desenho de investigação.
Esse aspeto vai permitir que a compreensão de um determinado
objeto de estudo seja interpretada com uma perspetiva mais
global, resultando em respostas mais completas e refinadas,
através da complementaridade dos dados qualitativos e
quantitativos. Isto pode potenciar a compreensão do
comportamento humano sob diferentes perspetivas. Deste modo,
diversas questões de investigação complementares sobre um
objeto de estudo podem ser respondidas através de uma única
síntese.

As sínteses de literatura mista mostram, ainda, de uma forma

confiável, as discrepâncias existentes nas conclusões de um
conjunto de estudos primários, em comparação às sínteses de
evidências de um único desenho de investigação, funcionando
como um ponto de partida para a realização de novos estudos
(Moffatt, White, Mackintosh e Howel, 2006). Adicionalmente, as
sínteses de evidências que combinam estudos qualitativos e
quantitativos potenciam a generalização dos resultados dos
estudos primários, permitindo desenvolver quadros teóricos
integradores e suficientemente compreensivos. A síntese também
atenua as limitações de uma metodologia qualitativa e/ou
quantitativa, ao combinar os seus pontos fortes (Onwuegbuzie &
Johnson, 2006). Nesse sentido, a combinação de dados
qualitativos e quantitativos pode contribuir para um

15
entendimento mais robusto de um fenómeno complexo, o que
não é possível através de um estudo qualitativo ou quantitativo
apenas. Além disso, as sínteses de evidências qualitativas e
quantitativas podem ajudar a compreender as lacunas de uma
teoria ou de uma intervenção prática específica. Não obstante, a
conjugação de estudos que se originam de métodos qualitativos e
quantitativos, com posições tradicionalmente divergentes a
respeito da ontologia (realidade única versus realidade múltipla),
da epistemologia (objetivismo versus subjetivismo) e da axiologia
(valor vinculado versus valor livre), configura um desafio a que os
investigadores devem responder (Bryman, 2007).

16
Orientações gerais para a conceção de projetos de
revisão sistemática de estudos mistos

As orientações descritas nas páginas seguintes contemplam

elementos considerados essenciais para a elaboração de projetos
de revisões sistemáticas de evidências mistas. Todos os elementos
são fundamentados em literatura metodológica relevante. Além
disso, sempre que possível, são incluídos exemplos de relatórios já
publicados para facilitar a compreensão dos elementos descritos.
Essas orientações gerais têm como finalidade garantir a maior
transparência dos relatórios de investigação.

17
18
 Procedimentos prévios à realização de
projetos de revisão sistemática de estudos
mistos

19
Avaliar a necessidade do desenvolvimento de uma RSL

Um trabalho de RSL deve partir do princípio de que as suas

conclusões irão preencher uma lacuna no conhecimento pré-
existente. Portanto, os autores devem estar cientes de quaisquer
revisões de evidências mistas já existentes num campo específico
de investigação. Isto significa que a literatura publicada é
determinante na conceção de uma nova RSL (Bento, 2014).

A execução de pesquisas exploratórias de literatura (sistemáticas

ou não) revela-se pertinente. Estas pesquisas podem ser realizadas
em repositórios de estudos científicos (por exemplo, PubMed).
Quando se identifica revisões sistemáticas de interesse,
recomenda-se a leitura das secções de “limitações” e
“conclusões”, que podem fornecer pistas para novas análises de
literatura, conforme as lacunas evidenciadas (Bento, 2014). Estas
pesquisas exploratórias podem indicar a ausência de estudos de
revisão sobre um determinado campo de investigação, sendo
relevante realizá-los.

Sob outro ponto de vista, apesar da existência de trabalhos de

revisão, pode haver argumentos válidos (por exemplo, a
antiguidade de uma revisão de um campo de investigação que
cresceu recentemente) para a necessidade de atualização do
conhecimento. Além disso, recomenda-se a consulta do registo da
PROSPERO (https://www.crd.york.ac.uk/prospero/), para verificar
a existência de protocolos de revisões sistemáticas registados para
a investigação pretendida.

Noutro sentido, também se torna relevante que os autores

mapeiem os estudos primários publicados dentro do escopo de

20
investigação de interesse. Na prática, este é um processo
interativo, com diversas pesquisas de literatura. A descoberta
gradual de evidências qualitativas e quantitativas promove, assim,
uma compreensão generalizada do campo de investigação para o
qual a revisão irá contribuir. Estas verificações são fundamentais,
pois os autores devem estar cientes da possibilidade de
formularem uma questão sem resposta nas evidências existentes,
o que resultaria numa revisão “vazia” (sem dados de investigação
relevantes).

Formulação de uma questão de pesquisa

Como apontado acima, a preparação de uma RSL requer a

delimitação de um escopo de investigação. Isso permitirá um
enquadramento mais claro das questões de pesquisa a que a
revisão procurará responder. Assim, de maneira análoga a um
estudo primário, o objetivo principal de uma revisão sistemática é
formular questões de pesquisa sobre um determinado tema,
procurando a sua resposta objetiva.

Questões de pesquisa bem formuladas permitirão orientar

diversos aspetos do processo de revisão, incluindo a determinação
dos critérios de elegibilidade, a pesquisa dos estudos, a recolha de
dados dos estudos incluídos na revisão, a estruturação das sínteses
e a apresentação dos resultados (Mulrow, 1994). Uma boa
questão de pesquisa pode atender aos seguintes critérios: ser
viável, ser interessante, apresentar novidade, considerar os
aspetos éticos e ser relevante (Cummings et al., 2007).

Uma revisão sistemática é viável quando a equipa de investigação

pode responder à questão de pesquisa com as evidências

21
disponíveis. Contudo, é importante não formular uma questão que
resultará na obtenção de uma quantidade incontrolável de
informação. A determinação do escopo inicial ajudará os autores
a estabelecerem os limites sensatos de investigação para a
execução da revisão (Thomas et al., 2022).

A formulação de uma questão de pesquisa pode seguir uma

abordagem estruturada com cinco componentes (PICOS) (Liberati
et al., 2009): identificação da população em estudo (em inglês:
population); tipo de intervenção (em inglês: intervention); grupo
de controlo (em inglês: comparison); variáveis avaliadas ou
resultado expectável (em inglês: outcomes); e desenho do estudo
(em inglês: study design). Geralmente, não é possível formular
uma questão de pesquisa para uma revisão sem se ter
conhecimento de alguns dos estudos primários relevantes que
permitem responder àquela mesma questão. Nesse sentido, com
a compreensão abrangente dos autores face às evidências pré-
existentes, pode esperar-se um refinamento das questões de
pesquisa.

Além dos elementos da PICOS, há outros critérios que podem

servir de referência para a formulação de questões de pesquisa.
Neste caso, os autores podem usar o acrónimo SPIDER (Sample,
Phenomenon of Interest, Design, Evaluation, Research Type)
(Cooke, Smith, & Booth, 2012). Essa ferramenta foi criada para
ajudar a determinar critérios de elegibilidade e estratégias de
pesquisa para estudos com métodos qualitativos e mistos.

Tonar-se, então, importante definir as características da

população (por exemplo, idade mínima e máxima, se pratica
exercício físico ou o tempo sedentário diário). No que respeita ao
tipo de intervenção, importa clarificar as suas características (por
exemplo, o tipo, a frequência, a intensidade e a duração). A

22
definição das características do grupo de controlo também deve
ser considerada, na medida em que pode ser importante para
entender os critérios de seleção dos estudos a incluir na revisão
sistemática. Relativamente às variáveis avaliadas, estas devem ser
claramente especificadas, porque são necessárias para interpretar
a validade e a generalização dos resultados da revisão sistemática.
No desenho dos estudos, pode considerar-se a inclusão de estudos
de diferentes abordagens metodológicas, especificando-se os
desenhos dentro destas abordagens (por exemplo, apenas
estudos que utilizaram grupos focais como recolha de dados ou
apenas estudos longitudinais). Desta forma, as abordagens PICOS
ou SPIDER podem estar presentes nas diferentes etapas de
planeamento e elaboração da revisão sistemática (título, critérios
de elegibilidade, pesquisa dos estudos, seleção dos estudos,
extração dos dados e relato das características dos estudos).

Idealmente, os critérios PICOS ou SPIDER devem ser formulados

no protocolo de revisão sistemática. No entanto, tendo em conta
a variedade de elementos que podem ser considerados ao definir
uma questão de pesquisa que envolva métodos mistos, a
adequação dos critérios depende do tipo de estudo e do tema da
questão de pesquisa. Os modelos teóricos também podem ajudar
a compreender os aspetos teóricos de um objeto de estudo,
orientando a formulação de uma questão de pesquisa (Kneale,
Thomas, & Harris, 2015). Nesse sentido, já começam a surgir
revisões sistemáticas na literatura que consideram a opção
metodológica de rever as teorias disponíveis para orientar a
análise dos estudos primários (Gardner, Whittington, McAteer,
Eccles, & Michie, 2010)

Numa outra perspetiva, os autores de uma revisão podem precisar

de considerar questões de pesquisa que vão além da eficácia de
uma intervenção ou do custo-benefício da mesma. Nesse sentido,

23
podem emergir outros aspetos importantes no momento da
definição de uma questão de pesquisa. Por exemplo, pode
considerar-se quais são os valores e as crenças dos indivíduos em
relação aos resultados de saúde, a aceitabilidade sociocultural de
uma intervenção, a equidade, a igualdade e as perspetivas sociais
envolventes. A conclusão a que se chega com esta análise é que os
autores de uma revisão podem, portanto, necessitar de formular
questões de pesquisa a partir de um paradigma de complexidade
que ultrapassa os elementos presentes nos PICOS ou na SPIDER.
Assim, os autores podem querer priorizar questões de variação
contextual, que podem ser abordadas, de uma forma robusta,
através de um trabalho de revisão de literatura que inclui estudos
de múltiplos contextos. A título de exemplo, pode considerar-se
questões como (Wong, 2013): (1) Como e quais os motivos que
levam a que a implementação da intervenção varie entre os
contextos?; (2) Até que ponto é que os participantes valorizam
diferentes resultados de saúde?; (3) Quais são as barreiras e os
facilitadores para a implementação de uma intervenção? As
questões de pesquisa de uma RSL refletem aquelas que podem ser
respondidas por pesquisas primárias (Booth et al., 2019).

Como os componentes PICOS e SIPDER não consideram a variação

contextual, foi desenvolvida a estrutura PerSPEcTiF (Booth et al.,
2019). Os elementos desta estrutura foram consolidados a partir
de componentes de formulação de questões de pesquisa já
existentes. Para uma melhor compreensão, os elementos do
PerSPEcTiF são agora decompostos: o elemento “Per” encontra-se
relacionado com as perspetivas dos indivíduos; o elemento “S” diz
respeito ao contexto dos participantes; o elemento “P” refere-se
ao fenómeno de interesse em estudo; o elemento “E” está
relacionado com os constrangimentos ambientais; o elemento “C”
refere-se à presença, ou não, de um grupo de comparação; o

24
elemento “Ti” é referente a elementos temporais; e, finalmente, o
elemento “F” é composto pelos resultados dos estudos. Portanto,
o PerSPEcTiF permite que os autores considerem a variação
contextual relacionada ao tempo e/ou espaço. Sugere-se a
consulta de orientações no trabalho de Petticrew et al. (2019)
sobre como as equipas de investigação podem julgar a relevância
contextual.

Em suma, destaca-se a necessidade de os autores desenvolverem

questões de pesquisa relevantes, que adotem uma perspetiva de
complexidade. Uma melhor formulação de uma questão de
pesquisa, por sua vez, poderá conduzir a decisões mais informadas
sobre a escolha do método de síntese (Booth et al., 2019). Dessa
forma, a utilização da PerSPEcTiF pode resultar em questões
pertinentes que sejam congruentes com os métodos mistos.

Portanto, questões de pesquisa como “Quais são os efeitos da

prática desportiva na saúde psicossocial dos idosos?” (Gayman,
Fraser-Thomas, Dionigi, Horton, & Baker, 2017) são passíveis de
um estudo de síntese de evidências mistas, uma vez que os
aspetos psicossociais podem ser avaliados através de métodos
qualitativos (como entrevistas) e de escalas quantitativas (como
questionários). Assim, as questões de pesquisa podem integrar
elementos qualitativos e quantitativos, de forma a conhecer os
aspetos específicos de um determinado objeto de estudo
complexo (Dixon-Woods, 2011). Outro aspeto relevante para a
formulação de uma questão de pesquisa diz respeito à sua
amplitude. As revisões sistemáticas de literatura podem
desenvolver questões de investigação mais amplas (por exemplo,
“Quais são os efeitos da prática desportiva na saúde psicossocial
dos idosos?”) ou mais específicas (“Quais são os efeitos da prática
desportiva no desenvolvimento da satisfação com a vida da
população idosa?”). Dentro desta perspetiva, importa perceber

25
que algumas questões de pesquisa podem ser demasiado amplas
para a realização de uma revisão sistemática que seja praticável.
Além disso, se já houver outras revisões relacionadas com o
mesmo tópico de investigação, poder-se-á duplicar a realização de
revisões de literatura.

As revisões sistemáticas de literatura podem iniciar-se com um

escopo amplo, que se pode dividir em diversas revisões mais
específicas. Por exemplo, um trabalho de revisão pode ter como
objetivo o conhecimento de todos os possíveis determinantes da
prática de atividade física dos indivíduos idosos. No geral, os
determinantes da atividade física podem ser identificados em seis
categorias: fatores biológicos, fatores físicos, fatores psicológicos,
fatores socioculturais, fatores socioeconómicos e fatores políticos
(Owen et al., 2011). Devido à quantidade de pesquisas disponíveis,
pode optar-se por organizar as evidências de cada uma das
categorias em revisões sistemáticas separadas. Esta possível
divisão implicará a elaboração de um novo protocolo e registo para
cada uma das revisões de literatura específicas e, naturalmente, a
alteração dos seus critérios de elegibilidade.

Se a questão de pesquisa não permitir a identificação de estudos

considerados suficientes, pode ser desenvolvido um plano de
contingência no protocolo da revisão sistemática. Esse plano pode
passar por considerar os elementos da abordagem PICOS, SPIDER
ou PerSPEcTiF, num nível mais amplo, permitindo,
potencialmente, a síntese de um maior número de estudos.
Naturalmente, a definição de critérios mais amplos irá resultar
numa questão de pesquisa menos específica. Contudo, a
formulação de questões mais amplas pode ser particularmente útil
na identificação de orientações para futuras pesquisas empíricas.
Nesta perspetiva, os autores podem ter como exemplo a seguinte
questão de investigação: Quais são as tendências de investigação

26
emergentes, entre 2010 e 2021, dos estudos qualitativos acerca
do comportamento sedentário na população idosa? (Ramalho et
al., 2021a).

Selecionar o desenho de investigação

A escolha de um desenho de investigação irá determinar, em

grande medida, as decisões metodológicas fundamentais para o
planeamento e para a realização de trabalhos de investigação. Não
obstante, as diferentes posições epistemológicas sobre a
investigação qualitativa e quantitativa podem influenciar a forma
como se projeta um estudo de revisão de evidências mistas. Por
esse motivo, torna-se importante esclarecer como os princípios
metodológicos de estudos mistos são integrados nos estudos de
RSL. Nesse sentido, iremos descrever alguns desenhos de
investigação que têm vindo a ser estudados e aplicados nos
estudos de revisão de evidências mistas. Sandelowski, Voils e
Barroso (2006) sugerem que os estudos de síntese de evidências
mistas podem seguir os seguintes desenhos de investigação:
estudos segregados, estudos integrados e estudos contingentes.
Além disso, também é preciso considerar os desenhos de
investigação convergentes e sequenciais (Hong, Pluye, Bujold, &
Wassef, 2017).

Desenho de investigação segregada. Os estudos mistos

segregados baseiam-se nos seguintes pressupostos: os estudos
qualitativos e quantitativos são totalmente distintos, devendo ser
analisados separadamente; as diferenças entre os estudos
qualitativos e quantitativos justificam análises e sínteses separadas
dos seus resultados; as sínteses dos resultados dos estudos
qualitativos devem ser desenvolvidas apenas por métodos de

27
síntese qualitativos; e as sínteses dos resultados dos estudos
quantitativos devem ser realizadas através de métodos
quantitativos. Desta forma, estas sínteses de literatura
apresentam as análises dos estudos primários em duas dimensões:
estudos qualitativos e estudos quantitativos. Somente após cada
análise em separado será possível produzir um conjunto de
conclusões sobre um determinado objeto de estudo.

Desenho de investigação integrado. Nos estudos mistos

integrados, as diferenças metodológicas entre os estudos
qualitativos e quantitativos são minimizadas, pois ambos são vistos
como complementares, porque abordam as mesmas questões de
pesquisa. Este desenho de investigação baseia-se nestes
pressupostos: os estudos designados como qualitativos ou
quantitativos não são necessariamente distinguíveis entre si; e as
sínteses dos resultados qualitativos e quantitativos podem ser
produzidas através de métodos desenvolvidos para dados
qualitativos ou quantitativos. Nesse sentido, os dados qualitativos
podem ser transformados em dados quantitativos e os resultados
quantitativos podem ser transformados em qualitativos, de forma
a facilitar a sua integração (Heyvaert, Hannes, & Onghena, 2017).
Assim, os resultados dos estudos de diferentes aproximações
metodológicas qualitativas e quantitativas podem ser sintetizados
entre si. O desenvolvimento de estudos integrados é apropriado
quando os resultados qualitativos e quantitativos, de um
determinado campo de investigação, podem confirmar, ampliar
ou refutar as conclusões pré-estabelecidas (Sandelowski et al.,
2006).

Desenho de investigação contingente. Os estudos contingentes

adotam uma abordagem cíclica de síntese. Isto significa que são os
resultados de uma síntese de evidências (qualitativas ou
quantitativas) que guiam o objetivo da próxima síntese. Por

28
exemplo, pode ser realizada uma síntese com o objetivo de
responder a uma questão de investigação (questão 1). Os
resultados dessa síntese irão determinar a próxima síntese de
evidências, que permite responder a outra questão de
investigação (questão 2). Por sua vez, esta segunda síntese poderá
conduzir à recolha e análise de estudos para se desenvolver uma
terceira síntese (questão 3). Os ciclos das revisões sistemáticas
continuam até que seja possível apresentar uma síntese
abrangente de pesquisa que atenda aos objetivos dos
investigadores (Sandelowski et al., 2006). Os estudos contingentes
podem ser vistos como estudos segregados ou como estudos
integrados. Isto significa que a aplicação deste desenho de
investigação pode ser realizada através de uma separação dos
dados qualitativos e dos dados quantitativos. Posteriormente,
pode constituir-se uma síntese narrativa dos resultados dos
estudos selecionados para a revisão. Alternativamente, um estudo
contingente pode permitir o desenvolvimento de uma série de
questões de pesquisa complementares, potenciando o
conhecimento abrangente um dado escopo de investigação. Em
suma, a característica que melhor define os estudos contingentes
é a abordagem cíclica usada para responder a questões de
pesquisa, e não a dicotomia entre estudos qualitativos e estudos
quantitativos.

Desenho de investigação convergente. Nos desenhos

convergentes, as evidências qualitativas e quantitativas são
reunidas e analisadas de forma paralela ou complementar. Desta
forma, as integrações das evidências podem ocorrer da seguinte
forma: (1) síntese convergente baseada nos dados – os estudos
incluídos são analisados utilizando o mesmo método de síntese e
os resultados são apresentados de forma integrada. Como apenas
é utilizado um método de síntese, ocorre uma transformação dos

29
dados (por exemplo, os dados qualitativos são transformados em
quantitativos ou os dados quantitativos são transformados em
categorias/temas); (2) síntese convergente baseada nos
resultados – as evidências qualitativas e quantitativas são
analisadas e apresentadas separadamente e, posteriormente, são
integradas utilizando um outro método de síntese. A integração
consiste em comparar ou justapor os resultados das evidências
qualitativas e quantitativas; (3) síntese convergente de resultados
paralelos – os dados qualitativos e quantitativos são analisados e
apresentados separadamente e a integração ocorre na
interpretação dos resultados, na secção de discussão.

Desenho de investigação sequencial. No que respeita às sínteses

sequenciais, o agrupamento e a análise das evidências qualitativas
e quantitativas ocorrem em duas fases. Numa primeira fase,
podem ser recolhidas e analisadas as evidências qualitativas.
Posteriormente, serão recolhidas e analisadas as evidências
quantitativas. Este desenho de investigação é utilizado quando se
pretende responder a uma questão geral de pesquisa que
contempla questões de pesquisa mais específicas. Desta forma,
ambas as sínteses (qualitativas e quantitativas) são
complementares (Hong et al., 2017). Se tomarmos como exemplo
uma revisão que visa identificar os fatores que dificultam a prática
de atividade física da população idosa, a síntese qualitativa pode
fornecer a lista desses fatores e a síntese quantitativa pode
determinar a sua prevalência. Este desenho de investigação é
consistente com a abordagem de integração cíclica (i.e. são
sínteses contingentes).

30
Desenvolver um protocolo de revisão sistemática

A preparação de uma RSL é um processo complexo, envolvendo

uma sequência de decisões a considerar. Nesse sentido, torna-se
importante minimizar o potencial risco de viés no processo de
revisão. Assim, as decisões metodológicas dos autores não devem
depender dos resultados dos estudos incluídos na síntese final de
literatura (Oxman & Guyatt, 1993). Por exemplo, o conhecimento
prévio dos autores sobre as evidências científicas de um
determinado escopo pode influenciar a definição de uma questão
de investigação ou a escolha dos critérios de elegibilidade dos
estudos. Por isso, é importante que os métodos a utilizar no
processo de revisão sejam estabelecidos e documentados com
antecedência.

Devido ao seu rigor metodológico, os trabalhos de RSL são uma

referência para a sintetização de evidências científicas. Este tipo
de investigação é cada vez mais comum. Por exemplo, em 2010,
as estimativas apontavam para a publicação diária de onze novas
revisões (Bastian, Glasziou & Chalmers, 2010). Idealmente, as RSL
devem ser baseadas em critérios de elegibilidade pré-definidos e
elaboradas de acordo com uma abordagem metodológica
estabelecida por um protocolo associado. Isto significa que, antes
de se iniciar um trabalho de RSL, será necessário desenvolver um
protocolo.

As revisões sistemáticas são de natureza retrospetiva. Nessa

medida, é inevitável um conhecimento das evidências publicadas
de um escopo de investigação. Essa é uma das razões pelas quais
os especialistas em metodologia das RSL devem fazer parte da
equipa de revisão (Lasserson, Thomas, & Higgins, 2022). Um
protocolo de revisão é escrito sem o conhecimento total dos

31
estudos disponíveis, o que reduz o impacto dos vieses dos autores
da revisão. Além disso, o protocolo promove a transparência dos
métodos e dos processos, reduzindo a potencial duplicação de
estudos de revisão. Esta é, ainda, uma boa oportunidade para a
equipa de investigação planear os recursos e a logística para a
realização do estudo de revisão (Chandler & Hopewell, 2013).

Os protocolos devem possibilitar uma descrição pormenorizada

acerca do racional teórico e metodológico. Nesse sentido, os
protocolos permitem analisar as possíveis alterações realizadas
entre o protocolo de revisão e o relatório de RSL já concluído. Além
disso, o recurso a um protocolo poderá ajudar a justificar as
alterações ao processo de pesquisa, sem que essas alterações
possam ser entendidas como inadequadas. Poucos estudos de
revisão relatam se foi desenvolvido, ou não, um protocolo (Ma et
al., 2011). Um protocolo de revisão sistemática poderá, por si só,
constituir-se como um estudo que requer uma revisão científica
por pares. Portanto, sem o protocolo de revisão, é difícil avaliar se
as decisões dos autores consideraram os resultados dos estudos a
incluir na síntese de evidências científicas.

É expectável que uma RSL cumpra integralmente as etapas

previstas no protocolo, mas isso nem sempre é possível. Desta
forma, podem ser necessário introduzir modificações entre o que
foi planeado e a conceção do estudo de revisão. Este também é o
caso de um protocolo para um ensaio randomizado, que, às vezes,
precisa de ser alterado para se adaptar a circunstâncias
inesperadas (como, por exemplo, problemas no recrutamento de
participantes ou nos procedimentos de recolha de dados). Nesse
sentido, as alterações potenciais ao protocolo não devem ter
como premissa a modificação dos resultados. As decisões post hoc
baseadas na manipulação dos resultados (como a exclusão de

32
estudos selecionados de uma RSL ou a modificação de uma análise
estatística) devem ser evitadas (Lasserson et al., 2022).

Na fase de elaboração de um protocolo de RSL, sugere-se a

consulta dos itens preferenciais que constam no PRISMA-P (Moher
et al., 2015). Alguns protocolos de revisão sistemática de
evidências mistas têm adotado as recomendações da PRISMA-P
(Backman et al., 2018; Rose et al., 2016). Os corpos editorais
científicos podem considerar, ainda, a obrigatoriedade do uso da
lista de verificação PRISMA-P, para facilitar a apresentação das
informações relevantes do protocolo. Da mesma forma, os
revisores científicos podem utilizar as orientações do PRISMA-P
para avaliar a consistência e a transparência de um protocolo
submetido à publicação.

Registar um protocolo de revisão sistemática

Um protocolo de revisão sistemática pode ser registado no portal

online PROSPERO (https://www.crd.york.ac.uk/prospero/). Um
dos principais objetivos deste portal é reduzir a duplicação não
planeada de estudos de RSL (Booth et al., 2011a). O registo de um
protocolo de revisão no portal PROSPERO obriga ao
preenchimento de dezoito itens. Além disso, há vinte e dois itens
de preenchimento opcional. A identificação dos itens a preencher
envolve a participação de um conjunto alargado de investigadores,
incluindo os especialistas em RSL (Booth et al., 2011b). No geral, o
registo do protocolo pode demorar entre trinta e sessenta
minutos. O tempo de registo irá depender, em grande parte, da
qualidade textual da proposta de protocolo. O portal PROSPERO
possibilita o download de um formulário de registo editável. Este

33
formulário também pode ser utilizado pelos investigadores como
um modelo-base para o desenvolvimento de um protocolo de RSL.

A identificação de protocolos ou trabalhos de revisão sistemática

já concluídos é uma boa prática, antes de dar início ao
desenvolvimento de uma RSL num campo específico de
investigação (Moher, Booth, & Stewart, 2014). O portal PROSPERO
é um bom local para realizar essa tarefa. A base de dados da
Cochrane (https://www.cochranelibrary.com/) também é uma
excelente ferramenta para identificar revisões sistemáticas de alta
qualidade metodológica. Complementarmente, a publicação de
livre acesso em diferentes bases e dados científicos permite a
análise de protocolos e/ou RSL já concluídas.

Na eventualidade de haver protocolos de revisão semelhantes ao

que se pretende realizar, a equipa de revisão deve rever os
critérios de elegibilidade dos estudos a incluir na síntese final de
evidências. De outra forma, também é possível verificar se há
nuances (como diferentes subgrupos de participantes ou
resultados) que possam justificar a continuação de um trabalho de
revisão adicional (Moher et al., 2014). Além disso, a metodologia
de uma revisão já concluída pode ser de qualidade duvidosa,
tornando-se pertinente a realização de uma nova revisão que
permita ultrapassar as lacunas evidenciadas.

Até onde sabemos, não há nenhuma publicação de orientações

metodológicas que permita a avaliar a qualidade metodológica ou
o risco de viés de uma revisão sistemática de evidências mistas.
Nesse sentido, para avaliar a qualidade metodológica das revisões,
destaca-se a lista de verificação AMSTAR 2 (Assessment of Multiple
Systematic Reviews), que tem como objetivo avaliar criticamente
as revisões sistemáticas que incluem estudos randomizados ou
não randomizados de intervenções em saúde (Shea et al., 2017). A

34
ROBIS (Risk of Bias in Systematic Reviews) constitui outra
ferramenta para avaliar o risco de viés de revisões sistemáticas de
literatura (Whiting et al., 2016). Num outro domínio, destacamos
as orientações da ENTREQ (The Enhancing Transparency in
Reporting the Synthesis of Qualitative Research), cujo objetivo é
aumentar a transparência das sínteses de evidências qualitativas
(Tong, Flemming, McInnes, Oliver, & Craig, 2012). Portanto, no
contexto de eventuais debilidades metodológicas e do risco
elevado de viés, a duplicação de revisões pode ser apropriada.
Contudo, um novo estudo de revisão deve ser sempre planeado,
justificando-se claramente, no protocolo de revisão e no relatório
de investigação, os motivos que conduzem à realização de um
estudo de revisão já existente (Moher et al., 2014).

Sugere-se que os autores de RSL elaborem um protocolo de

revisão, antes do seu registo na plataforma PROSPERO. Este
procedimento permite que os aspetos metodológicos que exigem
uma maior atenção possam ser considerados com antecedência,
evitando a necessidade de múltiplas alterações na plataforma.
Além disso, os itens do PRISMA-P foram desenvolvidos a partir da
lista de verificação do PRISMA e dos itens do registo na plataforma
PROSPERO, com a finalidade de facilitar o registo do protocolo. Ao
registar um protocolo de revisão sistemática, seguindo, por
exemplo, as orientações do PRISMA-P e da PROSPERO, os autores
têm a oportunidade de desenvolver a secção metodológica que
servirá de base para a construção do trabalho de revisão de
literatura. Com este procedimento, os autores contribuem para
uma redução da duplicação não planeada de RSL e evidenciam
uma boa prática científica no planeamento e conceção de estudos
desta natureza.

35
Reflexividade e composição da equipa de investigação

Apesar da reputação de serem produtos transparente e rigorosos,

as RSL podem ser influenciadas pelos investigadores, o que afeta
as conclusões. Um motivo de preocupação é que as revisões
sistemáticas podem ser conduzidas e publicadas por
investigadores com uma participação clara na publicação de
resultados relacionados com a questão de pesquisa da revisão
(Uttley & Montgomery, 2017). Apesar da existência de orientações
para a produção de protocolos e de revisões sistemáticas,
atualmente não é requisito declarar os motivos dos investigadores
que estão por trás do desenvolvimento de uma questão de
investigação. Além disso, também não é requisito que os
investigadores declarem as suas posições teóricas em relação a um
determinado tema de investigação.

As sínteses de evidências científicas podem ser suscetíveis ao risco

de viés quando, por exemplo, são realizadas por investigadores
que aplicam as suas posições teóricas pré-estabelecidas aos
resultados de investigação. Isto significa que é preciso considerar
a fiabilidade dos investigadores (Munder, Brütsch, Leonhart,
Gerger, & Barth, 2013). Nesse sentido, à semelhança dos estudos
qualitativos de dados primários, pode ser necessário relatar a
reflexividade da equipa de investigação de um trabalho de RSL. A
reflexividade é a atitude de entender, sistematicamente, o
contexto da construção do conhecimento em cada etapa do
processo de investigação. A objetividade dos resultados é atingida
quando as interpretações do investigador são baseadas nos dados
e não nas suas convicções teóricas. Nesse sentido, é útil fomentar
o diálogo e desenvolver entendimentos, complementares e
divergentes, ao longo das diferentes etapas de investigação.

36
Assim, é possível alcançar um contexto no qual as crenças, os
valores, as perspetivas e os pressupostos dos investigadores são
relevados e contestados. Portanto, pode ser útil que os
investigadores relatem, previamente, as suas posições teóricas
sobre um determinado tema de investigação. Além disso, os
investigadores podem relatar as crenças e perspetivas pessoais
relacionadas com a questão de investigação a que se pretende
responder através de uma RSL. Estas observações poderão ser
realizadas tanto no protocolo como no relatório final de revisão.

Os trabalhos de RSL devem ser conduzidos por uma equipa de

investigação. Esta equipa deve incluir elementos com domínio e
experiência metodológica em trabalhos de revisão, livres de
potenciais conflitos de interesse. Trabalhar em equipa permite que
alguns procedimentos metodológicos (por exemplo, a definição
dos critérios de elegibilidade, a extração dos dados dos estudos e
a classificação do risco de viés) sejam realizados por, pelo menos,
dois investigadores, de forma independente, minimizando a
probabilidade de risco de viés (Lasserson et al., 2022). Além disso,
os autores que revelarem inexperiência neste domínio
metodológico devem ser incentivados a trabalhar com outros
autores mais experientes.

Além da expertise metodológica, é necessário que a equipa de

investigação inclua elementos com um conhecimento alargado
sobre um escopo de investigação específico. Este conhecimento
deve ser alargado para que todas as perspetivas relevantes sejam
consideradas. Contudo, como não é necessária nenhuma licença
para realizar uma revisão sistemática, a equipa de investigação
pode não incluir nenhum membro com essas características.

Numa outra perspetiva, foram apresentados argumentos de que o

domínio metodológico é suficiente para o desenvolvimento de um

37
trabalho de revisão de literatura (Gøtzsche & Ioannidis, 2012). Não
obstante, a perícia do tema de investigação e o domínio
metodológico estejam presentes, para garantir uma mescla de
competências e de objetividade face às decisões inerentes aos
trabalhos de revisão de literatura científica. Assim, a experiência
relacionada com um determinado tema de investigação pode
permitir uma melhor compreensão das relações entre as variáveis
em estudo e de outros fatores importantes na tomada de decisões
metodológicas (Chandler & Hopewell, 2013). Deste modo, a
expertise acerca do tema de investigação pode ser aplicada com
sensibilidade, garantindo que o trabalho de revisão produza
conclusões livres de preconceitos teóricos ou empíricos.

Em suma, parece haver uma variedade de fatores que podem

influenciar a eficiência e a adequação de uma equipa de
investigação. Nesse sentido, há alguns componentes subjacentes
à natureza e à conduta de uma revisão que podem não ser
suficientemente abordados pelas ferramentas de avaliação de
qualidade de trabalhos de RSL (por exemplo, AMSTAR 2, ROBIS e
ENTREQ). Desta forma, torna-se necessário prestar atenção à
constituição das equipas de investigação (não apenas confiar nos
métodos e nas conclusões produzidas). As revisões sistemáticas
são um instrumento poderoso para a prática baseada em
evidência científica e são mais económicas do que a pesquisa
primária (Glasziou, Djulbegovic, & Burls, 2006). Logo, os
procedimentos metodológicos das RSL devem evoluir através de
um escrutínio contínuo, com a finalidade de compreender alguns
dos vieses (não observáveis) que podem influenciar os resultados
das sínteses, tendo em conta a composição das equipas de
investigação (Uttley & Montgomery, 2017).

38
Desenvolvimento de projetos de revisão
sistemática de estudos mistos

39
Título do estudo de revisão

Geralmente, o título de um trabalho é o primeiro aspeto em que

se repara quando se vai ler um estudo, podendo, inclusive, levar
os potenciais leitores a não ler o estudo. Além disso, os bons títulos
ajudam os leitores a encontrar os estudos relevantes dentro de um
escopo de investigação. Os mecanismos de pesquisa utilizam os
títulos para selecionar estudos relevantes, com base em palavras-
chave. Portanto, um título bem estruturado é o primeiro passo
para atingir citações de um trabalho e para a inclusão de um
estudo em RSL. Observa-se que diferentes corpos editoriais
sugerem diferentes recomendações para a construção de um
título. Tomamos como exemplo as principais recomendações da
editora PLOS (https://plos.org/resource/how-to-write-a-great-
title/), que referem que um título deve: (1) ser conciso e
informativo; (2) considerar o público principal de um escopo de
investigação; (3) despertar o interesse do leitor, fornecendo
informações suficientes; (4) incorporar palavras-chave
importantes; e (5) destacar as palavras mais relevantes. Neste
caso, as palavras principais são escritas com maiúsculas. Deve-se
capitalizar a primeira palavra do texto, substantivos próprios e
nomes de género.

Na atualidade, observa-se uma elevada variedade de métodos de

estudos de revisão. Nesse sentido, o título tem um papel central
na seleção e leitura dos relatórios de revisão. Recomenda-se,
assim, a classificar o relatório quanto ao tipo de revisão realizado,
em coerência com os procedimentos metodológicos adotados. O
relatório deve ser identificado como uma RSL de evidências mistas.
Termos como “revisão” ou “visão geral” não são explícitos quanto
ao tipo de revisão realizada. Alguns corpos editoriais podem

40
recomendar “títulos indicativos”, enquanto outros sugerem
“títulos declarativos”. Além disso, sugere-se a utilização de títulos
informativos que tornem as informações-chave facilmente
acessíveis aos leitores. O título pode ser construído com base na
abordagem PICOS, SPIDER ou PerSPEcTiF, uma vez que fornecem
informações importantes acerca do escopo da revisão.

Os investigadores devem afirmar, explicitamente, no título, que se

trata de uma revisão de literatura que inclui evidências qualitativas
e quantitativas. Verifica-se, contudo, que a literatura publicada
tem utilizado diferentes termos para designar este tipo de revisão.
Algumas revisões utilizam o termo “misto”, como revisão
sistemática mista, revisão de métodos mistos, síntese de pesquisas
mistas ou revisão de estudos mistos (Hong et al., 2017). O termo
“misto” tem sido aplicado, no âmbito da literatura de métodos
mistos, para descrever os estudos primários que combinam
abordagens qualitativas e quantitativas (Noyes et al., 2019). No
entanto, o termo “revisão de estudos mistos” tem sido sugerido
para uma revisão que inclui, simultaneamente, estudos
qualitativos e quantitativos (Pluye et al., 2009). Este termo
concentra-se ao nível dos estudos incluídos e não de um método
específico de síntese. Outras posições sugerem classificar este tipo
de revisão como “revisão de métodos mistos”, referindo-se à
tipologia dos estudos incluídos (qualitativos e quantitativos) e ao
método de síntese utilizado (Heyvaert, Maes, & Onghena, 2013).
Neste trabalho, adotamos o termo “revisão sistemática de estudos
mistos”, estando em linha com o termo “revisão de estudos
mistos” (Pluye et al., 2009).

41
 Exemplos:

Emerging qualitative research trends (2010-2021) on

sedentary behaviour among older adults: a systematic
literature review protocol (Ramalho et al., 2021a).

Sedentary behaviors and psychological outcomes among

older adults: a systematic review (Ramalho et al., 2018).

Intervention strategies for reduction of daily sedentary

behavior in older adults: a rapid review of the literature
(Ramalho et al., 2021b).

Resumo

Quando os leitores analisam um título de um estudo e as partes

constituintes do seu resumo, procuram identificar se devem, ou
não, executar uma leitura integral desse estudo. Nesse sentido, os
resumos de revisões sistemáticas ganham uma especial relevância,
uma vez que alguns leitores podem não obter um acesso ao estudo
completo. Além disso, em caso de impossibilidade de acesso ao
texto integral, a leitura de um resumo pode ser a única opção para
a recolha de dados sobre a pesquisa realizada. Um resumo bem
estruturado deve permitir obter algumas informações-chave
sobre: os objetivos ou questões de investigação; os procedimentos
metodológicos; e os resultados e as suas implicações (Beller et al.,
2013).

As recomendações do PRISMA (Liberati et al., 2009) sugerem que

um resumo pode ser estruturado de acordo com os seguintes
elementos: um breve enquadramento teórico acerca da
problemática em estudo; os objetivos/questões de investigação; a

42
inclusão de alguns critérios de elegibilidade; a identificação das
bases de dados científicos utilizadas; a avaliação do risco de viés
e/ou da qualidade metodológica dos estudos; os resultados dos
estudos (por exemplo, estimativas e intervalos de confiança ou
síntese qualitativa); as conclusões e as implicações dos principais
resultados; o número de registo de revisão sistemática (caso
exista). De forma complementar, sugere-se, ainda, a inclusão do
método de análise de dados utilizado. A classificação de força das
evidências também pode ser reportada. Além disso, recomenda-
se que palavras-chave descrevam com precisão a questão de
investigação a que se pretende responder (Page et al., 2021).
Assim, os resumos podem: facilitar a triagem por tipo de estudo
(Haynes, Mulrow, Huthm, Altman, & Gardner, 1990); facilitar uma
avaliação rápida da validade do estudo em análise (Hartley, 2000);
possibilitar uma leitura eficiente dos resultados de pesquisa
(Froom & Froom, 1993); esclarecer a que tipo de participantes e
em que contextos os resultados se podem aplicar (Beller et al.,
2013); e aumentar a precisão das pesquisas nas bases de dados
eletrónicas (Beller, Glasziou, Hopewell, & Altman, 2011). O resumo
de um estudo de RSL deve, ainda, sinalizar a sua metodologia
sistemática (Beller et al., 2013).

Exemplos:

In recent years, research on sedentary behaviour has

increased. In this regard, there is a need for theoretical
reviews that allow us to determine the past, analyse the
present, and prepare the future of research in this field.
The purpose of this review paper was to analyse and
organise the emerging qualitative research trends
(2010–2021) on the sedentary behaviour of older adults.
A systematic literature search strategy was developed in
various electronic scientific databases (e.g., PubMed,

43
Web of Science, ScienceDirect, Scielo, and Scopus). The
included studies were required to have different
qualitative methodological approaches in terms of data
collection and methods of data analysis. Studies
conducted in any country and published in a peer-
reviewed journal in English, Spanish, and Portuguese
were considered. A thematic analysis approach was used
for data extraction and synthesis, and confidence in the
results was assessed using the GRADE-CERQual
approach. This study may enable accurate guidelines to
be established for future primary qualitative research
related to sedentary behavior. Keywords: research
synopsis; qualitative study; sedentary lifestyle; ageing;
geriatric; research methodology (Ramalho et al., 2021a).

This systematic review aimed to synthesize the scientific

evidence about the relationship between sedentary
behaviours and various psychological outcomes in older
adults. The study searches were conducted in the
following databases: PubMed, PsycINFO, ISI Web of
Knowledge and ScienceDirect. We selected 15
observational quantitative studies according to specific
eligibility criteria. The data extraction was performed
independently by different authors, including the
evaluation of the risk of bias of the studies and the
classification of the force of evidence. The results
showed a tendency of showing no associations between
the sedentary behaviours, the well-being and quality of
life of the elderly. Concerning life satisfaction and
perceived stress, it seems that active sedentary activities
have positive effects on these indicators. Evidence has
also suggested that some sedentary behaviours may help
maintain some cognitive functions in the elderly
population, namely in different types of memory. In

44
 other studies, it has been demonstrated a tendency that
too much time in passive sedentary activities has been
associated with depressive symptomatology. However,
this review suggested that the evidence is not yet
consistent in the relationship between the sedentary
behaviours of the elderly and the indicators analysed,
and more research is needed. Keywords: sitting time,
psychosocial resources, aging (Ramalho et al., 2018).

Secção introdutória

Há estudos bem conduzidos que, quando são submetidos para

publicação, não são aceites pelas equipas editoriais. Um dos
motivos dessas recusas deve-se à menor estruturação das
informações que deveriam ter sido incluídas nas diferentes
secções do manuscrito. Nesse sentido, é importante que os
autores estejam cientes das informações a incluir nas diferentes
etapas de uma secção introdutória de um estudo RSL
(Cunningham, 2004).

A introdução de um estudo deve ser breve e bem referenciada.

Esta secção descreve a magnitude do objeto de estudo, seguido
por uma breve descrição do conhecimento atual e da lacuna
existente na literatura (Grange, Vale, Williams, & Whitfield, 2004).
Os autores podem iniciar o texto com declarações gerais sobre o
objeto de estudo e, posteriormente, abordar a importância do
trabalho de revisão levado a cabo. Além disso, é comum que esta
secção seja escrita na terceira pessoa do singular. Há, ainda, outras
sugestões mais específicas para a conceção de uma introdução de
estudo de investigação. Por exemplo, Alexandrov (2004) sugeriu
que uma introdução pode ser escrita num máximo de três

45
parágrafos. Contudo, devido ao estilo de escrita dos autores e das
diferentes temática, pode existir uma ampla variação na definição
do número de parágrafos nas secções introdutórias dos estudos.
Portanto, a especificação sobre o que deve, ou não, ser incluído
numa seção introdutória ainda carece de discussão (Malik, 2014).
No entanto, é possível fornecer uma visão geral dos aspetos que
podem ser mencionados numa introdução de um estudo de RSL.
Assim, a secção introdutória pode ter uma configuração
estruturada em diferentes parágrafos, como se pretende mostrar
nas páginas seguintes.

(1) Iniciar esta secção com a apresentação do enquadramento do

problema e com a definição de conceitos-chave, dentro da
temática em estudo.

Exemplo:

In order to obtain a better conceptual understanding, it

is important to highlight the differences between the
following concepts: sedentary behaviours and physical
inactivity. The term physical inactivity is used to describe
individuals who do not meet the recommended levels of
moderate to vigorous intensity physical activity
(Sedentary Behaviour Research Network, 2012). On the
other hand, the sedentary behaviours are the wakeful
activities characterized by an energy expenditure of less
than 1,5 MET (metabolic equivalents) when in the seated
or reclined position (Sedentary Behaviour Research
Network, 2012) (Ramalho et al., 2018).

(2) Situar, objetivamente, o atual estudo de revisão de literatura

no contexto de outros trabalhos de revisão relacionados com a
área em estudo. Além disso, sugere-se indicar quais são as lacunas
do conhecimento que o estudo de revisão pretende colmatar.

46
 Exemplo:

In fact, in recent years, the amount of research on SB has

increased exponentially [12]. The literature reviews
published on SB in the older population have followed
the evidence phases for SB science guided by the
Behavioural Epidemiology Framework [13]. Therefore, it
is possible to identify studies that link SB to health
outcomes [14–17]. In addition, other literature reviews
have aimed to understand the measurement of SB and
describe the prevalence and variations of SB in older
adults [4,18–20]. In another direction, reviews have been
published to identify the determinants of SB [21,22].
Finally, there are literature reviews that focus on the
development and testing of interventions to reduce daily
SB [23–25] (Ramalho et al., 2021a).

Previous literature reviews examining SB in older people

have focused on analysing studies published in the most
representative databases (e.g., Web of Science, Scopus,
and PubMed) and papers written in English. Few reviews
have analysed qualitative studies on SB published in
other languages, such as Portuguese and Spanish.
Moreover, for a meaningful extension of the literature, it
is necessary to search for studies in several indexed
databases (Ramalho et al., 2021a).

(3) Apresentar o significado do estudo. Isto significa clarificar a

relevância do assunto para o conhecimento teórico pré-existente,
assim como as suas possíveis implicações práticas. Para quem e
porquê é que o atual estudo de revisão é importante? Estas são as
questões que poderão ser respondidas nesta subsecção da
introdução.

47
 Exemplo:

Verificam-se a existências de outras revisões sistemática,

com meta-análise, que examinaram a literatura
relacionada com as intervenções para a redução do
comportamento sedentário na população idosa, com o
objetivo de quantificar os efeitos dessas intervenções
(Chase et al., 2020). Apesar disso, torna-se necessário,
não só quantificar os efeitos das intervenções, mas,
também, descrever as intervenções concebidas
especificamente para a redução diária do
comportamento sedentário da população idosa, no
sentido de orientar, com um outro nível de detalhe, a
intervenção prática de técnicos de intervenção geriátrica
(Ramalho et al., 2020), numa lógica que se baseia na
prática baseada em evidência científica (Ramalho et al.,
2021b).

(4) Geralmente, a secção introdutória é finalizada com a referência

ao(s) objetivo(s) do estudo e/ou às(s) questões de investigação.

Exemplo:

Thus, this systematic review of literature aimed to

synthesize the scientific evidence about the relationship
between diverse sedentary behaviours and various
psychological outcomes in older adults (Ramalho et al.,
2018).

Não obstante as sugestões aqui apresentadas, os autores podem

consultar as seguintes recomendações: (1) Cochrane Review of the
Cochrane Collaboration; (2) PROSPERO: International Prospective
Register of Systematic Reviews of the Center of Review, da
Dissemination of University of York, England; e (3) e PRISMA -
Reporting Systematic Reviews and Meta-Analyses of Studies.

48
Secção metodológica

A secção dedicada aos procedimentos metodológicos pode

apresentar uma descrição pormenorizada das seguintes etapas:
(1) apresentação da congruência metodológica do estudo de
revisão; (2) definição de critérios de elegibilidade; (3) elaboração
de uma estratégia de pesquisa de literatura; (4) processo de
seleção de estudos; (5) procedimentos de extração de dados; (6)
avaliação do risco de enviesamento dos estudos incluídos na
síntese; (7) apresentação do método de síntese de dados; e (8)
avaliação da força de evidência do conjunto de estudos incluídos
na síntese.

Apresentação da congruência metodológica do estudo de revisão

Nesta secção, é recomendado que se informe o leitor sobre o

desenho de investigação do estudo de revisão. Além disso, dever-
se-á justificar a opção metodológica tomada, informando os
leitores não familiarizados com metodologias de estudos mistos.
Algumas publicações informam que o estudo foi realizado em
conformidade com as recomendações do PRISMA (Liberati et al.,
2009), em combinação com as orientações da ENTREQ (Tong et al.,
2012). Um exemplo pode ser consultado no trabalho de Pluye et
al. (2019).

Exemplo:

We conducted a participatory systematic mixed studies

review with framework synthesis (Carroll, Booth, Leaviss,
& Rick, 2013). The rationale for choosing this
methodology was that we started from an initial
framework (derived from information studies and a few
interviews), which needed to be revised and improved

49
 using a systematic literature review of studies on OCHI in
primary care. Mixed studies reviews and corresponding
types of synthesis are presented in Appendix 1 to justify
our use of a framework synthesis (compared to other
types of syntheses), and to help readers who are not
familiar with these methodologies and methods. This
review is reported in accordance with the PRISMA
statement for quantitative systematic literature reviews
(reviews of quantitative studies with meta-analysis of
quantitative evidence; Liberati et al., 2009), and the
ENTREQ statement for enhancing transparency in
reporting a qualitative review (literature review of
qualitative research studies with synthesis of qualitative
evidence; Tong, Flemming, McInnes, Oliver, & Craig,
2012). No specific standard for reporting mixed studies
reviews was found in a reference source on guidelines for
reporting research (www.equatornetwork.org) (Pluye et
al., 2019).

Definição de critérios de elegibilidade

Antes da elaboração de uma estratégia de pesquisa de literatura,

recomenda-se a definição de um conjunto de critérios de
elegibilidade. Estes critérios apoiam a tomada de decisão sobre os
estudos a incluir na síntese final. Naturalmente, os critérios de
elegibilidade devem estar alinhados com a questão de
investigação. Sugere-se que os critérios sejam definidos tendo em
conta a abordagem PICOS (Liberati et al., 2009): identificação da
população em estudo (em inglês: population); tipo de intervenção
(em inglês: intervention); grupo de controlo (em inglês:
comparison); variáveis avaliadas ou resultado expectável (em
inglês: outcomes); e desenho do estudo (em inglês: study design).
Alguns termos desta abordagem, como “grupo de controlo” ou

50
“intervenção”, podem não ser relevantes para a pesquisa
qualitativa. Contudo, esses termos podem tornar-se mais
relevantes no futuro, à medida que os ensaios experimentais
incorporam dados qualitativos (Lewin, Glenton, & Oxman, 2009).
Além da abordagem PICOS, é possível utilizar os critérios SPIDER
(Sample, Phenomenon of Interest, Design, Evaluation, Research
Type) (Cooke et al., 2012). Estes critérios foram desenvolvidos para
estudos de revisão de métodos qualitativos e mistos. Para a
definição de critérios de elegibilidade relacionados com variáveis
contextuais, poder-se-á utilizar a estrutura PerSPEcTiF (Booth et
al., 2019). Além dos critérios mencionados, é possível definir e
integrar outros critérios de elegibilidade relevantes, tais como o
período temporal das publicações (por exemplo, estudos
publicados entre janeiro de 1990 e fevereiro de 2012) e a língua
de redação dos estudos.

Exemplos:

Com base no acrónimo PICOS (Population, Intervention,

Comparison, Outcomes, Study design), foi definido um
conjunto alargado de critérios de elegibilidade. Nesse
sentido, os seguintes designs de investigação foram
considerados: estudos randomizados controlados e
estudos quase-experimentais. No que respeita às
caraterísticas dos participantes dos estudos, os critérios
de inclusão são os seguintes: 1) idosos a partir dos 65
anos de idade; 2) idosos que residam nas suas habitações
e idosos institucionalizados em lares e residências; 3)
idosos que apresentem múltiplas comorbilidades ou
idosos sem patologias associadas. Estudos que
investigaram populações clínicas (por exemplo, idosos
que se encontram em reabilitação cardíaca) foram
excluídos. A revisão incluiu, ainda, estudos que relatam
as intervenções que visam a redução do comportamento

51
sedentário diário dos idosos, com as seguintes
características (Chastin et al., 2017): intervenções que
visam a modificação comportamental através da
sensibilização, intervenções com foco na tecnologia,
intervenções com o objetivo da modificação de fatores
contextuais e intervenções com base na alteração da
política de trabalho em lares, residências e centros de dia
para idosos. As intervenções deviam ter uma duração
mínima de 3 meses. Além disso, os estudos precisavam
de apresentar a medição do comportamento sedentário
(medidas objetivas; medidas por autorrelato) através de
instrumentos que apresentem a validade, a fiabilidade e
a sensibilidade, devidamente comprovadas. Foram
considerados os estudos publicados em inglês (Ramalho
et al., 2021b).

In this protocol of systematic synthesis of qualitative

evidence, the criteria used as a reference for inclusion
and exclusion of primary studies were guided by the
acronym SPIDER (Sample, Phenomenon of Interest,
Design, Evaluation, Research type) [34]. Primary studies
that use a variety of qualitative methodological
approaches (e.g., ethnography, phenomenology, life
histories, grounded theory, case studies, and descriptive
qualitative studies) were included in the review. In
addition, studies using qualitative methods of data
collection (e.g., unstructured interviews, semi-structured
interviews, structured interviews, focus groups, and
direct observation) and various qualitative approaches to
data analysis (e.g., thematic analysis, interpretive
phenomenological analysis, and content analysis) were
considered. Primary studies in which data were collected
using qualitative methods but which did not include
qualitative analysis were not included (e.g., surveys in

52
 which responses were analysed using descriptive
statistical methods). Mixed methods studies and studies
published in conference proceedings, scientific papers,
book chapters, and unpublished manuscripts were also
not included in the evidence synthesis. The synthesis also
included primary studies that focused on the perceptions
of (1) older men and women aged 65 years or older; (2)
older people living in their own homes and older people
living in nursing homes and residences; (3) older people
with multiple comorbidities and older people without
associated pathologies; (4) older people who do or do
not participate in exercise programmes guided by
exercise professionals, and older people who do or do
not regularly engage in unguided physical activity.
Studies that exclusively examined clinical populations
(e.g., older adults undergoing cardiac rehabilitation)
were not included in the synthesis. Studies conducted in
any country and published in English, Spanish, and
Portuguese in peer-reviewed journals between 2010 and
2021 were considered for the final synthesis (Ramalho et
al., 2021a).

Elaboração de uma estratégia de pesquisa de literatura

A exaustividade da pesquisa de literatura é de suma importância

para uma RSL. Essa pesquisa confere-lhe um carácter exaustivo e
exclusivo. Portanto, a estratégia de pesquisa utilizada deve ser
documentada em pormenor. Na etapa final, é necessário
persuadir os editores, os revisores e os leitores de que o estudo é
realmente uma RSL e não uma revisão narrativa. Em última análise,
outros investigadores podem replicar o estudo ou avaliar a sua
qualidade, no contexto de estudos de revisão de revisões.

53
A introdução de filtros de pesquisa nas bases de dados permite
selecionar, à priori, critérios básicos como a faixa etária, o género
ou o tipo de estudos. Isto evita a repetição das pesquisas com
alteração das palavras-chave e das condições de busca. Existe uma
grande variedade de bases de dados científicos, tais como:
Cochrane Central Register of Controlled Trials (CENTRAL); Embase
(Embase.com); MEDLINE (PubMed); World Health Organization
(WHO); International Clinical Trials Registry Platform (ICTRP)
Search Portal (apps.who.int/trialsearch); CINAHL EBSCO
(Cumulative Index to Nursing and Allied Health Literature);
ClinicalTrials.gov (ClinicalTrials.gov); PsycINFO (ProQuest); PEDro
(Physiotherapy Evidence Database; www.pedro.org.au); EPPI-
Centre Databases (eppi.ioe.ac.uk/cms/Default.aspx? tabid=185); e
AMED (Allied and Complementary Medicine Database).

A definição da PICOS é determinante para uma adequada escolha

de palavras-chave, bem como do tipo de estudos que se pretende
alcançar. As palavras-chave devem ser reportadas (isoladamente
ou por combinação). O mesmo se aplica aos operadores usados
nessa combinação (por exemplo, “and” e “or”), as às
variantes de uma mesma palavra (por exemplo, “age” e “aging”)
ou à sequência dos termos da busca efetuada.

As listas de referências dos estudos encontrados também devem

ser utilizadas como recursos de pesquisa. Assim, poderão ser
identificados outros estudos não sido obtidos nos recursos
considerados. O contacto direto com os autores dos trabalhos
(para a obtenção dos manuscritos ou de dados omissos) também
pode ser um recurso de pesquisa cuja referência é valorizada.

54
Exemplos:

A systematic literature search strategy will be developed

in the following electronic scientific databases: PubMed,
Web of Science, ScienceDirect, Scielo and Scopus. The
aforementioned databases were selected because they
revealed the previous existence of potentially critical
studies related to the research question of the synthesis
based on pre-liminary investigations and explorations.
The search for the primary studies is conducted using
keywords associated with the following groups of search
terms: (a) SB and related terms (e.g., sedentary lifestyle,
SB, prolonged sitting, sitting time, reclining time,
computer time, Internet time, television, screen time,
reading time, computer play, transportation time); (b)
qualitative research designs and analyses (e.g.,
ethnography, phenomenology, life stories, grounded
theory, case studies, focus groups, descriptive qualitative
studies, qualitative analysis, thematic analysis, content
analysis, interpretive phenomenological analysis); (c)
participant characteristics (e.g., ageing, senior, older
adult, elderly, geriatric). The different keywords within
each group are combined with a Boolean "OR". In
addition, the keywords are combined with a Boolean
"AND".

The search strategy for the PubMed scientific database

(Table 1) is used as the basis for the literature search in
the various databases listed. Reference lists of primary
studies selected for synthesis are then reviewed to
identify new studies that may meet the defined eligibility
criteria. In addition, primary studies potentially relevant
to the synthesis will also be searched in Google Scholar
and the Sedentary Behaviour Research Network data-

55
base (www.sedentarybehaviour.org). Contact with
experts in SB will also be considered to identify additional
unpublished studies. These contacts could be made
through the Sedentary Behaviour Research Network
(www.sedentarybehaviour.org), the International
Society for Physical Activity and Health (www.ispah.org)
and other international research networks (Ramalho et
al., 2021a).

PubMed search strategy

1. Sedentary lifestyle[MeSH Terms] 2. (((sedentary

behavior[tiab]) OR sedentary behaviour[tiab]) OR
sedentary lifestyle[tiab]) 3. prolonged sitting[tiab] 4.
computer[MeSH Terms] 5. ((computer use[tiab]) OR
computer usage[tiab]) OR computer time[tiab] 6.
television[MeSH Terms] 7. ((television viewing[tiab]) OR
television watching[tiab]) OR television time[tiab] 8. ((TV
viewing[tiab]) OR TV watching[tiab]) OR TV time[tiab] 9.
((screen watching[tiab]) OR screen use[tiab]) OR screen
time[tiab] 10. ((screen entertainment[tiab]) OR screen
behaviour[tiab]) OR screen behavior[tiab] 11. reading
time[tiab] 12. automobile driving[MeSH Terms] 13.
transport time[tiab]

AND

14. qualitative research [MeSH Terms] 15. ethnography

[tiab] 16. phenomenology [tiab] 17. life stories [tiab] 18.
grounded theory [tiab] 19. case studies [tiab] 20. focus
groups [tiab] 21. descriptive qualitative study [tiab] 22.
qualitative investigation [tiab] 23. qualitative analysis
[MeSH Terms] 24. thematic analysis [tiab] 25. content
analysis [tiab] 26. interpretive phenomenological analysis
[tiab] 27. thematic synthesis [tiab] 28. narrative analysis

56
[tiab] 29. interviews [MeSH Terms] 30. in-depth
interviews [MeSH Terms] 31. structured interviews [tiab]
32. semi-structured interviews [tiab] 33. unstructured
interviews [tiab] 34. ((observation [tiab]) OR participant
observation [tiab]

AND

35. aging[MeSH Terms] 36. ((senior [tiab]) OR senior

citizens [tiab] 37. older adult*[tiab] 38. elderly[tiab] 39.
older people[tiab] 40. geriatric OR geriatrics

Uma pesquisa de literatura foi desenvolvida em bases de

dados eletrónicas de dados científicos: (PubMed, ISI Web
of Knowledge, Scopus). Além disso, também foram
pesquisados livros técnicos, potencialmente relevantes
para esta síntese, no Google Scholar. Foram utilizadas
palavras-chave associadas aos seguintes grupos de
termos de pesquisa: (1) comportamento sedentário e
termos relacionados (por exemplo, estilo de vida
sedentário); (2) envelhecimento e termos similares (por
exemplo, idosos, população envelhecida); (3) modelos
teóricos aplicados ao comportamento sedentário (por
exemplo, modelos ecológicos); (4) estratégias de
intervenção aplicadas ao comportamento sedentário
(por exemplo, estratégias psicossociais); (5)
consequências do comportamento sedentário (por
exemplo, indicadores de saúde). As listas de referências
de estudos selecionados também foram analisadas com
o objetivo de identificar novos estudos que poderiam
adequar-se aos critérios de elegibilidade definidos
(Ramalho et al., 2022)

57
Processo de seleção de estudos

O processo de revisão sistemática é composto por várias etapas.

Assim, após uma pesquisa sistemática de literatura, as publicações
relevantes devem ser selecionadas, através de um processo
replicável por outros investigadores. Nesse sentido, há
pressupostos rigorosos de transparência no processo de seleção
dos estudos incluídos na revisão. Uma boa prática consiste em
selecionar os estudos em diferentes etapas (Olofsson et al., 2017):
(1) exclusão de estudos irrelevantes (i.e. estudos que não atendam
aos critérios de elegibilidade definidos), através de uma leitura dos
títulos e dos resumos e, se necessário, do texto completo; e (2)
leitura integral dos estudos potencialmente relevantes.

Todas as etapas de seleção são realizadas de forma independente

por, pelo menos, dois investigadores, o que reduz a possibilidade
de rejeitar publicações relevantes (Edwards et al., 2002). As
discrepâncias entre os investigadores (sobre a inclusão ou
exclusão dos estudos no relatório de RSL) devem ser resolvidas por
consenso ou pela inclusão de um terceiro revisor. Nesse sentido,
sempre que múltiplos investigadores realizam este processo, deve
informar-se o critério de resolução dos possíveis desacordos.
Idealmente, os autores do estudo de revisão podem esclarecer os
leitores sobre a utilização de medidas de concordância entre
avaliadores (por exemplo, o coeficiente kappa de Cohen). Outra
estratégia refere-se à descrição da arbitragem sobre a seleção ou
exclusão dos estudos (por exemplo, o contacto com os autores dos
estudos originais).

Exemplo:

The studies were imported into the software EndNote

(ThompsonReuters, San Francisco, CA, EUA) and the
duplicate articles were removed using the "duplicate"

58
 function. The selection process of the studies was
performed in the following phases: in the initial phase,
two independent reviewers based on the titles
performed the research of the potentially relevant
studies. In case of doubt about the inclusion of the
studies, these were selected for the next evaluation
phase. In the second phase, the abstracts of the studies
selected in the initial phase were analysed by two
reviewers. In the event of disagreement over the
inclusion of studies in the next phase, these were
resolved through mediation by a third reviewer. In the
third and final phase, the studies selected in the previous
phases were reviewed in their entirety by three
independent reviewers, taking into account the specific
eligibility criteria. At this stage, disagreements among
reviewers on the inclusion of studies were resolved by
consensus (Ramalho et al., 2018).

Procedimentos de extração de dados

Nesta secção, sugere-se a criação de esboços de tabelas que

facilitem a extração de dados dos estudos a incluir na síntese de
literatura. Assim, esses dados podem ser extraídos a partir de uma
folha de extração de dados, adaptada do modelo de extração de
dados da Cochrane Consumers and Communication Review
Group. As informações extraídas podem ser as seguintes: o título
do estudo; o resumo; os autores e o ano de publicação; o país onde
o estudo foi realizado; o design de investigação; os
objetivos/questões de investigação; as características dos
participantes; os métodos de recolha e de análise de dados
qualitativos e quantitativos; os resultados qualitativos e/ou
quantitativos; as citações dos participantes dos estudos primários;
as implicações dos resultados dos estudos; as tabelas, figuras ou

59
imagens relevante; e as conclusões. Os dados extraídos podem ser
apresentados numa tabela intitulada “Características dos estudos
incluídos” (Ramalho et al., 2021a).

Os autores da revisão podem não obter todas as informações nos

relatórios incluídos na síntese. Nessas circunstâncias, sugere-se o
contacto com os investigadores dos estudos em análise, para
recolher as informações necessárias. Como o processo de extração
de dados envolve interpretações subjetivas sobre os relatórios de
investigação, este deve ser realizado de forma independente por,
pelo menos, dois investigadores (Buscemi, Hartling, Vandermeer,
Tjosvold, & Klassen, 2006). É preferível que os autores
responsáveis pela extração de dados sejam de disciplinas
complementares (por exemplo, um especialista em metodologias
de estudos de revisão e outro na área do objeto de estudo em
análise). Além disso, todos os envolvidos devem ter prática nessa
tarefa ou receber treino adequado (Li, Higgins, & Deeks, 2022).
Depois da extração independente por dois ou mais autores, deve
haver uma comparação de dados para garantir concordância ou
identificar discrepâncias. Por isso, o procedimento ou a regra de
decisão para identificar/resolver possíveis divergências deve estar
explícito no relatório. A origem de um desacordo é facilmente
resolvida através de uma discussão entre os autores que extraíram
os dados. Contudo, um desacordo pode exigir uma arbitragem de
outro investigador. Na eventualidade de um desacordo
insuperável, pode entrar-se em contacto com os autores dos
estudos em análise. Se esse procedimento não tiver sucesso, o
desacordo deve ser reportado no relatório.

Em resumo, esta secção deve detalhar (Li et al., 2022): (1) as

categorias de dados extraídas; (2) a forma de análise dos dados
extraídos de cada relatório (por exemplo, extração independente
realizada por dois autores); (3) o tipo de especialistas responsável

60
pela extração (especialistas na área de objeto de estudo, em
metodologias de estudos de revisão ou ambos); (4) a eventual
realização de um teste-piloto e as instruções de codificação para o
formulário de recolha de dados; e (5) e a forma de resolução das
discordâncias entre os autores.

Exemplo:

The three reviewers involved in the selection of the

studies participated independently in extracting the data
from the selected studies. The characteristics of the
studies that included their authors, the country where
the study was carried out, the methodological design, the
characteristics of the participants, the instrument for
assessing the sedentary behaviours, the instruments for
evaluating the psychological indicators, the results and
the conclusions of the studies were registered. At this
stage the divergences about the extracted data were
overcome by consensus among the reviewers (Ramalho
et al., 2018).

Avaliação do risco de enviesamento dos estudos incluídos na

síntese

Devido à elevada heterogeneidade nos desenhos dos estudos

incluídos nas revisões sistemáticas de evidências mistas, torna-se
necessário responder ao desafio da avaliação crítica da qualidade
desses estudos. A avaliação crítica dos estudos selecionados
constitui, assim, um importante procedimento metodológico nas
revisões sistemáticas. Contudo, o conjunto de ferramentas que
permite avaliar a qualidade metodológica dos estudos é vasto e
recorre a diferentes abordagens (qualitativas e quantitativas), não
existindo uma orientação clara sobre qual ferramenta utilizar.

61
A avaliação crítica dos estudos pode ser definida como um
processo relacionado com o julgamento da qualidade dos estudos
incluídos numa RSL (Hong & Pluye, 2019). Desta forma, a avaliação
crítica dos trabalhos de revisão permite identificar os pontos fortes
e os pontos mais frágeis dos estudos, determinando o grau de
confiança que se pode inferir acerca dos resultados de cada estudo
primário incluído na revisão. Além disso, a avaliação crítica permite
que as recomendações e as conclusões da revisão sistemática
reflitam, adequadamente, a qualidade das evidências incluídas na
síntese final. Assim, torna-se possível a comparação de resultados
de estudos de qualidade metodológica inferior e superior (Booth,
Papaioannou, & Sutton, 2012).

Destaca-se a existência de diferentes etapas no processo de

avaliação crítica em revisões sistemáticas de estudos mistos. Em
primeiro lugar, torna-se necessário identificar os estudos nas
bases de dados de artigos científicos, através de critérios
específicos de elegibilidade. Depois, é necessário selecionar os
estudos com base na premissa de inclusão exclusiva dos estudos
que atendam aos critérios mínimos de rigor científico. Numa etapa
posterior, recorre-se aos resultados da avaliação crítica para
descrever a qualidade dos estudos incluídos na revisão. Esta
avaliação contribui para determinar o grau de confiança dos
leitores nos resultados dos estudos. Por fim, realiza-se uma síntese
e uma interpretação dos artigos selecionados. Uma estratégia
possível consiste em realizar uma análise de sensibilidade, com
base nos resultados da avaliação crítica. Nesse sentido, os estudos
que não atingiram um limite de qualidade predefinido podem ser
removidos (Carroll & Booth, 2015). Desta forma, as conclusões de
uma revisão podem ser diferenciadas, com base na avaliação
crítica dos estudos avaliados.

62
É preciso considerar as duas principais dimensões na avaliação
crítica dos estudos: a avaliação do risco de viés e a qualidade do
relatório. A aplicação de critérios da avaliação crítica depende, em
grande medida, dos desenhos de investigação dos estudos
incluídos na revisão.

Qualidade do relatório

A qualidade do relatório diz respeito às informações que um artigo

permite observar em relação à totalidade do seu desenho de
investigação. Nesse sentido, esta dimensão refere-se aos
construtos de transparência, precisão e integridade. Estes
construtos podem ser avaliados, percebendo se: um artigo fornece
informações claras, detalhadas e fáceis de entender
(transparência); fornece informações corretas e verdadeiras
(integridade); inclui informações suficientes (precisão), que
permitam aos leitores entender um estudo em profundidade. Nos
últimos anos, foram desenvolvidas diversas diretrizes que
permitem ajustar os relatórios de investigação a uma estrutura
metodológica, de acordo com o tipo de estudo. Destacamos as
orientações da CONSORT (Consolidated Standards of Reporting
Trials) para ensaios clínicos randomizados (Moher et al., 2010), da
STROBE (Strengthening the Reporting of Observational Studies in
Epidemiology) para estudos observacionais (von Elm et al., 2007)
e da COREQ (Consolidated Criteria for Reporting Qualitative
Research) para estudos qualitativos (Tong, Sainsbury, & Craig,
2007).

A avaliação da qualidade do relatório dos estudos não substitui a

avaliação do risco de viés (Higgins & Green, 2008). Não obstante,
a qualidade do relatório e o risco de viés estão relacionados. Isto
significa que, se um artigo apresentar debilidades na forma como
está reportado, há uma dificuldade acrescida na avaliação

63
adequada da sua fiabilidade. Desta forma, ambas as medidas
podem ser complementares. Assim, numa primeira fase, pode
avaliar-se a qualidade dos relatórios, excluindo aqueles que estão
inadequadamente reportados. Posteriormente, é possível avaliar
o risco de enviesamento dos demais estudos (Carroll, Booth, &
Lloyd-Jones, 2012).

Avaliação do risco de viés

É importante distinguir a avaliação da qualidade metodológica da

avaliação do risco de viés. A avaliação da qualidade refere-se aos
melhores procedimentos metodológicos que os autores
conseguiram realizar. Contudo, mesmo que os autores apliquem a
melhor metodologia possível na realização de um estudo primário,
ainda há fundamentos teóricos para acreditar que o estudo é
suscetível a risco de viés (Liberati et al., 2009).

Na avaliação da qualidade, os estudos podem ser classificados com

base nos seus desenhos de investigação. Isto significa que alguns
desenhos de investigação podem produzir inferências mais fiáveis
do que outros. A este respeito, pode ser consultada a hierarquia
de evidências, na qual as revisões sistemáticas com meta-análise e
os ensaios clínicos randomizados são considerados a melhor fonte
de evidência (Wells & Littell, 2009). Porém, esta abordagem não é
adequada no contexto das sínteses de evidências mistas, uma vez
que os estudos qualitativos são colocados à margem da hierarquia
referida.

Por outro lado, a avaliação do risco de viés centra as suas

preocupações nos procedimentos metodológicos utilizados nos
estudos primários. Esta avaliação encontra-se associada ao
construto de fiabilidade e à eventual minimização de vieses
através dos métodos utilizados (Higgins & Green, 2008). Desta

64
forma, o princípio subjacente é o seguinte: quanto menos
enviesamentos houver nos procedimentos metodológicos
utilizados, mais fiáveis são os resultados dos estudos. Assim, a
avaliação do risco de enviesamento dos estudos deve fazer parte
das revisões sistemáticas. Sugere-se que os autores planeiem com
rigor os riscos de vieses que podem influenciar os resultados da
RSL.

Um dos desafios que se coloca às revisões sistemáticas de

evidências mistas é comparar o risco de enviesamento dos estudos
de diferentes tradições epistemológicas e metodológicas. Estas
diferenças levam a que as dimensões da fiabilidade sejam,
naturalmente, diferentes para a pesquisa qualitativa e
quantitativa. Esta situação pode dificultar a utilização de um único
instrumento na avaliação do risco de viés para todos os estudos
incluídos na revisão sistemática.

Pode utilizar-se as seguintes abordagens para a avaliação do risco

de enviesamento dos estudos incluídos numa revisão: (1)
utilização de critérios específicos para avaliar os estudos
qualitativos, como, por exemplo, através da Critical Appraisal Skills
Program (Critical Appraisal Skills Program, 2017); (2) recurso a
critérios específicos na avaliação dos estudos quantitativos. As
ferramentas de avaliação do risco de viés da Cochrane têm sido
utilizadas nas RSL publicadas em diferentes áreas científicas,
incluindo as ciências do desporto. Destaca-se a ROBINS-I (Sterne
et al., 2016), que apresenta domínios específicos de avaliação do
risco de viés de estudos quantitativos, que, apesar de não serem
randomizados, aplicaram uma intervenção. A Cochrane também
disponibiliza outra ferramenta de avaliação do risco de viés para
ensaios clínicos randomizados (Higgins et al., 2011). Além disso,
outras escalas de avaliação de estudos quantitativos podem ser
utilizadas, como a escala de Downs e Black (1998) para a avaliação

65
da qualidade de estudos randomizados e não randomizados; (3)
aplicação de critérios de avaliação específicos para estudos de
métodos mistos. As revisões sistemáticas de evidências mistas
mais recentes têm utilizado a Mixed Methods Appraisal Tool (Hong
et al., 2018). Esta ferramenta permite avaliar o risco de viés de
cinco domínios diferentes (por exemplo, participantes, recolha e
análise de dados) para estudos de pesquisa qualitativa, ensaios
clínicos randomizados, estudos não randomizados, estudos
descritivos quantitativos e estudos de métodos mistos.

Exemplo:

Because studies with diverse methods (qualitative,

quantitative, and mixed) were included, the
methodological quality was assessed using the Mixed
Methods Appraisal Tool (MMAT; Pluye et al., 2009). The
MMAT is a validated tool and has been tested for
reliability (Crowe & Sheppard, 2011). Two reviewers
independently assessed the included studies using the
2011 version of the MMAT (Pace et al., 2012; Souto et al.,
2015). Any discrepancy between reviewers’ appraisal
was usually resolved by discussion. Disagreements that
were not resolved easily were referred to a third party.
No studies were excluded based on the appraisal. The
appraisal contributed to the description of the
characteristics of included studies (Pluye et al., 2019).

Método de síntese de dados

Nos estudos de síntese de evidências mistas, a integração de

resultados pode ocorrer em dois níveis. O primeiro nível
corresponde à seleção de evidências qualitativas, quantitativas e
estudos de métodos mistos, numa única RSL. O segundo nível de
integração diz respeito aos métodos de síntese utilizados (i.e.

66
quando os dados extraídos são analisados através de
procedimentos metodológicos específicos).

Há diferentes métodos qualitativos e quantitativos que podem ser

aplicados nos estudos de RSL de evidências mistas. Não obstante,
a síntese de estudos é uma área em desenvolvimento e,
provavelmente, novas técnicas surgirão. De seguida, apresentar-
se-á, de uma forma abrangente, duas das principais abordagens
(qualitativa e quantitativa) que permitem sintetizar as evidências
em RSL. Para orientações adicionais, recomenda-se a consulta do
manual desenvolvido por Pope, Mays e Popay (2007) e do trabalho
de Dixon-Woods, Agarwal, Jones, Young e Sutton (2005).

Métodos de síntese qualitativos

Os métodos de síntese qualitativa permitem apresentar os dados

(qualitativos e quantitativos) de forma textual. Uma maneira de
lidar com os resultados qualitativos e quantitativos na mesma RSL
é conduzir, paralela e separadamente, uma síntese das evidências
qualitativas e uma síntese dos resultados quantitativos. Contudo,
se o trabalho de revisão procurar integrar as evidências
qualitativas e quantitativas, numa única síntese, é necessário
converter os dados quantitativos em dados qualitativos.

Os métodos qualitativos apresentam uma abordagem

interpretativa em relação aos dados recolhidos. Nesse sentido, as
análises realizadas centram-se na compreensão do significado de
um determinado objeto de estudo, permitindo desenvolver novos
entendimentos conceptuais e explicações teóricas. Os métodos de
síntese qualitativos apresentam o potencial de serem utilizados na
síntese de diversas evidências, incluindo dados qualitativos e
quantitativos. Diferentes métodos de síntese qualitativos foram
desenvolvidos, destacando-se a síntese temática (Thomas &

67
Harden, 2008), a síntese meta-narrativa (Greenhalgh et al., 2005)
e a síntese interpretativa crítica (Dixon-Woods et al., 2006).

As sínteses qualitativas são relativamente recentes. Por esse

motivo, a maioria dos métodos utilizados estão em estágios de
desenvolvimento (não de consolidação metodológica). Assim, a
maioria dos métodos baseia-se nos métodos e técnicas analíticas
da pesquisa qualitativa primária. Deste modo, há poucos exemplos
da aplicação de métodos interpretativos à síntese de resultados de
estudos qualitativos e quantitativos. Um exemplo de uma revisão
de evidências mistas que utilizou um método de síntese qualitativo
é o trabalho de Buckley, Hall, Lassemillante, Ackerman, & Belski
(2019). Nesta revisão, os autores utilizaram a síntese temática, o
que permitiu desenvolver um conjunto de temas relevantes sobre
os comportamentos alimentares e a composição corporal de
atletas retirados da competição.

Convém ressaltar que a síntese de resultados de múltiplos estudos

qualitativos e quantitativos, através de métodos qualitativos,
levanta algumas preocupações de ponto de vista epistemológico e
ontológico. Essas preocupações estão relacionadas com a ideia de
que uma revisão sistemática se encontra associada ao paradigma
positivista, pretendendo atingir uma verdade absoluta. De forma
diferenciada, os investigadores que utilizam métodos qualitativos
argumentam que os resultados dos estudos não devem ser vistos
como uma verdade absoluta e aplicável a todos os contextos.
Nessa perspetiva, os resultados são vistos como verdades relativas
e contextualizadas, passíveis de diferentes leituras e
interpretações.

Um dos problemas no desenvolvimento de abordagens

sistemáticas consiste numa adequada descrição do contexto e da
relação investigador-participante (Sandelowski, Docherty, &

68
Emden, 1997). Dessa forma, pode argumentar-se que a integração
de diversos estudos individuais ignora alguns fundamentos
teóricos e metodológicos de pesquisa qualitativa, reduzindo a
riqueza contextual dos estudos individuais. Embora valha a pena
conhecer essas preocupações, elas precisam de ser equilibradas
com os possíveis benefícios da construção de uma base de
conhecimento acumulada, utilizando a síntese interpretativa.
Nesse sentido, a crítica comum de que os estudos qualitativos
apresentam amostras relativamente pequenas e homogéneas,
reduzindo a sua generalização, pode ser ultrapassada através de
uma de síntese de literatura de evidências mistas. Logo, é possível
identificar os pontos em comum entre diferentes estudos,
potenciando um nível mais elevado de generalização,
comparativamente aos estudos primários (Estabrooks et al.,
1994).

Exemplo:

The studies that will be integrated into the final synthesis

will be subjected to qualitative analysis. In this sense, a
thematic analysis [30] is made from the data extraction
sheet used. The data will be imported into the MAXQDA
software. The first step consists in getting familiar with
the data, reading it thoroughly and noting the first ideas
that emerge from the data. The second phase is to define
initial codes, systematically code the data, and group the
relevant data for each code. In the third phase, a more
comprehensive analysis is conducted, grouping the initial
codes into potential themes, and bringing together all
the relevant data for each theme. In the fourth phase,
the potential themes are matched with the previously
coded extracts to generate individual unique themes. In
the fifth stage, the themes are reviewed again to refine
their specifics by developing clear titles for each theme.

69
 In this way, the themes are developed to ensure their
uniqueness and completeness. Finally, in the sixth stage,
the themes are written down in an analytical report. In
the first phase, two co-authors will independently
develop and present a thematic analysis according to the
procedures described above. Regular meetings will then
be held between all authors of the study to discuss and
interpret themes emerging from the data. At this stage,
disagreements between co-authors are resolved by
consensus. This form of discussion can ensure that the
themes reflect the full range of data reviewed [31]. Thus,
this approach allows for a scientific synthesis of the
findings of a qualitative design and a new understanding
of the scientific production of qualitative data related to
the study of SB in the elderly population (Ramalho et al.,
2021a).

Métodos de síntese quantitativos

As abordagens de síntese quantitativas implicam transformar os

dados qualitativos em dados quantitativos, incluindo análises mais
simples (como a contagem de frequência de um determinado
tema) ou análises estatísticas mais sofisticadas. Desta forma, os
métodos de síntese quantitativos permitem apresentar os
resultados através de dados numéricos e de resumos das variáveis
de interesse dos estudos incluídos na RSL. Porém, talvez a forma
menos útil de lidar com dados qualitativos, em revisões
sistemáticas, seja transformá-los em dados quantitativos. Se
pretendermos saber quantos participantes, num determinado
número de estudos, expressaram uma crença, este é um
desperdício de dados qualitativos (Petticrew & Roberts, 2006). Isso
ocorre porque não é possível captar como os indivíduos
experimentam e conceptualizam o mundo (Lewin & Glenton,

70
2018). Neste sentido, antes da transformação de dados
qualitativos em quantitativos, deve ponderar-se se duas sínteses
independentes, com um comentário narrativo geral, podem
representar, fidedignamente, os resultados originais dos estudos.
Todavia, como observado, as RSL precisam de integrar evidências
de diferentes aproximações metodológicas qualitativas e
quantitativas. Portanto, a descrição de resultados em sínteses
paralelas pode ser uma abordagem inadequada na utilização de
ambas as fontes.

As mais recentes inovações metodológicas permitem utilizar os

resultados qualitativos nas sínteses de evidências quantitativas,
destacando-se a abordagem bayesiana (Louis & Zelterman, 1994).
Outra abordagem de síntese que merece destaque é a análise
comparativa (Ragin, 1987). Este método admite a síntese de
diversos estudos de caso qualitativos de forma quantitativa, com
o objetivo de estabelecer generalizações através da álgebra
booleana. Outros métodos de síntese quantitativos que podem ser
utilizados são a análise de conteúdo quantitativa (Stemler, 2000) e
a pesquisa quantitativa de casos (Larsson, 1993). Um bom exemplo
de utilização de métodos de síntese quantitativos é a revisão de
evidências mistas de Roberts, Dixon-Woods, Fitzpatrick, Abrams e
Jones (2002). Neste estudo, foi possível obter um valor de
probabilidade dos fatores que emergiram dos resultados dos
estudos analisados. Para isso acontecer, foi necessário combinar
as crenças subjetivas, pré-existentes, dos autores da revisão, com
as suas sínteses de evidências qualitativas. Desta forma, os autores
listaram os fatores de cada estudo qualitativo e classificaram a sua
importância relativa. Depois, utilizaram uma abordagem de análise
de conteúdo que permitiu gerar temas descritivos para todos os
fatores (ver procedimento no trabalho de Roberts et al., 2002).

71
Exemplo:

As a meta-analysis could not be performed, a Synthesis

Without Meta-analysis based on effect direction was
performed. In this study, the effect direction plot is used
to summarize findings at study level in instances where
an outcome is reported in 2 or more studies. Study level
effect directions are then synthesized considering study
quality, design, and sample size to present a summary
effect direction at an outcome level. The synthesis by
effect direction addresses a question of whether there is
evidence of a positive or negative association. In
addition, a narrative synthesis summarizing the effect
direction was conducted in instances where outcomes
could not be grouped in the effect direction plot.
Outcomes were grouped into 6 subdomains: physical
activity, motor competence, weight status, sleep,
ultraviolet (UV) light exposure, and unintended
consequences were grouped by exposure, which were
determined after the screening phase to aid
interpretation of findings. The exposure categories were
(1) nature-based ECE, (2) ECE natural playgrounds, and
(3) natural elements within ECE (see Table 1). Subgroup
analyses were initially planned to investigate differential
associations; however, the eligible studies limited our
ability to conduct subgroup analyses (age, gender,
duration spent in ECE, etc) (Johnstone et al., 2022).

72
Avaliação da força de evidência do conjunto de estudos incluídos
na síntese

O objetivo da classificação da força das evidências é fornecer um

julgamento qualitativo sobre a confiança dos revisores
relativamente aos resultados dos estudos analisados, para cada
resultado individual (Atkins, Fink, & Slutsky, 2005).

No que se refere às evidências de dados quantitativos, a

abordagem GRADE (Grading of Recommendations, Assessment,
Development and Evaluations) permite, através de uma
abordagem sistemática, produzir recomendações práticas e
classificar a qualidade de evidências científicas (Guyatt et al.,
2008a). Nesta perspetiva, os autores podem classificar a qualidade
de evidência aplicada a cada resultado (por exemplo, variáveis
dependentes), porque a qualidade de evidência pode variar entre
os resultados (Balshem et al., 2011). O GRADE tem quatro níveis
de qualidade da evidência: muito baixo (o verdadeiro efeito é,
provavelmente, diferente do efeito estimado); baixo (o efeito real
pode ser diferente do efeito estimado); moderado (os autores
acreditam que o efeito está, provavelmente, próximo do efeito
estimado); e alto (os autores têm muita confiança de que o efeito
é semelhante ao efeito estimado). É preciso ter em atenção que o
GRADE não é implementado mecânica e objetivamente. Pelo
contrário, esta abordagem fornece uma estrutura reproduzível e
transparente que permite classificar os níveis de qualidade das
evidências (Mustafa et al., 2013). Isto significa que,
necessariamente, existe uma quantidade considerável de
subjetividade em cada decisão de classificação.
Consequentemente, dois investigadores que avaliem o mesmo
corpo de evidências podem, razoavelmente, produzir conclusões
diferentes sobre os seus níveis de qualidade. No sentido de obter
uma compreensão mais aprofundada da abordagem GRADE, é

73
sugerida a leitura dos trabalhos de Guyatt et al. (2008a), Guyatt et
al. (2008b), Guyatt et al. (2011a) e Guyatt et al. (2011b).

Exemplo:

The classification of the strength of evidence of the main

results of the studies was performed through the Grading
Strength of Evidence system (Berkman et al., 2013). This
system allowed to classify the results of the studies in five
domains (study limitations, directness, consistency,
precision, reporting bias). Subsequently, the strength of
the results was classified into one of four levels: high,
moderate, low, or insufficient (Berkman et al., 2013).
Two reviewers individually assessed the strength of
evidence from the study results and calculated the inter-
judge agreement index using the kappa coefficient
(Cohen, 1960). Subsequently both reviewers compared
their scores and in cases of divergence a third reviewer
was included in obtaining a final consensus (Ramalho et
al., 2018).

Relativamente às evidências qualitativas, sugere-se a utilização da

GRADE-CERQual (Confidence in the Evidence from Reviews of
Qualitative Research). Esta abordagem, com base nos princípios de
avaliação GRADE (Schünemann, Brożek, Guyatt, & Oxman, 2013) e
na avaliação do risco de enviesamento dos estudos (Higgins,
Altman, & Sterne, 2022), constitui-se, atualmente, como a
abordagem padrão para avaliar o grau de confiança das conclusões
das sínteses de evidências qualitativas (Lewin et al., 2015). A
abordagem CERQual avalia os seguintes parâmetros: (1) limitações
metodológicas dos estudos incluídos; (2) coerência dos resultados
analisados; (3) contributo dos dados para os resultados da revisão;
e (4) relevância dos estudos incluídos para a questão de
investigação da revisão. A partir dos parâmetros enunciados, é

74
possível estabelecer uma avaliação do grau de confiança para cada
resultado que a revisão venha a produzir. Nesse sentido, os
resultados da síntese de evidências podem ser classificados da
seguinte forma: grau de confiança alto; grau de confiança
moderado; grau de confiança baixo; grau de confiança muito
baixo. Posteriormente, os resultados das avaliações CERQual
podem ser apresentados numa tabela intitulada “Sumário de
resultados qualitativos”. Esta tabela descreve o grau de confiança
para cada resultado e fundamenta as avaliações realizadas, com
base na abordagem GRADE-CERQual (Noyes et al., 2018).

75
76
Considerações finais

77
O objetivo geral deste livro foi apresentar um conjunto de
orientações metodológicas a considerar em projetos de revisões
sistemáticas de estudos mistos. As orientações aqui apresentadas
não devem ser entendidas como um instrumento de avaliação de
qualidade de trabalhos de RSL. Pelo contrário, espera-se que este
documento possa proporcionar um correto enquadramento
pedagógico para os autores interessados em produzir projetos de
estudos mistos, com rigor e transparência. Contudo, tal como no
princípio de outras orientações metodológicas reconhecidas
internacionalmente (Liberati et al., 2009), temos poucas
evidências para afirmar, com algum grau de certeza, que esse
objetivo será cumprido. No sentido de sumariarmos as orientações
metodológicas aqui explicadas, apresentamos, abaixo, uma lista
de verificação de itens a considerar na conceção de RSL.

78
Lista de verificação de itens a considerar
na conceção de projetos de revisão
sistemática de estudos mistos

79
Secção/fase Item
 Avaliar a necessidade do desenvolvimento
realização de projetos de RSL
Procedimentos prévios à
de uma RSL
de estudos mistos
 Formulação de uma questão de pesquisa
 Selecionar o desenho de investigação
 Desenvolver um protocolo de revisão
sistemática
 Registar um protocolo de revisão sistemática
 Reflexividade e composição da equipa de
investigação

 Título do estudo de revisão

Desenvolvimento de projetos de RSL de estudos mistos

 Resumo
 Secção introdutória
 Secção metodológica
(1) Apresentação da congruência
metodológica do estudo de revisão
(2) Definição de critérios de elegibilidade
(3) Elaboração de uma estratégia de
pesquisa de literatura
(4) Processo de seleção de estudos
(5) Procedimentos de extração de dados
(6) Avaliação do risco de enviesamento
dos estudos incluídos na síntese
(7) Método de síntese de dados
(8) Avaliação da força de evidência do
conjunto de estudos incluídos na
síntese

80
Referências

81
Alexandrov, A. V. (2004). How to write a research paper.
Cerebrovascular diseases (Basel, Switzerland), 18(2), 135–138.
https://doi.org/10.1159/000079266

Atkins, D., Fink, K., Slutsky, J., Agency for Healthcare Research and
Quality, & North American Evidence-based Practice Centers
(2005). Better information for better health care: the Evidence-
based Practice Center program and the Agency for Healthcare
Research and Quality. Annals of internal medicine, 142(12 Pt 2),
1035–1041. https://doi.org/10.7326/0003-4819-142-12_part_2-
200506211-00002

Backman, C., Crick, M., Cho-Young, D., Scharf, M., & Shea, B.
(2018). What is the impact of sensory practices on the quality of
life of long-term care residents? A mixed-methods systematic
review protocol. Systematic Reviews, 7(1), 5– 10.
https://doi.org/10.1186/s13643-018-0783-9

Balshem, H., Helfand, M., Schünemann, H. J., Oxman, A. D., Kunz,

R., Brozek, J., Vist, G. E., Falck-Ytter, Y., Meerpohl, J., Norris, S., &
Guyatt, G. H. (2011). GRADE guidelines: 3. Rating the quality of
evidence. Journal of clinical epidemiology, 64(4), 401–406.
https://doi.org/10.1016/j.jclinepi.2010.07.015

Bastian, H., Glasziou, P., & Chalmers, I. (2010). Seventy-five trials

and eleven systematic reviews a day: how will we ever keep up?.
PLoS medicine, 7(9), e1000326.
https://doi.org/10.1371/journal.pmed.1000326

Beller, E. M., Glasziou, P. P., Altman, D. G., Hopewell, S., Bastian,

H., Chalmers, I., Gøtzsche, P. C., Lasserson, T., Tovey, D., & PRISMA
for Abstracts Group (2013). PRISMA for Abstracts: reporting
systematic reviews in journal and conference abstracts. PLoS

82
medicine, 10(4), e1001419.
https://doi.org/10.1371/journal.pmed.1001419

Beller, E. M., Glasziou, P. P., Hopewell, S., & Altman, D. G. (2011).

Reporting of effect direction and size in abstracts of systematic
reviews. JAMA, 306(18), 1981–1982.
https://doi.org/10.1001/jama.2011.1620

Bento, T. (2014). Revisões sistemáticas em desporto e saúde:

Orientações para o planeamento, elaboração, redação e avaliação.
Motricidade, 10, 107-123. doi:10.6063/moticidade.10(2).3699

Booth, A., Clarke, M., Ghersi, D., Moher, D., Petticrew, M., &
Stewart, L. (2011a). An international registry of systematic-review
protocols. Lancet (London, England), 377(9760), 108–109.
https://doi.org/10.1016/S0140-6736(10)60903-8

Booth, A., Clarke, M., Ghersi, D., Moher, D., Petticrew, M., &
Stewart, L. (2011). Establishing a minimum dataset for prospective
registration of systematic reviews: an international consultation.
PloS one, 6(11), e27319.
https://doi.org/10.1371/journal.pone.0027319

Booth, A., Noyes, J., Flemming, K., Moore, G., Tunçalp, Ö., &
Shakibazadeh, E. (2019). Formulating questions to explore
complex interventions within qualitative evidence synthesis. BMJ
global health, 4(Suppl 1), e001107.
https://doi.org/10.1136/bmjgh-2018-001107

Booth, A., Papaioannou, D., & Sutton, A. (2012). Systematic

approaches to a successful literature review. Sage.

Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R.

(2009). Introduction to meta-analysis.
Wiley. https://doi.org/10.1002/9780470743386

83
Bryman, A. (2007). Barriers to integrating quantitative and
qualitative research. Journal of Mixed Methods Research, 1, 8–22.
doi:10.1177/2345678906290531

Buckley, G. L., Hall, L. E., Lassemillante, A. M., Ackerman, K. E., &

Belski, R. (2019). Retired Athletes and the Intersection of Food and
Body: A Systematic Literature Review Exploring Compensatory
Behaviours and Body Change. Nutrients, 11(6), 1395.
https://doi.org/10.3390/nu11061395

Buscemi, N., Hartling, L., Vandermeer, B., Tjosvold, L., & Klassen, T.
P. (2006). Single data extraction generated more errors than
double data extraction in systematic reviews. Journal of clinical
epidemiology, 59(7), 697–703.
https://doi.org/10.1016/j.jclinepi.2005.11.010

Carroll, C., & Booth, A. (2015). Quality assessment of qualitative

evidence for systematic review and synthesis: Is it meaningful, and
if so, how should it be performed?. Research synthesis methods,
6(2), 149–154. https://doi.org/10.1002/jrsm.1128

Carroll, C., Booth, A., & Lloyd-Jones, M. (2012). Should we exclude

inadequately reported studies from qualitative systematic
reviews? An evaluation of sensitivity analyses in two case study
reviews. Qualitative health research, 22(10), 1425–1434.
https://doi.org/10.1177/1049732312452937

Chandler, J., & Hopewell, S. (2013). Cochrane methods--twenty

years experience in developing systematic review methods.
Systematic reviews, 2, 76. https://doi.org/10.1186/2046-4053-2-
76

Cooke, A., Smith, D., & Booth, A. (2012). Beyond PICO: the SPIDER
tool for qualitative evidence synthesis. Qualitative health

84
research, 22(10), 1435–1443.
https://doi.org/10.1177/1049732312452938

Critical Appraisal Skills Programme. (2017). 10 Questions to help

you make sense of qualitative research. Retrieved from
http://docs.wixstatic.com/ugd/dded87_25658615020e427da194
a325e7773d42.pdf

Cummings, S., Browner, W., & Hulley, S. (2007). Conceiving the

research question and developing the study plan. In S. Hulley, S.
Cummings, & W. Browner (Eds.), Designing Clinical Research: An
Epidemiological Approach (4ª Ed) (pp. 14-22). Lippincott Williams
& Wilkins.

Cunningham, S. J. (2004). How to... write a paper. Journal of

Orthodontics, 31(1), 47-51.

de Savigny, D., Borghi, J., & Windish, R. (2009). Systems thinking:

applying a systems perspective to design and evaluate health
systems interventions. In D. de Savigny, & A. Taghreed (Eds.),
Systems Thinking for Health Systems Strengthening (pp. 49-71).
World Health Organisation.

Dixon-Woods M. (2011). Using framework-based synthesis for

conducting reviews of qualitative studies. BMC medicine, 9, 39.
https://doi.org/10.1186/1741-7015-9-39

Dixon-Woods, M., Agarwal, S., Jones, D., Young, B., & Sutton, A.
(2005). Synthesising qualitative and quantitative evidence: a
review of possible methods. Journal of health services research &
policy, 10(1), 45–53.
https://doi.org/10.1177/135581960501000110

Dixon-Woods, M., Cavers, D., Agarwal, S., Annandale, E., Arthur, A.,
Harvey, J., Hsu, R., Katbamna, S., Olsen, R., Smith, L., Riley, R., &

85
Sutton, A. J. (2006). Conducting a critical interpretive synthesis of
the literature on access to healthcare by vulnerable groups. BMC
medical research methodology, 6, 35.
https://doi.org/10.1186/1471-2288-6-35

Downs, S. H., & Black, N. (1998). The feasibility of creating a

checklist for the assessment of the methodological quality both of
randomised and non-randomised studies of health care
interventions. Journal of epidemiology and community health,
52(6), 377–384. https://doi.org/10.1136/jech.52.6.377

Edwards, P., Clarke, M., DiGuiseppi, C., Pratap, S., Roberts, I., &
Wentz, R. (2002). Identification of randomized controlled trials in
systematic reviews: accuracy and reliability of screening records.
Statistics in medicine, 21(11), 1635–1640.
https://doi.org/10.1002/sim.1190

Estabrooks, C. A., Field, P. A., & Morse, J. M. (1994). Aggregating

qualitative findings: An approach to theory development.
Qualitative Health Research, 4, 503–511.
doi:10.1177/104973239400400410

Fetters, M. D., & Freshwater, D. (2015). The 1 + 1 = 3 Integration

Challenge. Journal of Mixed Methods Research, 9(2), 115–117.
https://doi.org/10.1177/1558689815581222

Froom, P., & Froom, J. (1993). Deficiencies in structured medical

abstracts. Journal of clinical epidemiology, 46(7), 591–594.
https://doi.org/10.1016/0895-4356(93)90029-z

Gardner, B., Whittington, C., McAteer, J., Eccles, M. P., & Michie,
S. (2010). Using theory to synthesise evidence from behaviour
change interventions: the example of audit and feedback. Social
science & medicine (1982), 70(10), 1618–1625.
https://doi.org/10.1016/j.socscimed.2010.01.039

86
Gayman, A., Fraser-Thomas, J., Dionigi, R., Horton, S., & Baker, J.
(2017). Is sport good for older adults? A systematic review of
psychosocial outcomes of older adults’ sport participation.
International Review of Sport and Exercise Psychology, 10, 164-
185. doi: 10.1080/1750984X.2016.1199046

Glasziou, P., Djulbegovic, B., & Burls, A. (2006). Are systematic

reviews more cost-effective than randomised trials?. Lancet
(London, England), 367(9528), 2057–2058.
https://doi.org/10.1016/S0140-6736(06)68919-8

Gøtzsche, P.C., & Ioannidis, J.P.A. (2012). Content area experts as

authors: helpful or harmful for systematic reviews and meta-
analyses? BMJ 2012;345:e7031.

Grange, R. I., Vale, J., Williams, G., & Whitfield, H. N. (2004).

Medical writing. BJU international, 94(2), 225–231.
https://doi.org/10.1111/j.1464-410X.2004.04953.x

Greenhalgh, T., Robert, G., Macfarlane, F., Bate, P., Kyriakidou, O.,
& Peacock, R. (2005). Storylines of research in diffusion of
innovation: a meta-narrative approach to systematic review. Social
science & medicine (1982), 61(2), 417–430.
https://doi.org/10.1016/j.socscimed.2004.12.001

Guyatt, G. H., Oxman, A. D., Kunz, R., Atkins, D., Brozek, J., Vist, G.,
Alderson, P.,

Glasziou, P., Falck-Ytter, Y., & Schünemann, H. J. (2011b). GRADE

guidelines: 2. Framing the question and deciding on important
outcomes. Journal of clinical epidemiology, 64(4), 395–400.
https://doi.org/10.1016/j.jclinepi.2010.09.012

87
Guyatt, G. H., Oxman, A. D., Kunz, R., Vist, G. E., Falck-Ytter, Y.,
Schünemann, H. J., & GRADE Working Group (2008a). What is
"quality of evidence" and why is it important to clinicians?. BMJ
(Clinical research ed.), 336(7651), 995–998.
https://doi.org/10.1136/bmj.39490.551019.BE

Guyatt, G. H., Oxman, A. D., Vist, G. E., Kunz, R., Falck-Ytter, Y.,
Alonso-Coello, P., Schünemann, H. J., & GRADE Working Group
(2008b). GRADE: an emerging consensus on rating quality of
evidence and strength of recommendations. BMJ (Clinical research
ed.), 336(7650), 924–926.
https://doi.org/10.1136/bmj.39489.470347.AD

Guyatt, G., Oxman, A. D., Akl, E. A., Kunz, R., Vist, G., Brozek, J.,
Norris, S., Falck-Ytter, Y., Glasziou, P., DeBeer, H., Jaeschke, R.,
Rind, D., Meerpohl, J., Dahm, P., & Schünemann, H. J. (2011a).
GRADE guidelines: 1. Introduction-GRADE evidence profiles and
summary of findings tables. Journal of clinical epidemiology, 64(4),
383–394. https://doi.org/10.1016/j.jclinepi.2010.04.026

Hartley, J. (2000). Clarifying the abstracts of systematic literature

reviews. Bulletin of the Medical Library Association, 88(4), 332–
337.

Haynes, R. B., Mulrow, C. D., Huth, E. J., Altman, D. G., & Gardner,
M. J. (1990). More informative abstracts revisited. Annals of
internal medicine, 113(1), 69–76. https://doi.org/10.7326/0003-
4819-113-1-69

Heyvaert, M., Hannes, K., & Onghena, P. (2017). Using mixed

methods research synthesis for literature reviews. SAGE.

88
Heyvaert, M., Maes, B., & Onghena, P. (2013). Mixed methods
research synthesis: definition, framework, and potential. Quality &
Quantity, 47, 659-676. https://doi.org/10.1007/s11135-011-9538-
6

Higgins, J. P., & Green, S. (2008). Cochrane handbook for

systematic reviews of interventions. Wiley Online Library.

Higgins, J. P., Altman, D. G., Gøtzsche, P. C., Jüni, P., Moher, D.,
Oxman, A. D., Savovic, J., Schulz, K. F., Weeks, L., Sterne, J. A.,
Cochrane Bias Methods Group, & Cochrane Statistical Methods
Group (2011). The Cochrane Collaboration's tool for assessing risk
of bias in randomised trials. BMJ (Clinical research ed.), 343, d5928.
https://doi.org/10.1136/bmj.d5928

Higgins, J.P., Altman, D.G., & Sterne, J.A. (2022). Assessing risk of
bias in included studies. In J. Higgins, J. Thomas, J. Chandler, M.
Cumpston, T. Li, M. Page, & V. Welch (Eds.), Cochrane Handbook
for Systematic Reviews of Interventions version 6.3 (updated
February 2022). Cochrane. Available
from www.training.cochrane.org/handbook.

Hong, Q. N., & Pluye, P. (2019). A Conceptual Framework for

Critical Appraisal in Systematic Mixed Studies Reviews. Journal of
Mixed Methods Research, 13(4), 446–460.
https://doi.org/10.1177/1558689818770058

Hong, Q. N., Pluye, P., Bujold, M., & Wassef, M. (2017). Convergent
and sequential synthesis designs: implications for conducting and
reporting systematic reviews of qualitative and quantitative
evidence. Systematic reviews, 6(1), 61.
https://doi.org/10.1186/s13643-017-0454-2

Hong, Q. N., Pluye, P., Fabregues, S., Bartlett, G., Boardman, F.,
Cargo, M., Dagenais, P., Gagnon, M.-P., Griffiths, F., Nicolau, B.,

89
O’Cathain, A., Rousseau, M.-C., & Vedel, I. (2018). Mixed methods
appraisal tool (MMAT), version 2018.
http://mixedmethodsappraisaltoolpublic.pbworks.com/w/file/fet
ch/127916259/MMAT_2018_criteria-manual_2018-08-
01_ENG.pdf

Johnstone, A., McCrorie, P., Cordovil, R., Fjørtoft, I., Iivonen, S.,
Jidovtseff, B., Lopes, F., Reilly, J. J., Thomson, H., Wells, V., &
Martin, A. (2022). Nature-Based Early Childhood Education and
Children's Physical Activity, Sedentary Behavior, Motor
Competence, and Other Physical Health Outcomes: A Mixed-
Methods Systematic Review. Journal of physical activity &
health, 19(6), 456–472. https://doi.org/10.1123/jpah.2021-0760

Kneale, D., Thomas, J., & Harris, K. (2015). Developing and

Optimising the Use of Logic Models in Systematic Reviews:
Exploring Practice and Good Practice in the Use of Programme
Theory in Reviews. PloS one, 10(11), e0142187.
https://doi.org/10.1371/journal.pone.0142187

Larsson, R. (1993). Case survey methodology: quantitative analysis

of patterns across case studies. Academy of Management Journal,
36(6): 1515–46.

Lasserson, T.J., Thomas, J., & Higgins, J.P.T. (2022). Chapter 1:

Starting a review. In J. Higgins, J

Thomas, J. Chandler, M. Cumpston, T. Li, M. Page, & V. Welch

(Eds.), Cochrane Handbook for Systematic Reviews of
Interventions version 6.3 (updated February 2022). Cochrane.
Available from www.training.cochrane.org/handbook.

Lewin, S., & Glenton, C. (2018). Are we entering a new era for
qualitative research? Using qualitative evidence to support
guidance and guideline development by the World Health

90
Organization. International journal for equity in health, 17(1), 126.
https://doi.org/10.1186/s12939-018-0841-x

Lewin, S., Glenton, C., & Oxman, A. D. (2009). Use of qualitative

methods alongside randomised controlled trials of complex
healthcare interventions: methodological study. BMJ (Clinical
research ed.), 339, b3496. https://doi.org/10.1136/bmj.b3496

Lewin, S., Glenton, C., Munthe-Kaas, H., Carlsen, B., Colvin, C. J.,
Gülmezoglu, M., Noyes, J., Booth, A., Garside, R., & Rashidian, A.
(2015). Using qualitative evidence in decision making for health
and social interventions: an approach to assess confidence in
findings from qualitative evidence syntheses (GRADE-CERQual).
PLoS medicine, 12(10), e1001895.
https://doi.org/10.1371/journal.pmed.1001895

Li, T., Higgins, J.P.T., & Deeks, J.J. (2022). Chapter 5: Collecting data.
In J. Higgins, J. Thomas, J. Chandler, M. Cumpston, T. Li, M. Page,
& V. Welch (Eds.), Cochrane Handbook for Systematic Reviews of
Interventions version 6.3 (updated February 2022). Cochrane.
Available from www.training.cochrane.org/handbook.

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C.,
Ioannidis, J. P., Clarke, M., Devereaux, P. J., Kleijnen, J., & Moher,
D. (2009). The PRISMA statement for reporting systematic reviews
and meta-analyses of studies that evaluate health care
interventions: explanation and elaboration. PLoS medicine, 6(7),
e1000100. https://doi.org/10.1371/journal.pmed.1000100

Louis, T.A., & Zelterman, D. (1994). Bayesian approaches to

research synthesis. In H. Cooper, L.V. Hedges (Eds.), The Handbook
of Research Synthesis (pp. 411-422). Russell Sage.

91
Ma, B., Guo, J., Qi, G., Li, H., Peng, J., Zhang, Y., Ding, Y., & Yang, K.
(2011). Epidemiology, quality and reporting characteristics of
systematic reviews of traditional Chinese medicine interventions
published in Chinese journals. PloS one, 6(5), e20185.
https://doi.org/10.1371/journal.pone.0020185

Malik, M. A. (2014). How to write an introduction and methods of

a systematic review of literature. JPMA. The Journal of the Pakistan
Medical Association, 64(10), 1208–1210.

Moffatt, S., White, M., Mackintosh, J., & Howel, D. (2006). Using
quantitative and qualitative data in health services research - what
happens when mixed method findings conflict?
[ISRCTN61522618]. BMC health services research, 6, 28.
https://doi.org/10.1186/1472-6963-6-28

Moher, D., Booth, A., & Stewart, L. (2014). How to reduce

unnecessary duplication: use PROSPERO. BJOG : an international
journal of obstetrics and gynaecology, 121(7), 784–786.
https://doi.org/10.1111/1471-0528.12657

Moher, D., Hopewell, S., Schulz, K. F., Montori, V., Gøtzsche, P. C.,
Devereaux, P. J., Elbourne, D., Egger, M., Altman, D. G., &
Consolidated Standards of Reporting Trials Group (2010).
CONSORT 2010 Explanation and Elaboration: Updated guidelines
for reporting parallel group randomised trials. Journal of clinical
epidemiology, 63(8), e1–e37.
https://doi.org/10.1016/j.jclinepi.2010.03.004

Moher, D., Shamseer, L., Clarke, M., Ghersi, D., Liberati, A.,
Petticrew, M., Shekelle, P., Stewart, L. A., & PRISMA-P Group
(2015). Preferred reporting items for systematic review and meta-
analysis protocols (PRISMA-P) 2015 statement. Systematic
reviews, 4(1), 1. https://doi.org/10.1186/2046-4053-4-1

92
Mulrow C. D. (1994). Rationale for systematic reviews. BMJ
(Clinical research ed.), 309(6954), 597–599.
https://doi.org/10.1136/bmj.309.6954.597

Munder, T., Brütsch, O., Leonhart, R., Gerger, H., & Barth, J. (2013).
Researcher allegiance in psychotherapy outcome research: an
overview of reviews. Clinical psychology review, 33(4), 501–511.
https://doi.org/10.1016/j.cpr.2013.02.002

Mustafa, R. A., Santesso, N., Brozek, J., Akl, E. A., Walter, S. D.,
Norman, G., Kulasegaram, M., Christensen, R., Guyatt, G. H., Falck-
Ytter, Y., Chang, S., Murad, M. H., Vist, G. E., Lasserson, T.,
Gartlehner, G., Shukla, V., Sun, X., Whittington, C., Post, P. N., Lang,
E., … Schünemann, H. J. (2013). The GRADE approach is
reproducible in assessing the quality of evidence of quantitative
evidence syntheses. Journal of clinical epidemiology, 66(7), 736–
742.e7425. https://doi.org/10.1016/j.jclinepi.2013.02.004

Noyes, J., Booth, A., Lewin, S., Carlsen, B., Glenton, C., Colvin, C. J.,
Garside, R., Bohren, M. A., Rashidian, A., Wainwright, M., Tunςalp,
Ö., Chandler, J., Flottorp, S., Pantoja, T., Tucker, J. D., & Munthe-
Kaas, H. (2018). Applying GRADE-CERQual to qualitative evidence
synthesis findings-paper 6: how to assess relevance of the data.
Implementation science : IS, 13(Suppl 1), 4.
https://doi.org/10.1186/s13012-017-0693-6

Noyes, J., Booth, A., Moore, G., Flemming, K., Tunçalp, Ö., &
Shakibazadeh, E. (2019). Synthesising quantitative and qualitative
evidence to inform guidelines on complex interventions: clarifying
the purposes, designs and outlining some methods. BMJ global
health, 4(Suppl 1), e000893. https://doi.org/10.1136/bmjgh-
2018-000893

93
Olofsson, H., Brolund, A., Hellberg, C., Silverstein, R., Stenström, K.,
Österberg, M., & Dagerhamn, J. (2017). Can abstract screening
workload be reduced using text mining? User experiences of the
tool Rayyan. Research synthesis methods, 8(3), 275–280.
https://doi.org/10.1002/jrsm.1237

Onwuegbuzie, A. J., & Johnson, R. B. (2006). The validity issue in

mixed research. Research in the Schools, 13(1), 48–63.

Owen, N., Sugiyama, T., Eakin, E., Gardiner, P., Tremblay, M., &
Sallis, J. (2011). Adults‘ sedentary behavior determinants and
interventions. American Journal of Preventive Medicine, 41, 189–
196. doi: 10.1016/j.amepre.2011.05.013

Oxman, A. D., & Guyatt, G. H. (1993). The science of reviewing

research. Annals of the New York Academy of Sciences, 703, 125–
134. https://doi.org/10.1111/j.1749-6632.1993.tb26342.x

Page, M. J., Moher, D., Bossuyt, P. M., Boutron, I., Hoffmann, T. C.,
Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S.
E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu,
M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S.,
McGuinness, L. A., … McKenzie, J. E. (2021). PRISMA 2020
explanation and elaboration: updated guidance and exemplars for
reporting systematic reviews. BMJ (Clinical research ed.), 372,
n160. https://doi.org/10.1136/bmj.n160

Petticrew, M., & Roberts, H. (2006). Systematic Reviews in the

Social Sciences: A Practical Guide. Blackwell Publishing.

Petticrew, M., Knai, C., Thomas, J., Rehfuess, E. A., Noyes, J.,
Gerhardus, A., Grimshaw, J. M., Rutter, H., & McGill, E. (2019).
Implications of a complexity perspective for systematic reviews
and guideline development in health decision making. BMJ global

94
health, 4(Suppl 1), e000899. https://doi.org/10.1136/bmjgh-
2018-000899

Pluye, P., El Sherif, R., Granikov, V., Hong, Q. N., Vedel, I., Galvao,
M., Frati, F., Desroches, S., Repchinsky, C., Rihoux, B., Légaré, F.,
Burnand, B., Bujold, M., & Grad, R. (2019). Health outcomes of
online consumer health information: A systematic mixed studies
review with framework synthesis. Journal of the Association for
Information Science and Technology, 70(7), 643–659.
https://doi.org/10.1002/asi.24178

Pluye, P., Gagnon, M. P., Griffiths, F., & Johnson-Lafleur, J. (2009).

A scoring system for appraising mixed methods research, and
concomitantly appraising qualitative, quantitative and mixed
methods primary studies in Mixed Studies Reviews. International
journal of nursing studies, 46(4), 529–546.
https://doi.org/10.1016/j.ijnurstu.2009.01.009

Pluye, P., Hong, Q. N., Bush, P. L., & Vedel, I. (2016). Opening-up
the definition of systematic literature review: the plurality of
worldviews, methodologies and methods for reviews and
syntheses. Journal of clinical epidemiology, 73, 2–5.
https://doi.org/10.1016/j.jclinepi.2015.08.033

Pope, C., Mays, N., & Popay, J. (2007). Synthesizing qualitative and
quantitative health evidence: a guide to methods. McGraw-Hill.

Ragin, C.C. (1987). The Comparative Method: Moving beyond

Qualitative and Quantitative Strategies. University of California
Press.

Ramalho, A., Petrica, J., & Rosado, A. (2018). Sedentary behaviors

and psychological outcomes among older adults: a systematic
review. Motricidade, 14, 73-85. doi: 10.6063/motricidade.12223

95
Ramalho, A., Rosado, A., & Petrica, J. (2022). Comportamento
sedentário e envelhecimento: síntese de evidências científicas.
Castelo Branco: IPCB. ISBN 978-989-53300-3-4.

Ramalho, A., Rosado, A., Serrano, J., Paulo, R., Duarte-Mendes, P.,
& Petrica, J. (2021b). Estratégias de intervenção para a redução do
comportamento sedentário diário nos idosos: Uma revisão rápida
de literatura. In J. Pinheiro (coord.), Olhares sobre o
envelhecimento. Estudos interdisciplinares, vol. I, pp. 37-50. doi:
10.34640/universidademadeira2021ramalhorosadoserrano. ISBN:
978-989-8805-63-8

Ramalho, A., Serrano, J., Paulo, R., Duarte-Mendes, P., Rosado, A.,
& Petrica, J. (2021a). Emerging Qualitative Research Trends (2010–
2021) on Sedentary Behaviour among Older Adults: A Systematic
Literature Review Protocol. International Journal of Environmental
Research and Public Health, 18, 11548.
https://doi.org/10.3390/ijerph182111548

Roberts, K. A., Dixon-Woods, M., Fitzpatrick, R., Abrams, K. R., &

Jones, D. R. (2002). Factors affecting uptake of childhood
immunisation: a Bayesian synthesis of qualitative and quantitative
evidence. Lancet (London, England), 360(9345), 1596–1599.
https://doi.org/10.1016/S0140-6736(02)11560-1

Rose, L., Dale, C., Smith, O. M., Burry, L., Enright, G., Fergusson, D.,
Sinha, S.,

Wiesenfeld, L., Sinuff, T., & Mehta, S. (2016). A mixed-methods

systematic review protocol to examine the use of physical restraint
with critically ill adults and strategies for minimizing their use.
Systematic Reviews, 5(1), 1– 8. https://doi.org/10.1186/s13643-
016-0372-8

96
Sackett, D.L., Straus, S.E., Richardson, W.S., Rosenberg, W., &
Haynes, R.B. (2000). Evidence-Based Medicine: How to Practice
and Teach EBM. Churchill Livingstone.

Sandelowski, M., Docherty, S. & Emden, C. (1997). Qualitative

metasynthesis: issues and techniques. Research in Nursing and
Health, 20: 365–71.

Sandelowski, M., Voils, C. I., & Barroso, J. (2006). Defining and

Designing Mixed Research Synthesis Studies. Research in the
schools: a nationally refereed journal sponsored by the Mid-South
Educational Research Association and the University of Alabama,
13(1), 29.

Schünemann, H.; Brożek, J.; Guyatt, G.; Oxman, A. (2013).

Handbook for grading the quality of evidence and the strength of
recommendations using the GRADE approach. GRADE Working
Group, 2013. Available from
gdt.guidelinedevelopment.org/app/handbook/handbook.html.

Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran,
J., Moher, D., Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A.
(2017). AMSTAR 2: a critical appraisal tool for systematic reviews
that include randomised or non-randomised studies of healthcare
interventions, or both. BMJ (Clinical research ed.), 358, j4008.
https://doi.org/10.1136/bmj.j4008

Stemler, S. (2000). An overview of content analysis. Practical

Assessment, Research, and Evaluation, 7. doi:
https://doi.org/10.7275/z6fm-2e34

Sterne, J. A., Hernán, M. A., Reeves, B. C., Savović, J., Berkman, N.

D., Viswanathan, M., Henry, D., Altman, D. G., Ansari, M. T.,
Boutron, I., Carpenter, J. R., Chan, A. W., Churchill, R., Deeks, J. J.,
Hróbjartsson, A., Kirkham, J., Jüni, P., Loke, Y. K., Pigott, T. D.,

97
Ramsay, C. R., … Higgins, J. P. (2016). ROBINS-I: a tool for assessing
risk of bias in non-randomised studies of interventions. BMJ
(Clinical research ed.), 355, i4919.
https://doi.org/10.1136/bmj.i4919

Thomas, J., & Harden, A. (2008). Methods for the thematic

synthesis of qualitative research in systematic reviews. BMC
medical research methodology, 8, 45.
https://doi.org/10.1186/1471-2288-8-45

Thomas, J., & Harden, A. (2010). Mixed methods and systematic

reviews: examples and emerging issues. In A. Tashakkori, & C.
Teddlie (Eds.), SAGE handbook of mixed methods in social &
behavioral research (2ª Ed) (pp. 749-74). Sage Publications.

Thomas, J., Kneale, D., McKenzie, J.E., Brennan, S.E., & Bhaumik, S.
(2022). Chapter 2: Determining the scope of the review and the
questions it will address. In J. Higgins, J. Thomas, J. Chandler, M.
Cumpston, T. Li, M. Page, & V. Welch (Eds.), Cochrane Handbook
for Systematic Reviews of Interventions version 6.3 (updated
February 2022). Cochrane. Available
from www.training.cochrane.org/handbook.

Thorne, S., Jensen, L., Kearney, M. H., Noblit, G., & Sandelowski, M.
(2004). Qualitative metasynthesis: reflections on methodological
orientation and ideological agenda. Qualitative health
research, 14(10), 1342–1365.
https://doi.org/10.1177/1049732304269888

Tong, A., Flemming, K., McInnes, E., Oliver, S., & Craig, J. (2012).
Enhancing transparency in reporting the synthesis of qualitative
research: ENTREQ. BMC medical research methodology, 12, 181.
https://doi.org/10.1186/1471-2288-12-181

98
Tong, A., Sainsbury, P., & Craig, J. (2007). Consolidated criteria for
reporting qualitative research (COREQ): a 32-item checklist for
interviews and focus groups. International journal for quality in
health care: journal of the International Society for Quality in
Health Care, 19(6), 349–357.
https://doi.org/10.1093/intqhc/mzm042

Uttley, L., & Montgomery, P. (2017). The influence of the team in

conducting a systematic review. Systematic reviews, 6(1), 149.
https://doi.org/10.1186/s13643-017-0548-x

von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C.,
Vandenbroucke, J. P., & STROBE Initiative (2007). The
Strengthening the Reporting of Observational Studies in
Epidemiology (STROBE) statement: guidelines for reporting
observational studies. PLoS medicine, 4(10), e296.
https://doi.org/10.1371/journal.pmed.0040296

Wells, K., & Littell, J. H. (2009). Study quality assessment in

systematic reviews of research on intervention effects. Research
on Social Work Practice, 19(1), 52-62.

Whiting, P., Savović, J., Higgins, J. P., Caldwell, D. M., Reeves, B. C.,
Shea, B., Davies, P., Kleijnen, J., Churchill, R., & ROBIS group (2016).
ROBIS: A new tool to assess risk of bias in systematic reviews was
developed. Journal of clinical epidemiology, 69, 225–234.
https://doi.org/10.1016/j.jclinepi.2015.06.005

Wong, G. (2013). Is complexity just too complex? J Clin Epidemiol,

66, 1199- 201. doi:10.1016/j.jclinepi.2013.06.019

99
100
101