Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

Cours d’épidémio #7 Les méta-analyses

Objectifs du cours:
- Savoir effectuer une revue de littérature standardisée
- Savoir analyser une méta-analyse
- Connaître les stratégies visant à évaluer l’homogénéité des études dans une méta-analyse

Lectures:
- Moher et al. Improving the quality of reports of meta-analyses of randomised controlled
trials: the QUOROM statement. Quality of Reporting of Meta-analyses. Lancet. 1999
Nov 27;354(9193):1896-900. http://www.ncbi.nlm.nih.gov/pubmed/10584742
- Van Niel et al. Lactobacillus Therapy for Acute Infectious Diarrhea in Children: A Meta-
analysis, Pediatrics 2002: 109; 678-684.
http://pediatrics.aappublications.org/cgi/reprint/109/4/678

Site internet de référence

- Site Cochrane sur les méta-analyses : http://pma.cochrane.org/en/index.html
- Livre électronique sur les méta-analyse d l’uiversité de Lyon : http://www.spc.univ-
lyon1.fr/livreMA/frame.htm

Question #1
Dans une méta-analyse, comment savoir que tous les articles pertinents furent identifiés ?

Question #2
Quelle est la différence entre une revue de littérature, une revue systématique de littérature et une
méta-analyse ?

Question #3
Quelle est votre conclusion face à cette figure ?

Question #4
Doit-on avoir l’accord du comité d’éthique avant de faire une méta-analyse?

Question #5
Dans l’article de Van Niel, appliquer la grille d’analyse QUOROM

1
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

7 Les méta-analyses

Les médecins sont constamment confrontés à une quantité grandissante d’information médicale.
Malheureusement, il est souvent difficile de synthétiser cette quantité d’information parfois
contradictoire. Les méta-analyses ont, depuis quelques années, envahi la littérature médicale afin
de répondre à la quantité grandissante d’études. Elles consistent à combiner les résultats de
plusieurs études selon une méthodologie claire et précise afin de minimiser les biais de sélection
et d’interprétation. Ce type d’étude a été créé pour pallier à certains problèmes liés à la puissance
limitée (trop petit nombre de patients/étude) des études randomisées contrôlées.

L’objectif principal des méta-analyses est de répondre à une question à laquelle plusieurs études
n’ont pas réussi à répondre (trop petit nombre ou résultats contradictoires d’une étude à l’autre).

Le présent cours d’épidémiologie consiste à résumer les grands principes sous-jacents aux méta-
analyses. Une description plus complète des diverses étapes à suivre pour l’élaboration d’une
revue systématique ou une méta-analyse se trouve sur le site web du groupe Cochrane au
http://www.cochrane.org/resources/handbook/index.htm. La Collaboration Cochrane est une
organisation internationale à but non lucratif dédiée à procurer une information précise et de
qualité sur les effets des soins prodigués dans le monde. Ce groupe produit et dissémine les
revues systématiques (méta-analyses) sur des interventions de santé et encourage la recherche
d’évidence de qualité sous la forme d’études d’interventions randomisées.

Règle d’or de la méta-analyse: la méta-analyse ne peut être meilleure que la meilleure des
études utilisées pour la faire. Garbage in = garbage out.

7.1 Comment faire une méta-analyse

7.1.1 Choisir une question

La première étape de l’élaboration d’une méta-analyse est de déterminer une question de
recherche qui n’a pas déjà été résolue. Si l’évidence est forte qu’un traitement est supérieur à un
autre et qu’il n’y a pas de controverse, il est peu utile de faire une méta-analyse, de même que si
plusieurs méta-analyses ont été faites sur le même sujet et la même question. De plus, s’il n’y a
que 1 ou 2 essais cliniques randomisés sur le sujet on ne pourra pas faire de méta-analyse…. On
peut se référer aux outils de recherche suivant pour réviser la littérature et savoir si une question à
déjà été étudiée: Pudmed, Embase (base de données européenne) et la librairie Cochrane,
(http://www.cochrane.org). Ces bases de données seront décrites plus loin.

En plus de sa pertinence, il est important d’avoir une question de recherche claire qui contient 4
éléments essentiels que nous avons déjà décrit dans d’autres cours. On se rappelle de ces 4
éléments par l’acronyme PICO.
P Participants. À qui s’adresse cette étude. Il est important d’avoir des critères clairs
définissant la maladie ET les patients inclus dans l’étude. Comme pour les essais cliniques
randomisés, une restriction augmentera la validité interne de la méta-analyse mais limitera
la généralisibilité.

2
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

I Intervention. Quel est le traitement évalué? À quelle dose? La plupart des interventions
varient d’une étude à l’autre surtout si l’intervention est un médicament (variation de la
posologie, technique d’administration différente, traitement donné par des infirmières, des
médecins, des sur-spécialistes, etc). Cela peut être intéressant de voir l’efficacité d’un
traitement même si l’intervention n’est pas identique entre les différentes études sur ce
sujet. Il faut, par contre, faire attention de ne pas inclure d’études où la dose serait trop
forte ou trop petite pour ne pas induire un biais dans la méta-analyse.
C Contrôle. Quel est le traitement standard utilisé ?
O Outcome. Quelle est la variable d’intérêt primaire? Il faut être très précis sur la
comparaison que l’on utilisera. La définition de la variable dépendante est-elle identique
ou au moins similaire d’un article à l’autre. Par exemple, il peut être difficile d’avoir une
définition claire et reproductible d’adénite cervicale pour que l’on puisse comparer les
résultats de plusieurs études. Un autre exemple nous vient de la littérature sur la gastro-
entérite; pendant que certaines études évaluent la durée des symptômes (en heure),
d’autres évaluent la quantité de selles au jour 2 tandis que d’autre évaluent la présence de
diarrhée (oui/non) selon les parents au jour 3. Il est donc difficile d’amalgamer toutes ces
études en un seul outcome primaire.

Enfin il est important de déterminer quel type d’étude sera évalué dans la méta-analyse. La
majorité du temps, on évalue des essais cliniques randomisés

7.1.2 Sélectionner les études

Cette étape comporte deux volets. Le premier consiste à l’identification de tous les essais
cliniques randomisés touchant au sujet. Cette étape est critique et l’utilisation d’une approche
systématique permet de différencier les revues de littérature traditionnelles d’une méta-analyse.
Des études ont déjà rapporté que l’utilisation de Medline uniquement avait une sensibilité variant
de 30 à 80 % pour identifier tous les RCTs publiés touchant un sujet. Il faut donc utiliser d’autres
méthodes afin d’identifier tous les RCTs pertinents. Voici d’autres méthodes utiles afin
d’identifier les études pertinentes :
- Recherche de la base de donnée électronique EMBASE. Il s’agit d’un équivalent
Européen de Pubmed regroupant des revues différentes de Pubmed.
- Recherche de la base de donnée du groupe Cochrane (CENTRAL). Cette base de
donnée consiste en un regroupement de plus de 350 000 RCT répertoriés par les membres
du groupe Cochrane. Il s’agit de la plus large banque de données concernant les RCTs.
- Recherche manuelle en scrutant les références des articles choisis pour l’étude.
- Recherche manuelle en évaluant les résumés de congrès scientifique.
- Recherche des études non publiées en communicant avec les auteurs.

Le deuxième volet consiste à décrire les critères d’inclusion et d’exclusion utilisés pour définir
les études pertinentes. Cette étape consiste à évaluer toutes les études identifiées afin de ne retenir
que celles qui répondent à certains critères de pertinence. Ainsi, c’est à cette étape que l’on
rejettera les études dont le outcome primaire est différent et non interchangeable avec celui que
l’on a choisi pour la méta-analyse. Idéalement, ce processus doit être effectué par plus d’un
évaluateur qui révisent chaque abstracts choisis. Le protocole de la méta-analyse doit bien décrire
comment se fera l’évaluation des études. Il faut définir :
- Qui évaluera les abstracts (MD, étudiants, infirmière de recherche, archiviste, etc)

3
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

- Combien d’évaluateur par abstract (idéalement 2)

- Comment seront évalués les conflits
- Quelle est la population recherchée
- Quel est le outcome primaire
- Quelle est l’exposition

7.1.3 Évaluation de la qualité des études.

L’évaluation de la qualité des études est primordiale afin de limiter les biais relatifs aux méta-
analyses. Certaines méta-analyses rejetteront les études dont on soupçonne une moins bonne
validité tandis que d’autre se serviront des évaluations de la validité afin d’expliquer les résultats.
D’une façon ou d’une autre, cette évaluation est importante. Il existe plusieurs façons d’évaluer
la qualité des essais cliniques randomisés. En 1995, Moher et al ont répertorié plus de 25 échelles
et 9 « checklist » utilisées afin d’évaluer la validité des essais cliniques randomisés. Parce qu’il
n’existe pas de « gold standard » pour la validité d’une étude, il n’existe pas d’évaluation de ces
échelles. Il n’existe pas de méthode universellement reconnue pour évaluer la validité des études.
Les investigateurs peuvent donc utiliser la méthode de leur choix. Il est, par contre important de
spécifier dans la méthodologie de la méta-analyse :
- Qui a évalué la validité des études?
- Quelle est la corrélation inter-observateur pour l’évaluation des études?
- Combien de personnes ont évalué chaque étude et comment furent résolu les conflits?
- Est-ce fait à l’aveugle des auteurs et des résultats?
- Quel outil fut utilisé pour évaluer la validité?

7.1.4 La collecte des données.

La collecte des données se fait à l’aide d’un formulaire standardisé. Ce formulaire doit avoir été
testé sur quelques études avant d’être utilisé. On doit mesurer la corrélation inter-observateur
pour l’utilisation du formulaire a-priori. Les composantes essentielles au formulaire de collecte
sont :
- Un identifiant pour chaque études
- Les auteurs
- La référence pour chaque étude
- Une vérification de l’éligibilité
- Les caractéristiques des études (randomisation, blinding, validité, etc)
- Le nombre de participant
- L’intervention exacte
- Le groupe contrôle
- La variable d’intérêt primaire
- Les résultats

Idéalement, la collecte des données initiale devrait se faire à l’aveugle des résultats au moment
d’évaluer la validité d’une étude.

7.1.5 L’analyse
Après avoir fait la revue systématique ainsi que la collecte des données, il faut en faire l’analyse.
L’analyse consiste à regrouper les résultats des différentes études pour en obtenir un résultat
combiné. Les buts de faire une méta-analyse sont :

4
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

- D’augmenter la puissance de l’étude

- D’augmenter la précision
- Répondre à une question que les études individuelles ne réussissent pas à répondre

L’analyse des méta-analyses se fait habituellement en 2 étapes. La première consiste à rapporter

une valeur statistique (OR, RR ou autre) pour chaque étude incluse dans l’analyse. Par la suite, on
rapporte une valeur sommaire comprenant les résultats de toutes les études rassemblées (pooled
statistics). Le sommaire est formé par l’ensemble des résultats des études individuelles. Plusieurs
méthodes existent pour combiner les résultas de plusieurs études dans une méta-analyse. La
méthode la plus utilisée est celle de pondérer les résultats des différentes études sélectionnées en
se basant sur 2 hypothèses : l’effet fixe (fixed effect model) ou l’effet aléatoire (random effect
model).

Modèle fixe
Dans le modèle fixe, on présume que l’effet de l’intervention est identique entre les différentes
études et que ces études sont donc semblables et que les variations de l’effet d’une étude à l’autre
sont secondaires aux différences dues aux patients ou à l’intervention qui est un peu différente
entre les études. Plusieurs façons de combiner les résultats de l’effet de l’intervention ont été
décrites dont le Mantel-hanzel, DerSimonian-Laird, la méthode de Peto ou l’approche baysienne.
La méthode de Peto serait plus souvent utilisée. Un des inconvénients de la méthode fixe est
qu’on ne peut expliquer l’hétérogénéité entre les études car on assume que l’effet est considéré
fixe entre les études. Cependant, la plupart des méta-analyses incluent des études étant assez
homogènes tant qu’à la population, l’intervention et la variable dépendante donc le model fixe est
le modèle de choix.

Modèle aléatoire
L’autre modèle est le modèle aléatoire ou ( random effect model). Dans ce modèle, on assume
que l’effet réel (la variation des résultats) est variable d’une étude à l’autre. Cette variabilité serait
secondaire à la différence des patients ou de l’intervention étudiée, contrairement au modèle fixe.
Ces différences se distribuent normalement et représente l’hétérogénéité. L’analyse peut se faire
avec le Mantel-hanzel, DerSimonian-Laird mais ne peut se faire avec la méthode de Peto.

Il ne semble pas y avoir de méthode supérieure mais lorsque les résultats des études ou les
populations sont différentes ont préfère le modèle aléatoire et si les résultats des études ou les
populations sont semblables, la méthode fixe est adéquate.

Il existe maintenant des programmes informatiques permettant de calculer les résultats sommaires
pour les méta-analyses. Le programme REVMAN est distribué gratuitement par le groupe
Cochrane et permet de tels calculs. On peut y accéder via : http://www.cc-ims.net/RevMan

La représentation des résultats

Il existe au moins 3 tables/figure à présenter dans une méta-analyse.
La première figure consiste en un organigramme décrivant l’identification et la sélection des
articles pertinents. La figure suivante montre un exemple d’une telle figure :

5
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

http://www.nature.com/ijo/journal/v27/n5/images/0802258f1.gif

6
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

La première table consiste habituellement en une table décrivant sommairement toutes les études
incluses dans la méta-analyse. Cette description peut variée d’une meta-analyse à l’autre mais
ressemble à la table suivante :

7
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

La figure suivante (nommée forest plot) montre comment on représente les résultats individuels
et le sommaire. Chaque ligne représente une étude. Les extrémités indiquent l’intervalle de
confiance et le carré central est la statistique sommaire. Plus le carré est large plus l’étude est
importante (poids plus élevé) dans la méta-analyse finale. Le diamant représente le résultat final
sommaire. Le centre du diamant est le RR final est les extrémités nous donnent les limites de
l’intervalle de confiance à 95% pour les résultats.

Une information importante à retracer dans une méta-analyse est l’évaluation de l’hétérogénéité.
On défini l’hétérogénéité par la variabilité entre les résultats pour différentes études. Cette
variabilité provient de 2 sources : 1. La variabilité clinique ( différence entre les populations,
interventions et outcomes étudiés) et 2. La variabilité méthodologique ( différence dans le dessin
de l’étude tel l’aveuglement, la randomisation, etc). Il est important d’évaluer jusqu’à quel point
les résultats des études incluses sont divergents. On peut avoir une idée de cette hétérogénéité en
regardant si les intervalles de confiance se superposent. Il existe aussi des méthodes statistiques
permettant d’évaluer l’hétérogénéité mais leur calcul ne fait pas partie de ce cours. Il faut juste
savoir que qu’une valeur de p< 0.05 signifie qu’il y a de l’hétérogénéité.

Mesure de l’effet (effect size)

Dans les études individuelles, on rapporte souvent le risque relatif ou le rapport de cotes (OR) qui
donne une estimation du risque de la maladie ou la condition étudiée suite à une intervention ou
une exposition. Ces estimations ne nous donnent pas par contre la mesure de l’effet, l’ampleur de
l’effet de l’intervention (le nombre de cas de la maladie étudiée si on la traite ou pas). La méta-
analyse permet ce type de mesure. Elle permet de calculer le nombre de patients qu’il faudrait
traiter pour pouvoir éviter une maladie (Number needed to treat « NNT »). On calcule le NNT à
l’aide de la différence de la formule suivante :

NNT = 1 / (Risque de maladie chez le groupe contrôle – risque chez le groupe traitement)

8
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

Par exemple, on fait une étude sur l’effet d’un antibiotique sur le risque de complication d’otite.
Dans le groupe placebo, 15% des enfants ont une otite persistante à un mois tandis que dans le
groupe traitement, le taux de persistance est de 5%. Pour cet exemple :
NNT = (1 / (0.15-0.05) = 1 / 0.10 = 10
Il faut donc donner des antibiotiques à 10 enfants pour avoir un effet bénéfique.

Analyses de sensibilité
On retrouve fréquemment des analyses de sensibilité dans les méta-analyses. Elles consistent à
enlever les études soient très positives ou très négatives ou les études avec population différentes
et voir si le résultat de la méta-analyse est encore dans la même direction.

7.2 Comment évaluer la qualité d’une méta-analyse?

Il existe une liste de critères qui permettent de distinguer une bonne méta-analyse d’une
mauvaise. La grille évaluative QUORUM [2]

La grille évaluative Quorum consiste en une description de la méthodologie suggérée d’un

abrégé et d’un papier sur une méta-analyse. Elle consiste en 21 items et sous items concernant :
 la recherche et la sélection,
 l’évaluation de la validité des études sélectionnées,
 la synthèse des données,
 la description des caractéristiques des études sélectionnées,
 la synthèse des données quantitatives,
 la validité interne (qualité des études)
 la généralisabilité des résultats.

7.2.1 Quoi rechercher dans la section méthodologie?

1) Est-ce que la question adressée par la méta-analyse est claire et explicite?

2) Recherche des articles: Est-il probable que d’importants articles soient oubliés?
Description des sources ( banques de données, registres, filière personnelle,
informateurs experts, agences, et restriction ( années, statut de publication,
langues de publication (anglais uniquement ou autres), MEDLINE ( 1966-2002)
EMBASE (1988-2002) Cochrane Renal Group Specialized Register, text words used,
RCTs

3) Sélection des articles: critères d’inclusion et d’exclusion des articles

On doit retrouver les définitions des populations, interventions, résultat thérapeutique

principal et devis de l’étude.
Il faut que les populations se ressemblent, l’intervention soit comparable et que la
définition de la variable dépendante (la conséquence de l’intervention) ne diffère pas trop
d’une étude à l’autre.

9
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

On devrait retrouver la figure décrivant l’identification et la sélection

4) Est-ce que la validité des études sélectionnées a été estimée?

Les critères et le processus (conditions masquées, évaluation de la qualité et leurs

trouvailles)
Description des méthodes de randomisation et dissimulation (est-ce que la randomisation
permet de prévenir que l’investigateur influence l’allocation des patients?) aveuglement
des participants et investigateurs après la randomisation, analyse du projet thérapeutique
(intention-to-treat), taux de suivi. Lorsque des données étaient manquantes, les
investigateurs des études étaient contactés.

5) Est-ce que l’évaluation des études est reproductible?

Description du processus utilisé pour évaluer les études. Plusieurs méthodes d’évaluation
sont proposé dont celle de Moher [3] qui est le plus souvent utilisé ou le CONSORT
statement [4] ou la méthode plus ancienne de Chalmers qui est encore souvent utilisée[5].
Il faut savoir si l’évaluation de la qualité des articles s’est faite indépendamment ou si elle
a été dupliquée. On devrait aussi savoir comment la méthode de résolution en cas de
divergence entre les évaluateurs

6) Caractéristiques des études :

Est-ce que les résultats étaient semblables d’une étude à l’autre? Le type d’étude i.e. :
devis, caractéristiques des patients, détail de l’intervention, définition du résultat
thérapeutique (outcome) et est-ce que l’hétérogénéité des études a été évaluée?
Une méta-analyse implique que les résultats de plusieurs études ont été compilés et
implique que les études sont assez semblables entre elles(homogènes) . Il existe une
méthode de vérifier si tel est le cas : un test d’hétérogénéité. Le test d’hétérogénéité est
calculé à l’aide de Chi carré. On rapporte aussi les rapports de cote et l’intervalle de
confiance de 95% de chaque étude

7) Synthèse des données quantitatives

On devrait retrouver la mesure principale de l’effet (risque relatif) et la méthode de
combiner les résultats des diverses études, avec intervalle de confiance. On devrait aussi
définir la méthodologie de traitement des données manquantes, des statistiques du test
d’hétérogénéité. La rationnelle pour les analyses de sensitivité et les analyses de sous-
groupes et l’évaluation des biais de publication devraient être décrits.

7.2.2 Quoi rechercher dans la section résultats ?

1) Résumé des caractéristiques de chaque étude. Table 1 décrivant les études incluses.

2) Un résumé simple des résultats (pour chaque groupe de traitement, pour chaque résultat).
Il peut y avoir un calcul de l’ampleur de l’effet, des intervalles de confiances dans les
analyses du projet thérapeutique. C’est là que l’on utilise la « forest plot »

10
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

3) Quels sont les résultats et la précision des résultats? Détail sur le nombre absolu de cas,
les résultats de l’analyse intention to treat. Combien de patients devront être traité pour
éviter un cas de maladie ou complication, etc?

7.2.3 Quoi rechercher dans la section Discussion ?

On devrait retrouver dans la section discussion le résumé des faits importants, une discussion
sur la validité interne et externe. On retrouvera aussi une interprétation des résultats selon la
littérature actuelle décrivant les biais potentiels de la méthodologie et suggérant des voies de
recherche future.

7.3 Biais des études méta-analyses

Le biais de publication est un problème important pour les méta-analyses. Pour le solutionner,
plusieurs options ont été évoquées :

1. Inclure toutes les études. Ceci est difficile car on inclura des études de piètres qualités
et ça ne règlera pas le problème du biais de publication
2. Méthode de Rosenthal : Cette méthode consiste à déterminer mathématiquement
combien d’études négatives devraient être incluses pour renverser les études positives
3. Graphique en entonnoir : Cette méthode est la plus souvent utilisée pour évaluer la
présence d’un biais de publication (voir la figure suivante). Elle consiste à faire un
graphique où chaque point représente une étude. En abscisse(x) on désigne le OR ou
RR tandis qu’en ordonné(y) on place la précision de l’étude. Ce graphique devrait
avoir une forme de pyramide centrée sur la vraie valeur du OR (ou RR) parce que les
études les plus précises devraient tendrent vers la VRAIE valeur de OR tandis que les
études les plus loin de la vérité devraient être celles avec le moins de précision. En
absence de biais de publication, on devrait avoir une distribution symétrique des
points formant ainsi un entonnoir inversé (une pyramide). Certains logiciels ont été
créés pour faire ceci. De plus il existe une mesure (Begg’s test) permettant d’évaluer
le biais de sélection. Cette méthode évalue la relation entre la variabilité et la taille de
l’effet.

La figure suivante montre 3 graphiques en entonnoir des distributions théoriques des publications
sur un sujet donné. On peut voir que dans le graphique « a » la distribution est symétrique de part
et d’autre du RR tandis qu’il y a moins de publications situées à la droite de la ligne du RR dans
le graphique « c ». Ces articles non publiés dans le graphique « c » représentent un biais de
publication

11
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

Les forces de la méta-analyses :

Forces :
 utile pour résumer les résultats de plusieurs études
 augmente la puissance statistique globale
 coût moindre qu’un essai clinique randomisé de taille équivalente
Les faiblesses :
 biais de publication
 qualité des études utilisées ou le principe du
“ garbage in = garbage out”
 comparabilité des études
 sélection des études

Il est important de spécifier qu’une étude randomisée contrôlée (ERC) de bonne puissance devrait
être meilleure pour répondre à une question qu’une méta-analyse. LeLorier s’est intéressé au
sujet et a comparé 12 RCTs et 19 méta-analyses sur le même sujet. Il a trouvé un accord modéré
entre les 2 types d’études (score Kappa de 0.35), VPP: 68% VPN: 67%. Il existait une différence
de l’estimation de l’effet d’une étude à l’autre dans 80% du temps mais la direction de l’effet était
la même (ex. le médicament efficace vs non efficace). On notait par contre, une différence
significative entre les ERCs et les méta-analyses dans 12 % des cas. Il conclu en disant que si
aucune ERC n’avait été faite suivant le résultat d’une méta-analyse, on aurait adopté un
traitement inefficace dans 32% du temps ou rejeté un traitement efficace dans 33 % du temps.
Donc il existe un DANGER de conclure faussement si on se fit uniquement aux méta-analyses
[1]

En résumé, il existe une méthodologie propre aux méta-analyses qui doit être respectée pour en
assurer sa qualité et sa validité.

12
Cours d’épidémiologie # 7 Les méta-analyses version fev 2010

1. LeLorier, J., et al., Discrepancies between meta-analyses and subsequent large

randomized, controlled trials. N Engl J Med, 1997. 337(8): p. 536-42.
2. Moher, D., et al., Improving the quality of reports of meta-analyses of randomised
controlled trials: the QUOROM statement. Quality of Reporting of Meta-analyses.
Lancet, 1999. 354(9193): p. 1896-900.
3. Moher, D., et al., Assessing the quality of randomized controlled trials: an annotated
bibliography of scales and checklists. Control Clin Trials, 1995. 16(1): p. 62-73.
4. Hopewell, S., et al., CONSORT for reporting randomised trials in journal and conference
abstracts. Lancet, 2008.
5. Chalmers, T.C., et al., A method for assessing the quality of a randomized control trial.
Control Clin Trials, 1981. 2(1): p. 31-49.
6. Flanc, R.S., et al., Treatment of diffuse proliferative lupus nephritis: a meta-analysis of
randomized controlled trials. Am J Kidney Dis, 2004. 43(2): p. 197-208.

Higgins JPT, Green S, editors. Cochrane Handbook for Systematic Reviews of Interventions
4.2.5 [updated May 2005]. In: The Cochrane Library, Issue 3, 2005. Chichester, UK: John
Wiley & Sons, Ltd

13