HNDBK Cmmnty Grps Fra

Évaluation des projets
de prévention du crime par

le développement social :
Manuel pour les

organismes
communautaires
Table des matières
Introduction
Table des matières ………………………………………………………… 2
Quel est le but de la formation sur l’évaluation? ………………………….. 7
Structure du manuel………………………………………………..……… 8
Module 1 : Un aperçu de l’évaluation

Objectifs d’apprentissage ………………………………………………… 10
Quelles sont les difficultés que nous devons affronter lorsque nous
voulons évaluer? ………………………………………………………….. 10
Pourquoi effectuer une évaluation? ……………………………………….. 12
Qu’est-ce que l’évaluation?……………………………………………….. 14
Types d’évaluations ……………………………………………………….. 15
Quelques-unes des principales méthodes .………………………………… 16
Les étapes fondamentales de l’évaluation .………………………………… 18
Quand faire appel à des spécialistes de l’évaluation.…….………………… 20
Glossaire ………….……………………………………………………….. 21
Références………………………………………………………………… 23
Ressources suggérées …………………………………………………….. 23
Module 1 – Feuilles de travail .…………….….………………………….. 26
Module 2 : Préparation du terrain – Élaboration d’un modèle logique

Étape 1 : Définir les objectifs ou résultats du projet et les destinataires... …. 31
Conseils sur la façon d’établir de bons objectifs pour le projet ..…………. 32
Objectifs ou Résultats : La direction des changements …………………… 34
Et puis? Composantes, intrants, activités et extrants du projet ……………. 34
Faire des ronds dans l’eau ……………………..…………………………. 35
Qu’est-ce qu’un modèle logique? ……………………………………..…. 36
Pourquoi élaborer un modèle logique? …………………………………… 37
Le modèle logique …………………………………………………..…… 39
Liste de contrôle d’un modèle logique..……………………………………. 39
Glossaire ………….………………………………………………………. 40
Références………………………………………………………………… 40
Module 3 : Élaboration d’un plan d’évaluation

Qu’avons-nous appris jusqu’ici?…………………………………………. 63
Et puis? ……………………………………………………………….…. 63
Quelles sont les étapes d’un plan d’évaluation?…………………………… 64
Définir les questions d’évaluation ……………………………………… 64
Choisir les indicateurs …………………………………………………….. 64
2
Les critères de sélection d’un indicateur ……….………………………….. 65
Quelques autres facteurs à prendre en considération lorsqu’on choisit
des indicateurs …………………………………………………………… 66
Déterminer les sources d’information ……………………….…………… 67
Choisir les méthodes de collecte des données ……………………………. 68
Décision de procéder par « échantillonnage » ……………………………. 73
Choix d’un échantillon …………………………………………………… 75
Décision quant au nombre de personnes à inclure dans un échantillon …… 75
Analyse des résultats ……………………………………………………… 76
Communication des résultats .…………………………………………….. 77
Glossaire ………….………………………………………………………. 79
Références………………………………………………………………… 81
Module 4 : Méthodes de collecte des données

Qu’est-ce qu’une « donnée »? ……………….…………………………… 89
Sources officielles ………………………………..………………………. 89
Questionnaires d’enquête ………………………….……………..………. 91
Quelques conseils concernant le questionnaire …………………………… 92
Trouvez l’erreur! .………………………………………………………… 93
Tests normalisés ……………………………….………………………… 94
Quelques conseils concernant les tests …………………………………….. 96
Entrevues en profondeur ………………………………………………… 97
Quelques conseils concernant l’entrevue …………………………….…… 98
Groupes de discussion .………………………………………………..…. 99
Quelques conseils concernant les groupes de discussion ………………… 99
Observation …………………………………………………………….... 101
Quelques conseils concernant l’observation …………………………….. 101
La multiplication des méthodes …………………………………………… 102
Glossaire ………….………………………………………………………. 104
Références………………………………………………………………… 105
Clé de correction …………………….……………………………………. 107
Module 5: Modèles d’évaluation

Qu’est-ce qu’un modèle d’évaluation?……………………………………. 117
Niveaux d’évaluation ………………………………………..…………… 117
Menaces pour la validité des résultats des évaluations ………..…………… 118
Modèles d’évaluation ……………………………………………………… 121
Modèle 1 : Modèle avec mesure après le programme avec un seul groupe .. 122
Modèle 2 : Modèle avec mesure avant et après le programme avec
un seul groupe ……………………………………………………………... 123
Modèle 3 : Modèle avec mesure après le programme seulement avec
3
un groupe témoin ………………………………………………………….. 123
Modèle 4 : Modèle avec mesure avant et après le programme avec groupe
témoin …………………………………………………………………….. 124
Modèle 5 : Modèle chronologique ……………………………………….. 125
Quelques mots au sujet des groupes témoins …………………………….. 127
Mise en garde .…………………………………………………………… 127
Glossaire ………….………………………………………………………. 128
Références………………………………………………………………… 128
Clé de correction ………………………………………………………….. 130
Module 6 : Analyse des données et communication des résultats

L’art d’interpréter les données ……………………………………………. 137
La science de l’analyse des données ………………………………………. 139
Étapes clefs de l’analyse des données ………..……………………….. 140
Analyse des résultats ……………………………………………………… 140
Tests normalisés …………………………………………………………… 146
Données qualitatives ………………………………………………………. 146
Communication des résultats ……………………………………………….. 149
Questions à considérer dans votre rapport ….……………………………… 154
Choisir le style de votre présentation en fonction de votre auditoire ………. 154
Glossaire ………….………………………………………………………. 155
Références………………………………………………………………… 157
Module 7 : Défis et solutions en matière d’évaluation

Premier défi : Engagement du personnel et des partenaires .……………... 165
Solutions …………………………………………………………………. 167
Deuxième défi : Mobilisation des participants ……………………………. 169
Solutions …………………………………………………………………. 169
Troisième défi : Collecte des données ……………………………………… 170
Solutions ………………………………………………………..……….. 171
Quatrième défi : Résultats réalistes ……………………………………….. 171
Solutions ………………………………………………………………… 173
Cinquième défi : Analyse des données ……………………………………… 174
Solutions ………………………………………………………………….. 174
Sixième défi : Choix d’un évaluateur ……………………………………… 175
Solutions ………………………………………………………………….. 176
Septième défi : Considérations d’ordre éthique ………………………….. 176
Solutions …………………………………………………………………. 177
Huitième défi : Différences culturelles et communautaires ……………….. 179
Solutions …………………………………………………………………. 180
D’autres défis en matière d’évaluation vous viennent-ils à l’esprit? ……… 182
4
Ressources et appuis ……………………………………………………… 182
Glossaire ………….………………………………………………………. 182
Références………………………………………………………………… 183
Liste de ressources générales …………………………… ……………….. 204
5
Remerciements
L’ouvrage Évaluation des projets de prévention du crime par le développement social a été
élaboré dans le cadre d’un programme de formation des formateurs qui vise à transmettre
aux employés responsables des programmes au Centre national de prévention du
crime (CNPC) des connaissances de base en évaluation . Ainsi outillés, ces derniers sont
alors en mesure de renforcer la capacité d’évaluation des groupes communautaires qui
œuvrent à la prévention du crime au moyen de projets de développement social.
Le Guide du formateur et son compagnon, le Manuel pour les organismes financés par la
Stratégie nationale pour la prévention du crime (SNPC), ont été écrits par Mary Sehl,
analyste principale de l’évaluation au CNPC. Comme c’est souvent le cas, ce projet n’aurait
pas vu le jour sans l’aide et le soutien de bien d’autres. Nous remercions chaleureusement
Colleen Ryan, qui travaille maintenant à Santé Canada, pour avoir reconnu la nécessité de
l’initiative, et les membres suivants du comité consultatif du projet de leur merveilleuse
direction :
Linda Casson Hare, agente principale de programmes – Yukon

Susan Howe, analyste principale de l’évaluation – Vancouver
Dianne MacDonald, gestionnaire de programmes – Saskatchewan
Monika Ochnik, agente de programmes – Ontario
Wayne Stryde, directeur, Élaboration et mise en œuvre de programmes – Ottawa
Michelle Woods, agente de programmes – Thunder Bay
Nous remercions aussi de tout cœur Brin Sharp, dont les connaissances et les conseils en
matière de techniques d’éducation pour adultes se retrouvent dans le Guide du formateur, et
Susan Howe pour sa vitalité, les contributions qu’elle a faites à l’initiative et l’aide qu’elle a
apportée à la planification et à l’animation d’une séance de formation pilote à Vancouver. Sa
créativité se fait sentir dans plusieurs des exercices qui composent les ateliers de formation.
Nous sommes reconnaissants aux membres de l’Unité d’évaluation du CNPC pour leurs
commentaires et conseils concernant le programme de formation, et pour le dynamisme dont
ils ont fait preuve lors de la formation des employés responsables des programmes du
CNPC. Nous remercions aussi tout particulièrement Muguette Lemaire, analyste principale
de l’évaluation à Montréal, pour son travail inestimable sur la version française du Guide du
formateur et du Manuel pour les organismes financés par la Stratégie nationale pour la
prévention du crime (SNPC), et Carolyn Scott pour avoir pris les devants en ce qui concerne
la planification de l’évaluation de l’initiative. Tim Peters, Antoine Bourdages et
Wayne Stryde méritent aussi d’être remerciés pour leur direction et le soutien continu qu’ils
ont prêté au projet en tant que membres de l’équipe de gestion du CNPC.
Mary Sehl
Analyste principale de l’évaluation
CNPC
6
Quel est le but de la formation sur
l’évaluation?
Favoriser et améliorer la capacité d’évaluation des responsables
de projet
Fournir un soutien et des ressources pour faciliter l’évaluation
Mettre en place des processus et des repères pour l’évaluation des
projets financés
Le Centre national de prévention du crime (CNPC) voit l’évaluation

comme un outil contribuant à la gestion des projets et à
l’apprentissage. L’évaluation n’a pas pour seul but de prouver qu’un
projet a donné des résultats positifs. Elle vise aussi à dégager des
leçons et à améliorer le fonctionnement du projet.
On s’attend à ce que les groupes communautaires qui sont intéressés

à faire une demande de fonds au CNPC pour appuyer leur projet de
prévention du crime par le développement social jouent différents
rôles dans le cadre de l’évaluation. Ces rôles dépendront du
programme qui leur accorde le financement.
Les projets financés dans le cadre du Fonds d’action en prévention

du crime (FAPC) ont pour but de trouver des façons novatrices de
prévenir la criminalité. Le FAPC aide des personnes travaillant sur le
terrain à entreprendre des activités qui s’attaquent aux causes
profondes de la criminalité. Il vise à établir des partenariats entre
différents secteurs, notamment les services de police, les services de
santé communautaire ainsi que les secteurs bénévole et privé, afin de
renforcer la capacité des collectivités de prévenir la criminalité par le
développement social. Il aide les groupes communautaires à rendre
leurs efforts de prévention de la criminalité plus durables, à
sensibiliser davantage le public aux activités de prévention de la
criminalité et à obtenir son soutien.
Dans le cadre des projets financés par le FAPC, les évaluations servent à :
suivre le déroulement du projet au jour le jour (suivi continu);

déterminer, à mi-parcours (évaluation de mi-mandat), si le projet est sur la bonne
voie, s’il fournit les extrants prévus (résultats), si les délais sont respectés et si le
projet utilise les ressources tel qu’il a été prévu;
établir si les changements globaux que le projet vise à apporter se sont effectivement
produits à la fin de celui-ci (évaluation finale).
7
Nota : Le masculin a été utilisé dans ce document dans le seul but d’alléger le texte.
Le Fonds pour la mobilisation communautaire des secteurs policier et correctionnel

(FMCSPC) soutient la formation de partenariats avec les organisations d’application de la
loi et des services correctionnels en vue de promouvoir la prévention du crime par le
développement social. Ce fonds vise les communautés à risque et les groupes vulnérables, y
compris les enfants, les adolescents et leurs familles, ainsi que les Autochtones.
Si vous avez reçu ou êtes intéressé à recevoir des fonds du FAPC ou du FMCSPC, la
présente formation vous aidera à améliorer votre capacité d’élaborer un plan solide pour
votre projet et à mener une évaluation crédible.
Le Fonds pour la recherche et le développement des connaissances (FRDC) appuie un large

éventail de travaux de recherche, de projets de démonstration, d’initiatives de transfert des
connaissances et d’évaluations qui : relèvent et analysent les lacunes dans le corpus actuel
des connaissances liées à la prévention du crime au Canada; acquièrent de nouvelles
connaissances dans les domaines où les lacunes ont été relevées; font la synthèse des
résultats de la recherche existante; et, développent la compréhension et la reconnaissance
des pratiques et des modèles prometteurs en matière de prévention du crime au niveau
communautaire. Le FRDC finance des activités et des initiatives visant à identifier, soutenir
et évaluer des modèles prometteurs de prévention de la criminalité, à faciliter le
développement de ressources fondées sur le constat et à mettre au point des produits
contribuant à informer le public sur les mesures qui permettent d’atténuer les facteurs de
risque liés à la criminalité et à la victimisation. Le FRDC permet l’embauche d’évaluateurs
externes pour effectuer des évaluations rigoureuses de ces projets afin d’en déterminer les
coûts, les avantages et l’efficacité générale des activités novatrices de prévention du crime.
Les dirigeants et le personnel des projets collaboreront étroitement avec l’évaluateur externe
et, dans la plupart des cas, participeront à la collecte de l’information qui sera soumise à
l’évaluation. Si vous êtes intéressé à obtenir des fonds du FRDC, cette formation vous aidera
énormément à améliorer votre compréhension de l’évaluation et votre capacité de collaborer
avec un évaluateur de l’extérieur.
Pour obtenir de plus amples renseignements au sujet des programmes de financement du

CNPC, vous êtes invité à consulter le site Web de la Stratégie nationale pour la prévention
du crime à http://www.securitepublique.gc.ca/cnpc.
La structure du manuel
Le manuel se divise en sept chapitres qui correspondent aux sept modules de la trousse de
formation sur l’évaluation des projets de prévention du crime par le développement social.
À la fin de chaque chapitre, on retrouve un glossaire des termes employés dans le chapitre
et une liste des ressources ayant un lien avec les sujets abordés. Les feuilles de travail
utilisées dans les différents modules de formation sont fournies à la fin de chacun des
chapitres.
8
Nous espérons que ce manuel constituera un outil de référence utile durant les séances de
formation et longtemps après que vous aurez suivi ce cours. Nous vous encourageons à
utiliser les ressources fournies à la fin de chaque chapitre lorsque vous planifierez
l’évaluation de vos projets de prévention du crime.
9
Module 1 : Un aperçu de l’évaluation
Les objectifs d’apprentissage
Comprendre certains des obstacles que pose l’évaluation pour les
groupes communautaires
Comprendre comment une évaluation peut améliorer la gestion et
la mise en œuvre d’un projet
Savoir ce qu’est l’évaluation…
Les principales approches
Les étapes fondamentales
Savoir quand faire appel à des évaluateurs professionnels
Pourquoi se soucier de l’évaluation?

S’il est important pour nous de prévenir la criminalité et la
victimisation dans les collectivités canadiennes, il est tout à fait
normal de se soucier des activités qui permettent réellement
d’atteindre cet objectif. La seule façon de s’en assurer est d’investir
dans l’évaluation.
Quelles sont les difficultés que nous devons affronter lorsque nous voulons évaluer?
Le temps
Nous savons que le temps représente un problème, spécialement pour les groupes
communautaires qui disposent de budgets très limités. Il faut du temps pour planifier une
évaluation et la mettre en œuvre, pour analyser les données, pour transmettre les
résultats et pour examiner les conséquences de l’évaluation sur les activités du projet.
Heureusement, la plupart des éléments d’une évaluation font partie de la gestion efficace
d’un projet et peuvent être intégrés aux activités quotidiennes.
L’argent
Vous avez peut-être le sentiment que les fonds consacrés à l’évaluation pourraient être
mieux utilisés pour financer des activités liées au projet. Il est vrai qu’au minimum, une
évaluation exige que le personnel affecté au projet y consacre du temps, ce qui
représente un certain coût. Une évaluation rigoureuse effectuée par un tiers risque par
contre de coûter beaucoup plus cher. Des professeurs ou des étudiants des collèges ou
des universités peuvent parfois fournir de l’aide gratuitement dans le cadre de stages ou
de projets.
L’expertise
Il se peut que votre groupe possède très peu d’expérience en matière de planification
de projets admissibles à des fonds gouvernementaux. Nous espérons vous montrer
que les connaissances et les compétences requises pour planifier des projets sont
semblables à celles qui sont nécessaires à la planification des évaluations.
10
L’évaluation a la réputation d’être complexe et de nécessiter de l’expertise externe.
Nous sommes d’accord qu’il est parfois nécessaire de faire appel à des experts pour
effectuer des analyses statistiques ou pour aider à déterminer comment répondre aux
questions d’évaluation. Par contre, des évaluations plus simples peuvent être faites à
l’interne. Nous en parlerons plus loin dans cette section.
L’indiscrétion
Pour répondre à des questions d’évaluation comme « À qui nous adressons-nous? » ou
« Le projet a-t-il modifié des attitudes ou des comportements? », on doit poser des
questions touchant les expériences de vie, les attitudes et les comportements des
personnes.
Nous avons souvent constaté que le personnel affecté à un projet s’inquiète davantage
du caractère personnel des questions posées que ne le font les participants au projet. Il
est important de se rappeler que la participation à une évaluation devrait toujours être
volontaire. On devrait toujours informer les participants qu’ils peuvent refuser de
répondre aux questions ou qu’ils peuvent cesser de participer à l’évaluation à n’importe
quel moment, et que cela ne nuira pas à leur participation aux activités liées au projet.
Nous savons déjà que le projet est efficace

Vous avez probablement déjà pris connaissance de nombreux exemples ou anecdotes
qui vous ont prouvé l’efficacité du projet que vous planifiez. Vous avez peut-être le
sentiment que vous disposez de preuves suffisantes pour démontrer que les activités
planifiées sont efficaces. Par ailleurs, l’évaluation servira à créer une série de données
probantes qui vous permettront de convaincre les autres de l’efficacité de votre projet.
Bien comprendre la complexité

Vous avez peut-être le sentiment que le travail que vous faites ne peut être quantifié ou
décrit sous une simple forme « linéaire ». Les projets ont souvent de nombreuses
composantes et ils peuvent avoir des effets subtils et imprévus sur les participants. Il est
vrai que les évaluations ne parviennent pas toujours à refléter la complexité des activités
liées au projet ou à leur fonctionnement. En ajoutant des questions d’évaluation qui
donnent aux participants et au personnel la possibilité de relater librement leurs
expériences, vous pouvez inclure tous ces aspects dans votre évaluation.
Le changement à long terme par opposition au financement à court terme

Il semble y avoir une contradiction. D’un côté, le Centre national de prévention du crime
(CNPC) fournit des fonds pendant une courte période seulement, et de l’autre, il
reconnaît qu’il faut souvent attendre longtemps pour que le changement se produise. La
situation idéale consisterait à pouvoir suivre les changements à long terme. Si vous
pouviez présenter de solides arguments expliquant pourquoi les résultats à court terme
de votre projet conduiront probablement à des changements à long terme, vous pourriez
vous concentrer sur la mesure des changements à court terme. Par conséquent, vous
n’auriez pas à assurer le suivi des changements à long terme.
Le Manuel pour les organismes financés par la SNCP et les séances de formation qui
l’accompagnent vous indiqueront comment créer un modèle logique. Un modèle logique
11
rigoureux précisant la façon dont les activités du projet entraîneront des résultats à court
et à long terme ainsi que les liens entre ces résultats vous permettra de démontrer
comment les changements à court terme découlant de votre projet peuvent mener à
d’autres changements longtemps après la fin de celui-ci.
La crainte
Il est normal de craindre qu’une évaluation négative puisse empêcher votre groupe
d’obtenir d’autres fonds. Il est par contre aussi fréquent de constater que les projets
s’améliorent après une évaluation qui indique comment obtenir de meilleurs résultats.
L’évaluation constitue une bonne façon de montrer à vos bailleurs de fonds que vous
êtes intéressé à l’amélioration continue de votre projet.
Pourquoi effectuer une évaluation?

La prise de décisions, la gestion du projet
L’évaluation fait partie de la saine gestion. Il n’est pas nécessaire
d’y consacrer beaucoup de temps ou d’argent, mais il faut y
accorder un certain temps et une certaine somme d’argent si vous
voulez bien gérer votre projet. L’étendue de votre évaluation
dépendra probablement de la taille du projet et de son budget.
Vous effectuez probablement déjà une certaine forme d’évaluation,

à tout le moins de façon officieuse. Vous posez peut-être des
questions au sujet de la satisfaction des participants ou vous évaluez
peut-être la nécessité d’ajouter des effectifs.
L’évaluation vous fournit l’occasion de poser les questions qui

vous permettront d’obtenir les réponses nécessaires à une saine
gestion de votre projet. Par exemple, vous pourriez poser les
questions suivantes :
Atteignons-nous les personnes que nous voulions atteindre, celles

dont les besoins sont les plus criants?
Avons-nous besoin d’augmenter les effectifs du projet?
Le personnel du projet a-t-il besoin d’être mieux formé?
Le projet assure-t-il la protection des employés et des
participants?
Le projet entraîne-t-il les changements comme nous l’avions
prévu?
Quels aspects du projet devraient être modifiés, prolongés,
poursuivis ou interrompus?
L’amélioration du projet
Si votre groupe a déjà participé à des projets communautaires, vous avez probablement
apporté à ces projets des changements visant à en améliorer certains aspects avec le
temps. Vous avez peut-être, par exemple, changé l’endroit ou le moment où se déroule
12
votre projet pour en améliorer l’accès. Vous avez peut-être fait appel à un nouveau
partenaire pour augmenter le nombre de personnes référées à votre projet. Vous avez
peut-être évalué l’utilité de ces changements. En tenant un registre des résultats qui ont
eu des effets favorables, vous pouvez aider d’autres personnes à en tirer des leçons. Ces
mesures peuvent aider à améliorer votre projet ainsi que d’autres projets dans votre
collectivité ou ailleurs au Canada.
L’efficacité du projet
Lorsque la prévention du crime nous tient réellement à cœur, nous voulons connaître
l’utilité de nos démarches. Sinon, pourquoi investir notre temps et notre argent dans une
activité qui, au bout du compte, ne changera rien?
S’il est difficile de créer des documents répondant à la question de savoir si un projet
donné empêche la criminalité ou réduit la victimisation, il est possible de montrer
comment il réduit les facteurs associés à la criminalité et à la victimisation (facteurs de
risque) ou augmente les facteurs qui aident à prévenir la criminalité ou à réduire la
victimisation (facteurs de protection). Nous voulons également savoir comment le projet
y parvient afin que d’autres puissent suivre son exemple.
Les résultats imprévus

Les projets ont parfois des effets que nous n’avions pas prévus. Ces effets peuvent être
positifs ou négatifs. À titre d’exemple :
Effet positif. Il arrive que des projets de développement des compétences parentales,
qui ont pour but d’améliorer les connaissances des participants du développement de
l’enfant et des bonnes pratiques parentales, aient l’effet imprévu de renforcer le réseau
de soutien social des participants. Grâce au projet, ils font la connaissance d’autres
membres de leur collectivité dont les enfants ont le même âge. Ils s’entraident sur le
plan émotif et parfois concrètement en gardant les enfants les uns des autres ou en
fournissant de l’information au sujet des projets ponctuels dans le quartier.
Effet négatif. Une évaluation d’un groupe de soutien d’intervention précoce avait pour
but de réduire la consommation d’alcool et de drogues parmi des élèves (Deck et
Einspruch, 1997, cités dans Einspruch et Deck, 1999), mais on a constaté que le
programme avait quelques effets négatifs imprévus. On a invité des élèves qui
consommaient de l’alcool ou des drogues à participer à un groupe de soutien censé les
aider à examiner leur consommation de substances intoxicantes et les comportements
associés à cette consommation, à améliorer leurs compétences de résolution des
problèmes et de communication et à nouer des liens positifs avec d’autres personnes.
L’évaluation a révélé que les élèves dont la participation au programme était jugée
« satisfaisante » avaient une fois et demie plus de chances de consommer de l’alcool à
la fin de l’année scolaire que ceux qui avaient été référés au programme, mais qui
avaient refusé d’y participer ou qui n’y participaient pas activement.
Il est important de se rappeler que les projets mis sur pied avec les meilleures
intentions peuvent avoir des effets néfastes. Dans les cas comme celui que nous
venons d’exposer, les projets peuvent en réalité empirer la situation des participants.
13
Un autre type d’effet négatif pourrait être celui de faire perdre du temps aux gens dans
des projets qui n’ont aucun impact, alors que nous pourrions utiliser leur temps et les
deniers publics pour mettre en œuvre des projets qui ont une plus grande incidence.
L’imputabilité
Les contribuables veulent savoir si leur argent est dépensé judicieusement. Il est
nécessaire pour le gouvernement de rendre des comptes en ce qui concerne l’argent
investi dans des projets communautaires. Si les changements qu’apportent ces projets ne
sont pas documentés, la vérificatrice générale, les politiciens et, au bout du compte, nos
concitoyens pourraient nous poser des questions à ce sujet.
Nous oublions trop souvent que nous devons également rendre des comptes aux
participants des projets communautaires. Ils méritent de pouvoir s’exprimer sur les
mesures qui sont efficaces et celles qui ne le sont pas et d’être informés, par l’entremise
de rapports d’évaluation, sur la capacité des programmes d’atteindre les résultats
escomptés. Les employés de première ligne se disent souvent préoccupés par le grand
nombre de questions posées aux participants lors d’évaluations et de l’aspect indiscret de
ces questions. Ces préoccupations sont légitimes. Par contre, nous constatons souvent
que lorsque nous abordons les participants de façon positive et que nous leur donnons un
aperçu du but de l’évaluation et de leur rôle dans ce contexte, ils se montrent
enthousiastes à l’idée de contribuer à la recherche. Ils veulent savoir « ce qui marche ».
Les relations publiques et le financement

Les résultats probants découlant d’un projet constituent le meilleur outil pour
promouvoir le projet et pour susciter les dons d’argent ou de ressources qui assureront sa
pérennité.
Qu’est-ce que l’évaluation?

Il s’agit d’un processus qui consiste à déterminer si un projet atteint ses
objectifs par les activités entreprises et de la façon prévue.
L’évaluation décrit :
les raisons pour lesquelles nous avons mis sur pied le projet (buts et objectifs);
en quoi consiste le projet consiste (activités dans le cadre du projet);
ce qui, selon nous, se produira en raison des activités (résultats ou extrants prévus);
ce qui s’est réellement produit (résultats ou impacts réels);
ce que cette information nous révèle au sujet du projet (conclusions) (Services de
police d’Ottawa, 2001, p. 14).
Les évaluations ne touchent pas nécessairement tous ces aspects. Certaines mettent
davantage l’accent sur l’élaboration du projet et l’examen des activités liées à celui-ci pour
établir s’il est offert de la manière prévue (évaluation du processus). D’autres se concentrent
davantage sur les trois derniers points et cherchent à évaluer si le projet aboutit aux résultats
anticipés (évaluation des résultats).
14
Les types d’évaluations
L’évaluation des besoins
Une évaluation des besoins permet de savoir ce dont les gens ou les collectivités que
vous espérez atteindre ont besoin, de façon générale, ou pour combattre un problème
précis. Vous pourriez, par exemple, souhaiter savoir quels sont les problèmes de sécurité
dans votre collectivité, connaître les services auxquels vous avez accès ou dans quelle
mesure votre collectivité s’attaque à un certain type de criminalité ou à une certaine
forme de victimisation.
L’évaluation des ressources

Une évaluation des ressources sert à déterminer les ressources ou les habiletés existantes
au sein de la collectivité dans laquelle vous souhaitez implanter votre projet.
L’évaluation des ressources est souvent menée de concert avec l’évaluation des besoins.
Ce type d’évaluation permet de déterminer les habiletés des membres d’une collectivité
pouvant contribuer au projet ainsi que les ressources matérielles telles que les locaux, les
dons en nature, le bénévolat, les ressources financières et autres pouvant faciliter la mise
en œuvre du projet de prévention du crime.
L’évaluation de l’évaluabilité
On effectue une évaluation de l’évaluabilité pour savoir si un projet peut faire l’objet
d’une évaluation officielle. Une telle évaluation peut suggérer quelles approches ou
méthodes d’évaluation conviendraient le mieux au projet.
Le suivi du projet
Le suivi d’un projet prend en compte les activités et opérations précises liées au projet. Il
s’agit d’une évaluation très limitée qui aide à suivre, et non pas à évaluer le projet.
L’évaluation formative
Connue également sous le nom d’évaluation du processus, une évaluation formative
nous renseigne sur le déroulement du projet, et nous permet de savoir s’il est mis en
œuvre de la manière prévue et si des problèmes sont survenus dans ce contexte (par
exemple, elle peut montrer qu’un projet atteint un groupe qui est moins à risque que
prévu, que les employés ne possèdent pas la formation requise, que les locaux du projet
ne sont pas accessibles ou que les heures du projet ne correspondent pas aux besoins des
participants).
L’évaluation des résultats

Une évaluation des résultats examine la mesure dans laquelle un projet a permis
d’obtenir les résultats définis au départ.
L’évaluation sommative
L’évaluation sommative examine l’efficacité et l’incidence globales d’un projet, sa
qualité, et la possibilité d’un financement continu.
15
L’évaluation coût-efficacité
Une étude coût-efficacité examine le lien entre les coûts d’un projet et les résultats de
celui-ci. Elle évalue le coût que représente chaque degré d’amélioration dans les
résultats.
L’évaluation coûts-avantages
Une analyse coûts-avantages est comme l’analyse coût-efficacité en ce sens qu’elle
examine la relation entre les coûts et les résultats (ou avantages) du projet. Une étude
des coûts-avantages attribue par contre une valeur financière aux résultats ou aux
avantages, de sorte à fournir un coefficient montrant le rapport entre la quantité d’argent
dépensée et les économies réalisées. Une analyse coûts-avantages bien connue est celle à
laquelle a été soumis le Perry Preschool Project aux États-Unis. On a conclu que pour
chaque dollar dépensé, on économisait plus de 7 $ (Barnett, 1993, cité dans
Schweinhart, 2002).
Quelques-unes des principales méthodes

L’évaluation externe
Cette approche consiste à faire appel à un évaluateur externe (un tiers ou une
personne/organisation qui n’a jamais été associée au projet faisant l’objet de
l’évaluation), qui se chargera d’effectuer l’évaluation. Le fait d’utiliser un évaluateur
extérieur à l’organisation faisant l’objet d’une évaluation accroît l’objectivité des
résultats. On peut faire appel à des évaluateurs de l’extérieur dans le cadre de toutes les
méthodes décrites ci-dessous. On engage souvent des consultants de l’extérieur afin de
faciliter les évaluations participatives ou d’habilitation.
L’évaluation axée sur l’application concrète

Cette approche met l’accent sur ce que les gestionnaires et les employés affectés au
projet ont besoin de savoir pour prendre des décisions concernant le projet et pour
améliorer son déroulement.
L’évaluation participative
Il s’agit d’une méthode qui inclut les participants à toutes les
étapes de l’évaluation, de la formulation des questions
d’évaluation au choix des données à colliger, à la méthode à
suivre et à l’interprétation des résultats.
La méthode d’habilitation
Il s’agit d’une approche qui consiste à utiliser des concepts et des techniques
d’évaluation et à se fonder sur les résultats pour aider les groupes communautaires à
améliorer leurs programmes et leurs services. L’évaluateur fait fonction de coach ou
d’animateur pour aider les employés et les participants au projet à mettre en place un
processus d’autoévaluation et de réflexion. L’évaluation d’habilitation comporte trois
étapes : a) formuler un énoncé de mission ou une vision, b) repérer et classer par ordre
de priorité les principales activités faisant partie du programme et coter le rendement du
16
programme par rapport à chacune de ces activités et c) planifier des stratégies pour
atteindre les futurs objectifs d’amélioration du projet (Fetterman, 2002).
La méthode d’évaluation que vous choisirez dépendra du but de l’évaluation. Si vous

souhaitez découvrir des façons d’améliorer les services que vous offrez, il est peut-être
conseillé d’adopter une méthode mettant l’accent sur l’amélioration des connaissances ou
l’habilitation. Si vous souhaitez convaincre des organisations externes que vous avez un
impact positif sur les participants, un évaluateur externe pourra aider à assurer l’objectivité
de l’évaluation.
17
Les étapes fondamentales de l’évaluation
Étapes Projet NON à la fraude contre

les personnes âgées
Réduire l’incidence de la fraude
9 Définir les objectifs (résultats perpétré contre les personnes âgées
prévus) Augmenter le nombre de partenariats
entre les organisations représentant les
personnes âgées, la police, les
organisations de prévention du crime et les
associations de gens d’affaires
Sensibiliser davantage le public à la
fraude contre les personnes âgées
Améliorer la connaissance chez les
personnes âgées des pratiques qui
réduisent la vulnérabilité à la fraude
Assurer la pérennité du projet à la fin
de la période de financement
Activités du projet :
9 Décrire le projet Créer une coalition regroupant les
organisations représentant les personnes
âgées, la police, les groupes de quartier,
les commerces locaux, les centres de
loisirs municipaux, les logements pour
personnes âgées
Offrir une série d’ateliers sur la fraude
ciblant les personnes âgées et sur les
stratégies de prévention de la
victimisation
Former des participants bénévoles pour
qu’ils donnent la série d’ateliers et créent
un service de conférenciers
Mettre au point des activités de
sensibilisation du public ciblant les
personnes âgées et les membres de leur
famille : messages d’intérêt public, site
Web
nonalafraudecontrelespersonnesagees.com,
aimants pour le réfrigérateur, service de
conférenciers
18
9 Formuler les questions d’évaluation Le projet s’est-il déroulé tel qu’il a été
prévu?
Le projet a-t-il atteint les personnes
âgées les plus susceptibles de
victimisation?
Le projet a-t-il réussi à atteindre ses
objectifs?
9 Définir les sources de données et les Mener un sondage auprès des

outils de collecte des données partenaires pour connaître leur degré de
satisfaction à l’égard du projet et de sa
pertinence par rapport à leurs activités
Demander à un échantillon de
100 membres de la collectivité
sélectionnés au hasard de participer à un
sondage téléphonique avant et après la
campagne de sensibilisation du public pour
savoir dans quelle mesure ils sont
sensibilisés à la fraude contre les
personnes âgées
Demander aux participants aux
ateliers, avant et après ceux-ci, de
remplir des questionnaires au sujet des
stratégies de réduction de la victimisation
due à la fraude
Analyser les constats de police sur les
incidents de fraude contre des personnes
âgées
Faire le suivi du nombre de
conférenciers bénévoles ainsi que du
nombre d’ateliers et d’exposés présentés
Demander à des étudiants stagiaires
9 Réunir l’information d’aider à la collecte des données
Charger un consultant de la saisie des
9 Organiser l’information données dans une base de données
19
Charger le consultant de l’analyse des
9 Analyser les données données visant à obtenir l’information
suivante :
— satisfaction des partenaires
— changement, avant et après le projet,
dans le degré de sensibilisation au
problème dans la collectivité et parmi les
personnes âgées et changement dans le
nombre de constats de police
— extrants du programme
Présenter un rapport final aux bailleurs
9 Communiquer les résultats et définir de fonds
les prochaines étapes Produire une fiche d’information sur les
résultats de l’évaluation s’adressant aux
partenaires et aux membres de la
collectivité
Organiser une tribune communautaire
avec les associations représentant les
personnes âgées
Quand faire appel à des spécialistes de l’évaluation

Il arrive souvent que les groupes communautaires pensent qu’il est
nécessaire, pour effectuer une évaluation, de faire appel à un expert
de l’extérieur. Il est vrai que l’on a parfois besoin d’une aide
spécialisée, mais ce n’est pas toujours nécessaire. Dans le cas des
projets financés par le Fonds d’action en prévention du crime
(FAPC), les évaluations sont souvent effectuées sans aide externe.
Certains responsables de projets décident de conclure une entente
avec un évaluateur externe pendant une courte période pour effectuer
certaines activités clés. Ils peuvent, par exemple, recruter un
évaluateur pour les aider à identifier ou à créer des instruments
appropriés pour collecter des données, pour créer une base de
données ou pour analyser des données d’évaluation.
Par contre, dans le cas des projets financés par le Fonds pour la recherche et le
développement des connaissances, on fait toujours appel à des évaluateurs de l’extérieur
pour qu’ils effectuent une évaluation rigoureuse et objective de l’efficacité du projet.
20
Cette série d’ateliers a pour but de vous aider à mieux comprendre les étapes fondamentales
de l’évaluation. Nous espérons que vous considérerez l’évaluation comme une partie
intégrante de la gestion de projet efficace.
Il peut évidemment arriver que vous ne possédiez pas les connaissances nécessaires ni le
temps ou les ressources pour effectuer vos propres évaluations. Voici quelques situations où
le recours à un évaluateur externe pourrait vous être utile :
lorsque des statistiques complexes sont requises pour analyser les résultats de votre
évaluation;
lorsque vous avez l’intention d’utiliser une grande variété de méthodes de collecte
d’information nécessitant une comparaison et une analyse détaillées;
lorsque les données d’évaluation sont obtenues à différents moments et que vous
souhaitez les analyser pour connaître la nature et les raisons des changements qui se sont
produits;
lorsque vous n’êtes pas sûr des renseignements dont vous avez besoin pour répondre à
vos questions d’évaluation;
lorsque votre évaluation nécessite la mise sur pied de groupes expérimentaux et témoins
qui exigent des comparaisons statistiques à différents niveaux;
lorsque vous souhaitez obtenir un point de vue objectif (Services de police de la ville
d’Ottawa, 2001, p. 21)
Si vous décidez de faire appel à un évaluateur externe, considérez le temps que vous
passerez avec l’évaluateur comme une occasion d’apprentissage. Envisagez d’ajouter au
contrat de l’évaluateur une clause selon laquelle il ou elle s’engagera à vous aider à intégrer
l’évaluation à vos pratiques courantes de gestion efficace de projet.
Glossaire
Analyse des données
L’analyse des données consiste à donner un sens à l’information recueillie. Dans le cas de
l’analyse qualitative, il pourrait s’agir de classer l’information par thèmes qui résument ce
qui a été dit. Dans le cas de l’analyse quantitative, les statistiques descriptives ou encore les
tests statistiques sont utilisés pour donner un sens aux nombres. Ce genre d’analyse peut
servir par exemple à déterminer la réponse moyenne, la réponse centrale se situant entre la
plus élevée et la plus basse, ou encore la probabilité statistique qu’un changement dans les
résultats à un test soit dû avec le temps à plus que le simple hasard. L’information relative à
l’analyse des données est contenue dans le module 6 de ce manuel.
Données
Le terme « données » a le même sens qu’information et il désigne les renseignements qui
sont recueillis et qui nous fournissent des connaissances ou nous aident à mieux comprendre
une question particulière.
Échantillon
Un échantillon est un sous-groupe à l’intérieur d’une population plus vaste. On l’étudie pour
obtenir de l’information au sujet d’une population entière.
21
Échantillon aléatoire
Un échantillon aléatoire est constitué de personnes qui ont des chances égales d’être
sélectionnées dans une population plus vaste. Le choix des personnes dans cette population
plus vaste en vue de faire partie de l’échantillon relève entièrement du hasard.
Évaluation de l’évaluabilité
Une évaluation de l’évaluabilité est une façon d’évaluer si un projet est prêt à subir une
évaluation officielle. Une telle évaluation peut proposer les approches ou les méthodes
d’évaluation qui conviennent le mieux au projet.
Évaluation des besoins

Une évaluation des besoins permet de réunir et d’analyser de l’information concernant les
besoins de collectivités ou de groupes, de façon générale ou dans le contexte d’enjeux
particuliers.
Évaluation des ressources

Une évaluation des ressources consiste à analyser les ressources et les habiletés existantes
dans une collectivité où le projet vise à s’implanter.
Évaluation du processus
Une évaluation des processus consiste à étudier l’élaboration du projet et les activités qui y
sont associées pour déterminer si le projet se déroule de la façon prévue et pour relever les
aspects de l’administration et de la mise en œuvre qui pourraient être améliorés.
Évaluation des résultats

Une évaluation des résultats analyse les résultats à court et à long terme qui découlent de la
participation à un projet ou un programme.
Évaluation formative
Une évaluation formative sert à évaluer le concept, le plan et le fonctionnement d’un
programme. Elle indique si le projet est mis en œuvre de la façon prévue et si des problèmes
sont survenus durant cette mise en œuvre.
Évaluation sommative
Une évaluation sommative examine l’efficacité et l’incidence globales d’un projet ainsi que
sa qualité. Elle répond en outre à la question de savoir s’il peut être maintenu, compte tenu
de son coût.
Groupe expérimental
Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à
un programme). Les résultats obtenus pour ce groupe expérimental peuvent être comparés à
ceux d’un groupe témoin qui n’a pas fait l’objet de l’intervention. Le groupe témoin devrait
avoir des caractéristiques similaires à celles du groupe expérimental, sauf que les personnes
qui en font partie ne bénéficient pas de l’intervention à l’étude. On mesure ensuite les écarts
dans les résultats obtenus auprès des deux groupes.
22
Groupe témoin (ou contrôle)
Dans le domaine de la recherche sociale, on parle d’un groupe témoin par opposition à un
groupe contrôle, un terme utilisé plus souvent en recherche expérimentale. Un groupe
témoin est un groupe de participants qui ont des caractéristiques similaires à celles des
participants au programme ou au projet évalué, mais qui ne bénéficient pas des activités du
projet.
Modèle logique
Un modèle logique sert à décrire un projet ou un programme. Il s’agit d’un outil qui aide à
planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui
contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats
prévus.Les modèles logiques sont souvent représentés par un diagramme qui inclut les
intrants, les activités, les extrants et les résultats du projet.
Prétest et post-test
Un même instrument est administré avant et après une intervention ou un programme.
Références
Einspruch, E.L., & Deck, D.D. (1999, novembre). Outcomes of peer support groups. Téléchargé le
16 mars 2004 du site http://www.rmccorp.com/Project/PIeval/Peer.pdf
Fetterman, D. (2002). Collaborative, participatory, and empowerment evaluation, 2002. Téléchargé le

16 mars 2004 du site http://www.stanford.edu/~davidf/empowermentevaluation.html
Schweinhart, L.J. (2002, juin). How the High/Scope Perry Preschool study grew: A researcher's tale. Phi Delta
Kappa Center for Evaluation, Development, and Research, Research Bulletin No 32. Téléchargé le
16 mars 2004 du site http://www.highscope.org
Services de police de la ville d’Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d'outils pratiques
pour l'évaluation des programmes d'intervention policière et de prévention de la criminalité dans la
collectivité. Téléchargé le 16 mars 2004 du site http://dsp-psd.communication.gc.ca/Collection/J2-
180-2001F.pdf
Ressources suggérées
Sites Web
Bureau of Justice Assistance Evaluation

Evaluation Strategies for Human Services Programs
http://www.bja.evaluationwebsite.org/html/documents/evaluation_strat
Ce site Web fournit une « carte routière » qui répond aux questions suivantes : Qu’est-ce que l’évaluation?
Pourquoi effectuons-nous une évaluation? Quels types de programmes sont évalués? Quand évaluons-nous?
Centre for Substance Abuse Prevention

Prevention Pathways
http://pathwayscourses.samhsa.gov/samhsa_pathways/courses/index.htm
23
Ce site Web offre des didacticiels tutoriels sur différents sujets d’évaluation. Le cours « Evaluation for the
Unevaluated 101 » est un excellent cours d’introduction à l’évaluation qui en décrit les principaux éléments et
explique pourquoi l’évaluation est importante.
United Way of America

Outcome Measurement Resource Network
http://www.unitedway.com
Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une
introduction à la mesure des résultats et explique pourquoi ce genre d’évaluation est important.
Guides et manuels
Annie E. Casey Foundation

When and How to use External Evaluators
http://www.aecf.org/publications/data/using_external_evaluators.pdf
Cette publication décrit les différentes questions liées au recrutement d’un évaluateur externe. Elle inclut un
certain nombre de questions à poser durant l’entrevue avec des évaluateurs externes ainsi que des suggestions
concernant la gestion des contrats d’évaluation.
Santé Canada
Guide d’évaluation de projet : Une démarche participative
http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm
Les deux premiers chapitres de ce guide présentent une introduction de base à l’évaluation. Dans le reste du
guide, on trouve des conseils utiles concernant la collecte, l’analyse et la présentation des données.
U.S. Department of Health and Human Services - Administration for Children and Families
The Program Manager’s Guide to Evaluation
http://www.acf.hhs.gov/programs/opre/other_resrch/pm_guide_eval/reports/pmguide/pmguide_toc.html
Ce guide s’adressant aux gestionnaires de programmes comporte neuf chapitres qui décrivent le but de
l’évaluation et ses principaux éléments. Le guide comprend en plus une description des pratiques de
recrutement et de gestion des évaluateurs externes.
W.K. Kellogg Foundation

Evaluation Handbook
http://www.wkkf.org/Pubs/Tools/Evaluation/Pub770.pdf
Ce guide présente l’évaluation comme un outil pratique et utile et aide l’utilisateur à dresser un plan
d’évaluation.
Traités
Research Methods Knowledge Base

Introduction to Evaluation
http://www.socialresearchmethods.net/
Ce traité en ligne initie l’utilisateur à l’évaluation et renferme des définitions de base, des objectifs, des
méthodes et des descriptions du processus d’évaluation globale. Il inclut des réponses à des questions
fréquemment posées au sujet de l’évaluation.
24
Bulletins
Centre for Community Enterprise

Making Waves, “The ‘Who’ Of Evaluation”, vol. 11, no 2.
http://www.cedworks.com/waves03.html
Cet article porte sur les questions qui entourent le recours à un évaluateur de l’extérieur et recommande que
l’on combine de l’expertise interne et de l’expertise externe.
25
Module 1
Feuilles de travail
26
27
Feuille de travail 1
Que de lettres! Combien de termes ayant
trait à l’évaluation réussirez-vous à trouver?
E F I T A M R O F I
F V T N S E M R O N
I D A B T R T F R D
T O S L U R I G M I
A N N P U T A F E C
M N A D C A B N L A
M E R E P I T E T T
O E J T E S T E C E
S B N I O S E B U U
O I M P A C T S F R
normes donnée besoin

formatif but indicateur
intrant évaluateur test
objectif formel
impacts sommatif
28
Pourquoi devrions-nous nous en

préoccuper?
Pourquoi devrions-nous nous préoccuper de la prévention
du crime dans votre collectivité?
29
30
Module 2 : Préparation du terrain –
Élaboration d’un modèle logique
Apprendre à concevoir de bons projets
Apprendre à concevoir des projets qui peuvent être soumis à une
évaluation
Apprendre à formuler pour le projet des objectifs ou des résultats
pertinents
Comprendre les éléments d’un modèle logique
Apprendre à élaborer un modèle logique
Étape 1 : Définir les objectifs ou résultats du projet et les

destinataires
Un bon plan de projet précise clairement vos objectifs ou résultats et la population qu’il est
censé servir. C’est une façon de montrer aux autres l’orientation que vous avez choisie.
(Nous utilisons les termes « objectifs » et « résultats » de façon interchangeable, comme on
le fait dans les outils de planification mentionnés dans le guide de présentation d’une
demande au Fonds d’action en prévention du crime.)
Étape 1 Exemples
9 Objectifs (résultats prévus) – Ce Réduire l’incidence du crime perpétré

que vous souhaitez accomplir ou contre les personnes âgées
changer à l’aide du projet Réduire la vulnérabilité des
personnes âgées à des fraudes et des
escroqueries courantes
9 Groupe prioritaire – À qui votre Les personnes âgées qui habitent

projet s’adresse dans la collectivité « A »
Les personnes âgées appartenant à
des groupes ethnoculturels précis
La définition des objectifs ou résultats prévus représente la première étape de l’élaboration

d’un modèle logique sur lequel reposera votre projet.
31
Le deuxième module de formation vous enseigne comment préparer un plan de projet qui
constitue aussi le premier élément du plan d’évaluation. Ces deux composantes vont de pair.
Dans le prochain module de formation, nous vous expliquerons comment préparer le reste
du plan d’évaluation.
Votre connaissance des besoins et des ressources de la collectivité vous aidera à définir les
objectifs de votre projet et le public auquel il s’adresse. Il est préférable d’utiliser une
approche objective pour évaluer les besoins et les ressources de la collectivité. Vous
connaissez peut-être déjà
l’évaluation des besoins et l’évaluation des ressources. Il s’agit d’outils de recherche et de
gestion de projet qui peuvent vous aider à planifier votre projet. Vous trouverez, à la fin de
ce chapitre, quelques ressources portant sur l’évaluation des besoins.
Si vous représentez un organisme ou un service chargé de la planification d’un projet,

assurez-vous d’inclure, au moment de l’étape de planification du projet, des membres de la
collectivité auxquels s’adresse votre projet. Vous devrez répondre aux questions suivantes :
Quels sont leurs objectifs en matière de prévention du crime?

Quels changements aimeraient-ils apporter?
À qui, selon eux, le projet devrait-il s’adresser?
En permettant aux organismes de services sociaux et aux membres de la collectivité de
partager leurs perspectives uniques, vous augmenterez vos chances de mettre sur pied un
projet équilibré.
Lorsque vous réunirez tous les intéressés, nous vous recommandons de leur donner des
conseils sur la façon de formuler des objectifs de projet pertinents. Vous en trouverez
quelques exemples ci-dessous.
Conseils pratiques sur la façon de définir des objectifs de

projet pertinents
9 Utiliser des verbes d’action comme augmenter, réduire, améliorer
9 Éviter des verbes comme fournir, développer, créer
En affirmant qu’un projet vise à « fournir des possibilités de loisirs », on ne précise pas quel
est l’objectif de ces activités de loisirs ni les changements qu’elles sont censées apporter. On
met sur pied des programmes pour apporter des changements. On ne les crée pas dans
l’unique but de fournir des produits ou des services.
En précisant que ces possibilités de loisirs renforceront le travail en équipe et les

compétences de leadership ou qu’elles réduiront le vandalisme après les heures d’école, on
formule des objectifs conformes à la règle SMART (au sens anglais du terme –
intelligent).
32
L’objectif/résultat est-il spécifique? Est-il clair? Si vous voulez renforcer la sécurité
communautaire, il faut préciser les changements précis que vous voulez apporter pour y
arriver. Mentionnez le groupe particulier que vous ciblez, les personnes âgées, les enfants
ou les jeunes par exemple, et les problèmes particuliers à l’égard desquels vous souhaitez
opérer un changement. Voici quelques exemples d’objectifs reliés à la sécurité communautaire :
9 Augmenter le nombre de « déplacements en groupe surveillés » pour les enfants qui font le trajet à pied entre
leur domicile et l’école primaire.
9 Augmenter le nombre des programmes après l’école pour les enfants « à clé », c’est-à-dire dont les parents sont
absents quand les enfants rentrent chez eux.
9 Accroître la participation des jeunes à des activités de loisirs organisées dans les régions rurales.
Pouvez-vous mesurer ou constater le changement? Pouvez-vous répondre à la question

de savoir si vous avez réalisé ou non votre objectif? À titre d’exemple, comment
mesureriez-vous l’« amélioration des partenariats »? Envisagez de reformuler cet objectif afin de préciser quels
changements surviendront. Voici quelques exemples d’objectifs plus faciles à mesurer :
9 Accroître les occasions de partager des ressources;
9 Réduire le chevauchement des services;
9 Améliorer la connaissance des ressources communautaires en prévention du crime.
Le projet vous permettra-t-il d’obtenir les résultats prévus au départ? Il

se peut qu’il ne soit pas réaliste d’établir comme objectif ou résultat la
« réduction de la criminalité », si les activités liées au projet mettent l’accent sur une
coordination accrue des services ou sur la sensibilisation à une question particulière.
L’objectif a-t-il une signification pour les personnes qui participent au projet?
Soyez réaliste quant à vos capacités, tout en gardant à l’esprit les ressources
dont vous disposez.
Ne fixez pas des objectifs à long terme pour un projet à court terme.
Concentrez-vous sur quelque chose qui peut être réalisé pendant la durée du
projet.
33
Les objectifs ou résultats : La direction des changements
Voici quelques exemples de verbes que les objectifs ou résultats devraient inclure. Il s’agit
de mots d’action qui montrent la direction du changement – c’est-à-dire si quelque chose
diminuera ou augmentera.
Affaiblir Étendre
Améliorer Hausser
Atténuer Lever
Augmenter Prévenir
Baisser Prolonger
Diminuer Réduire
Écourter Renforcer
Élargir
Et puis? Composantes, intrants, activités et extrants du

projet
Maintenant que vous avez terminé l’étape 1, vous pouvez inscrire les étapes suivantes qui
mèneront à la réalisation de votre plan de projet. Les prochaines étapes sont celles qui se
situent entre l’identification du groupe prioritaire et les résultats finaux. Elles vous montrent
comment vous atteindrez les objectifs que vous avez fixés. L’ensemble des étapes forme les
composantes clés du modèle logique de votre projet. Chaque étape mène naturellement à la
suivante. Bien que les résultats se trouvent à la toute fin du modèle logique, ils sont précisés
dès le début afin que l’on voie l’orientation de votre projet.
34
Groupe prioritaire et objectifs
Composantes du projet – grandes

stratégies/secteurs desservis
Intrant – Qui et avec quelles

ressources?
Activité – Ce qui sera fait
Extrant – Pour produire quoi?
Résultat – Quel en est l’aboutissement?

… la réalisation de vos objectifs!
Faire des ronds dans l’eau

Jetez un coup d’œil à l’image au début du document :
http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf (PLAN:NET Ltd., 2003).
Il s’agit d’une excellente métaphore pour vous aider à vous rappeler des éléments clés d’un
modèle logique et de la manière dont ils s’imbriquent.
Dans l’illustration, on voit une personne qui se trouve debout à côté d’un étang et qui tient
une pierre à la main. Lorsqu’elle laisse tomber la pierre dans l’eau, cela crée un
éclaboussement puis une série d’ondulations ou de cercles concentriques. Si nous
comparons cette image aux étapes à franchir dans l’élaboration d’un plan de projet ou d’un
modèle logique :
La pierre qui tombe dans l’étang représente l’intrant.
L’éclaboussement représente l’extrant.
À mesure que les cercles concentriques s’étendent, ils deviennent des résultats à
court terme, puis des résultats à moyen terme et finalement des résultats à long
terme.
Le contrôle diminue à mesure que les cercles concentriques s’éloignent, tout comme c’est le
cas lorsque les résultats deviennent à plus long terme. Il est plus que probable que des
35
influences autres que le projet se fassent sentir à mesure que le temps passe. Nous pouvons
contribuer aux résultats à plus long terme, mais il est rare que nous puissions les contrôler.
Qu’est-ce qu’un modèle logique?

Un modèle logique est une manière de décrire un projet. Il décrit ce qui est inclus dans notre
projet et ce qui en émane. Il répond à des questions dans cinq domaines :
Les intrants – Quelles sont les ressources dont vous avez besoin pour faire fonctionner
votre projet (p. ex. équipement, matériel, fonds pour le transport, ressources humaines)?
Les activités – Quelles sont les activités accomplies dans le cadre du projet?
Les extrants – Quel genre et combien de produits ou de services découlent de ces

activités (p. ex. le nombre de participants, le nombre de séances ou d’ateliers, le nombre
de documents promotionnels distribués)?
Les résultats – Dans quelle mesure les activités ont elles été bien menées et ont-elles
fourni les résultats escomptés? Les résultats se produisent à court, à moyen et à long
terme. Les résultats à long terme sont parfois appelés des « effets ».
L’effet (ou résultat à long terme) – Le projet a-t-il eu un effet et dans l’affirmative,
était-il positif, négatif ou entre les deux? Il s’agit là des changements « globaux » que le
projet vise à apporter; ils correspondent à l’énoncé original des objectifs du projet.
36
Voici certains exemples de résultats :
Augmentation du nombre d’activités après l’école

Meilleure coordination des services pour les jeunes
Plus grande participation des jeunes à des activités de
planification
Meilleur accès à des activités de loisirs

Amélioration des compétences de leadership
Participation accrue à des événements
communautaires
Augmentation de l’intensité du
sentiment d’appartenance
communautaire
Réduction du vandalisme et des infractions
Pourquoi élaborer un modèle logique?

La planification du projet – Les modèles logiques constituent un outil utile pour
formuler une vision et établir des priorités. C’est une bonne façon d’amener le
personnel, les gestionnaires et les partenaires d’un projet à décider ensemble ce
qu’ils espèrent accomplir et des activités qu’ils entreprendront.
Le suivi et l’évaluation – Les modèles logiques aident les évaluateurs à déterminer

l’évaluabilité d’un projet (la mesure dans laquelle les activités du projet sont reliées
logiquement aux objectifs originaux, la solidité de la logique qui sous-tend le projet
et la mesure dans laquelle les résultats escomptés sont réalistes et mesurables). Le
modèle logique fournit un point de départ pour la création de mesures du rendement
du projet et le suivi continu.
La communication et la promotion – Les modèles logiques fournissent une image

simple de ce que les programmes font et de ce qu’ils sont censés accomplir. Grâce à
eux, tous les intervenants transmettent le même message lorsqu’ils décrivent le
projet et sa raison d’être à des cadres supérieurs, aux organismes qui réfèrent des
personnes au projet, aux participants et aux médias.
37
L’orientation et la formation – Les modèles logiques donnent aux nouveaux
employés ou bénévoles une vue d’ensemble du projet.
Les demandes de subvention – Les modèles logiques représentent d’excellents

outils pour décrire des programmes à des bailleurs de fonds potentiels. Leur
inclusion dans une demande de subvention montre aux bailleurs de fonds que l’on a
amorcé la création d’une structure de responsabilisation pour le projet.
Parce qu’une variété de facteurs transformeront probablement votre projet, vous devriez
réviser régulièrement votre modèle logique afin de vous assurer qu’il correspond toujours
aux objectifs, aux activités et aux résultats escomptés de votre projet.
Éléments du projet
Le modèle logique
Groupe Groupe
prioritaire 1 prioritaire 2
Intrant Intrant Intrant Intrant
Activité Activité
Extrant Extrant Extrant Extrant Extrant
À court terme
Résultat Résultat Résultat Résultat Résultat È
À moyen terme
È
À long terme
(effet)
Effet
38
Le modèle logique de la page précédente n’est qu’un exemple de modèle logique. Ces
modèles peuvent se présenter sous la forme d’un diagramme, comme on peut le voir dans la
Feuille de travail no 3, ou d’un organigramme, comme c’est le cas dans l’exemple de page
précédente.
L’organigramme aide à montrer comment les différents éléments du modèle logique sont
reliés entre eux. Ces liens constituent un aspect important du modèle logique. Ils montrent la
logique entre les différents éléments du projet. Vous devriez pouvoir expliquer pourquoi
chaque activité que vous planifiez aboutira vraisemblablement à un résultat ou à plusieurs
résultats précis. Si une combinaison d’activités aboutit à un résultat précis, les lignes dans
l’organigramme devraient refléter cette logique.
La liste de contrôle qui suit peut vous aider à évaluer vos activités d’élaboration d’un
modèle logique.
La liste de contrôle d’un modèle logique

_____ Les résultats correspondent-ils à des changements, des avantages, des retombées ou des
effets de votre projet?
_____ Les résultats incluent-ils des verbes d’action et témoignent-ils de la direction du
changement?
_____ Chacun des résultats à long terme est-il relié à des résultats à court ou à moyen terme qui le
précèdent?
_____ Les résultats à court terme et à moyen terme relèvent-ils du contrôle du projet et
respectent-ils l’échéancier habituel de l’évaluation?
_____ Est-il raisonnable de s’attendre à ce que ces résultats à moyen terme aboutissent aux
résultats à long terme précisés, si l’on se fonde sur l’expérience ou sur les recherches
antérieures (données probantes)?
_____ Y a-t-il au moins une activité qui correspond tout particulièrement à chacun des résultats à
court terme?
_____ Est-il réaliste de s’attendre à atteindre les résultats indiqués au moyen des activités
proposées? Y aurait-il lieu d’ajouter d’autres activités? Devrait-on changer l’intensité, la
durée ou la nature des activités? Ou devrait-on repenser les résultats?
_____ Toutes les activités prévues dans le programme sont-elles nécessaires? Par exemple, y a-t-il
des activités qui ne mènent pas à des résultats? Y a-t-il certains résultats pour lesquels il y a
trop d’activités?
39
Glossaire
Évaluation de l’évaluabilité
Une évaluation de l’évaluabilité est une façon d’évaluer si un projet est prêt à subir une
évaluation officielle. Une telle évaluation peut suggérer les approches ou les méthodes
d’évaluation qui conviennent le mieux au projet.
Évaluation des besoins

Une évaluation des besoins permet de réunir et d’analyser de l’information concernant les
besoins de collectivités ou de groupes, de façon générale ou dans le contexte de questions
spécifiques.
Évaluation des ressources

Une évaluation des ressources permet de réunir et d’analyser de l’information à propos des
ressources que l’on trouve dans une collectivité ou un groupe particulier. Les ressources
peuvent inclure des personnes ou des choses qui peuvent apporter un soutien à la collectivité
qui est évaluée (p. ex., ressources financières, compétences et aptitudes des membres de la
collectivité, espace dans la collectivité, programmes ou activités communautaires).
Extrant
Par extrant, on entend les résultats concrets qu’est censée fournir la réalisation d’un projet
ou d’une activité. On pense par exemple au nombre de dépliants ou de documents distribués,
au nombre de personnes référées à un programme ou d’ateliers offerts ou au nombre de
participants qui ont bénéficié de certaines activités ou de certains services.
Intrant
Les intrants sont les ressources investies dans la mise en œuvre d’un programme ou d’un
projet. On pense par exemple à des fonds, à des ressources humaines (rémunérées et
bénévoles), à de l’équipement ou à des services. Les intrants peuvent être financés à partir
d’un budget établi pour le projet ou être fournis en nature par des partenaires au projet ou
par des bénévoles.
Modèle logique
planifier et à évaluer le projet. Un tel modèle décrit les ressources et les activités qui
contribuent à un projet et les liens logiques qui relient les activités aux résultats escomptés
du projet. Les modèles logiques sont souvent représentés par un diagramme qui inclut les
intrants, les activités, les extrants et les résultats du projet.
Références
PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le 18
mars 2004 du site http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf
40
Sites Web
Canadian Outcomes Research Institute

http://hmrp.net/canadianoutcomesinstitute/
Sur ce site Web, on trouve des documents généraux sur la mesure des résultats et une variété de documents
portant sur les modèles logiques.
Innovation Network Online

http://www.innonet.org/
On peut s’inscrire gratuitement à ce réseau. Il fournit des guides généraux dans le domaine de l’évaluation et un
éventail de ressources ayant trait aux modèles logiques. Innovation Network Online offre également un Logic
Model Builder, un outil interactif qui aide l’utilisateur à créer un modèle logique.
University of Wisconsin
Program Development and Evaluation
http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html
Ce site Web renferme des ressources, des feuilles de travail et des exemples de modèles logiques pour les
programmes.

Trousse d’outils d’évaluation
http://www.wkkf.org/Programming/Resources.aspx?CID=281
Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant
l’évaluation des programmes.
Manuels et guides

Logic Model Workbook
http://www.innonetdev.org/
On peut se procurer ce cahier de travail chez Innovation Network Online. Il fournit un processus très détaillé
pour la création d’un modèle logique. Les aspects décrits dans le cahier de travail incluent les objectifs, les
ressources, les activités, les extrants et les résultats. On fournit aussi des ressources additionnelles facilitant
l’établissement de modèles logiques.
Western Centre for Substance Abuse and Prevention

Building a Successful Prevention Program
http://casat.unr.edu/westcapt/bestpractices/eval.htm
Ce guide complet illustre la façon d’évaluer les programmes en utilisant un modèle logique. Les sujets abordés
incluent la façon de planifier une évaluation, de bâtir un modèle logique et d’effectuer une évaluation à l’aide
d’un modèle logique.

Logic Model Development Guide
41
http://www.wkkf.org/Pubs/Tools/Evaluation/Pub3669.pdf
Il s’agit d’un guide complet qui vous permet de bâtir votre propre modèle logique et qui inclut des exemples et
des feuilles de travail.
42
Module 2
Feuilles de
travail
43
Étape 1 :
Élaboration d’un plan de
projet/d’évaluation
Titre du Projet de prévention du crime :
Groupe prioritaire :
Objectifs/Résultats du projet :
44
45
46
Quelles lacunes ces résultats
présentent-ils?
1. Examinez les exemples de résultats proposés.
2. Énumérez les lacunes que présentent ces résultats.
3. Reformulez les résultats pour éliminer les lacunes que vous

avez repérées.
47
Intrants Activités Extrants Résultats Effets
Intrants Activités Extrants Résultats Effets
(Lancement (Chute de la (Éclaboussement) (Cercles concentriques) (Résultats à
de la pierre) pierre dans À court À moyen
long terme)
l’étang) terme terme (Cercle extérieur)
49
50
Feuille de travail 4 a
Étude de cas : Enseigner à des jeunes
comment réagir aux relations de violence
Le problème : Violence perpétrée par des hommes contre
des femmes dans une collectivité rurale isolée
Les partenaires : Les Grands Frères, les enseignants des
écoles secondaires, les écoles locales, un club philanthropique,
deux entreprises locales
Les objectifs :
Réduire l’incidence de relations de violence chez les jeunes
Augmenter la capacité des élèves du secondaire I au
secondaire III de reconnaître les signes avant-coureurs de la
violence dans les relations intimes
Améliorer la capacité des élèves de résoudre les problèmes
avant qu’ils ne mènent à la violence
Les ressources : deux employés affectés gratuitement au
projet par l’organisation des Grands Frères; des locaux et de
l’équipement fournis par des écoles locales, des subventions du
club philanthropique et six animateurs bénévoles
Le plan de travail :
Deux intervenants collaboreront avec les enseignants afin
de produire les documents destinés à des ateliers sur les
relations saines qui se tiendront pendant 12 semaines et qui
seront offerts aux filles du secondaire I au secondaire III
Deux intervenants collaboreront avec des enseignants pour
mettre sur pied un projet d’une durée de six semaines
destinés aux garçons du secondaire I au secondaire III
Un intervenant formera trois animateurs qui offriront le
programme de 12 semaines aux filles
51
Un intervenant formera trois animateurs qui offriront le
programme de mentorat aux garçons
Trois animateurs offriront le programme de 12 semaines
aux filles
Trois animateurs offriront le programme de mentorat aux
garçons
Étape 1 : Les objectifs et les priorités

Les objectifs Réduire l’incidence des relations empreintes de
violence chez les jeunes
Augmenter la capacité des élèves du secondaire
I au secondaire III de reconnaître les signes
avant-coureurs de la violence dans les relations
intimes
Améliorer la capacité des élèves de résoudre les
problèmes avant qu’ils ne mènent à la violence
Les groupes Les garçons du secondaire I au secondaire III
prioritaires Les filles du secondaire I au secondaire III
Les objectifs énumérés ci-dessus ont été établis pour le projet à

l’étape de la planification. La prochaine étape consiste à créer un
modèle logique pour le projet. Au cours de la création du modèle,
vous arriverez peut-être à formuler des résultats plus précis que
les objectifs énumérés ci-dessus.
La liste de contrôle du modèle logique

_____ Les résultats correspondent-ils à des changements, des
avantages, des résultats ou des effets de votre projet?
_____ Les résultats incluent-ils des verbes puissants et
montrent-ils la direction du changement?
_____ Chacun des résultats à long terme est-il relié à des
résultats à court ou à moyen terme qui les précèdent?
52
_____ Les résultats à court terme et à moyen terme
relèvent-ils du contrôle du projet et respectent-ils
l’échéancier habituel de l’évaluation?
_____ Est-il raisonnable de s’attendre à ce que ces résultats à
moyen terme aboutissent aux résultats à long terme
précisés, si l’on se fonde sur l’expérience ou les
recherches antérieures (données probantes)?
_____ Y a-t-il au moins une activité qui correspond tout
particulièrement à chacun des résultats à court terme?
_____ Est-il réaliste de s’attendre à obtenir les résultats
indiqués au moyen des activités proposées? Y aurait-il
lieu d’ajouter d’autres activités? Devrait-on changer
l’intensité, la durée ou la nature des activités? Ou
devrait-on repenser les résultats?
_____ Toutes les activités prévues dans le programme sont-
elles nécessaires? Par exemple, y a-t-il des activités qui
ne mènent pas à des résultats? Y a-t-il certains
résultats pour lesquels il y a trop d’activités?
53
54
Feuille de travail 4 b
Étude de cas : Projet de développement
pour jeunes autochtones à risque
Le problème : Les jeunes autochtones vivant en milieu urbain
se sentent déconnectés de leur culture et de leur
infrastructure scolaire. Ils sont à risque de s’engager dans
des activités de gang néfastes.
Les partenaires : Centre d’amitié autochtone, YMCA, camps
d’été, aînés de la communauté autochtone
Les objectifs :
Favoriser la fierté et le respect de la culture traditionnelle
chez les jeunes autochtones vivant en milieu urbain
Augmenter le sentiment d’appartenance à la grande
communauté autochtone
Favoriser le développement de moyens sains pour exprimer
des sentiments d’agressivité et d’aliénation
Réduire chez les jeunes autochtones vivant en milieu urbain
l’adhésion à des gangs
Les ressources : Quatre personnes engagées pour l’été au
Centre d’amitié autochtone grâce au financement du Centre
national de prévention du crime, la participation d’un superviseur
de ce centre, un local communautaire au YMCA, une période de
huit semaines à un camp de vacances, le soutien de deux aînés
autochtones, l’utilisation de deux autobus scolaires, quatre
parents bénévoles, une subvention de $7500 pour couvrir les
fournitures nécessaires au programme et l’utilisation des
autobus.
55
Deux employés d’été d’expérience embauchés pour 14
semaines recruteront les jeunes et ils seront chargés du
développement et de l’animation des activités pour les deux
volets du programme. Le programme comprendra deux
groupes participant en alternance à des activités urbaines
d’une durée de quatre semaines et à un camp d’été d’une
durée de quatre semaines.
Deux assistants seront engagés pour 11 semaines en vue
d’aider les personnes d’expérience dans la préparation,
l’animation et le suivi des activités.
Les activités urbaines comprendront l’enseignement de la
culture autochtone, l’exploration de l’art et du théâtre, le
basketball et d’autres activités sportives au YMCA, des
groupes de discussion avec les aînés et un projet commun
planifié avec les jeunes qui sera couronné par un projet
communautaire tel une murale, une pièce de théâtre ou une
randonnée dans la nature destinée aux membres de la
communauté et dirigé par les jeunes.
Les activités du camp seront similaires à celles offertes en
milieu urbain. Celles-ci devront cependant mettre l’accent sur
la culture traditionnelle et les aptitudes à la vie quotidienne,
les groupes de discussion et les activités sportives
extérieures.
Une personne d’expérience et un assistant animeront les 12
à 15 jeunes à risque dans le programme de quatre semaines en
milieu urbain avec l’aide d’un aîné et de deux parents
bénévoles. Une équipe équivalente animera le groupe du camp
d’été. Les deux groupes changeront de programme à la fin
des quatre semaines.
56
Étape 1: Objectifs et groupe prioritaire
Objectifs Favoriser la fierté et le respect de la culture
traditionnelle chez les jeunes autochtones vivant
en milieu urbain
Augmenter le sentiment d’appartenance à la
grande communauté autochtone
Favoriser le développement de moyens sains
pour exprimer des sentiments d’agressivité et
d’aliénation
Réduire chez les jeunes autochtones vivant en
milieu urbain l’adhésion à des gangs
Groupe Des jeunes autochtones à risque âgés de 14 à 17
prioritaire ans vivant en milieu urbain


57
58
Feuille de travail 4 c
Étude de cas : Constitution d’un réseau
et de partenariats
Le problème : L’absence d’infrastructure et de moyens ciblés
pour travailler sur les causes profondes de la criminalité dans
une communauté de taille moyenne.
Les partenaires : La commission scolaire, quatre centres
communautaires, trois églises locales, les citoyens, un organisme
de jeunes, la police, un centre d’aide à l’emploi, la direction du
centre commercial.
Les objectifs :
Augmenter la création de grands partenariats
communautaires s’intéressant aux enjeux de prévention du
crime.
Accroître la sensibilisation des organismes communautaires
et des ONG aux causes profondes de la criminalité
Augmenter les connaissances des organismes
communautaires et des ONG en ce qui concerne les moyens de
faire échec aux causes profondes de la criminalité et
demander leur soutien.
Améliorer la coordination et la capacité communautaire en
prévention du crime
Les ressources : Un coordonnateur à temps partiel, des
représentants des organismes partenaires, dix membres
engagés de la communauté, un don de $1000 de la direction du
centre commercial, l’utilisation d’un local et de l’équipement du
centre communautaire.
Les principaux partenaires formeront un comité directeur.
59
Les membres du comité et le coordonnateur recruteront
d’autres membres qui possèdent des habiletés de leadership.
Trois sous-comités seront constitués : un sous-comité de
sensibilisation du public, un sous-comité de développement
professionnel et un sous-comité de levée de fonds.
Le comité directeur organisera une journée de planification
de la prévention du crime engageant la participation des
comités et réseaux communautaires existants dont l’objectif
sera d’identifier des programmes prometteurs qui pourront
être implantés dans la communauté.
Le sous-comité de sensibilisation du public organisera et
mettra en oeuvre une vaste campagne de sensibilisation du
public durant la première année.
Le sous-comité de développement professionnel créera et
proposera aux membres des organisations des activités de
formation professionnelle portant sur les moyens de réduire
les causes profondes du crime.
Le sous-comité de levée de fonds établira des contacts
avec les fondations locales et préparera des demandes de
financement d’activités répertoriées lors de la journée de
planification.
Étape 1: Objectifs et groupes

prioritaires
Objectifs Augmenter la création de grands partenariats
communautaires s’intéressant aux enjeux de
prévention du crime.
Accroître la sensibilisation des organismes
communautaires et des ONG aux causes profondes
de la criminalité
Augmenter les connaissances des organismes
communautaires et des ONG en ce qui concerne
60
les moyens de faire échec aux causes profondes
de la criminalité et demander leur soutien.
Améliorer le réseautage et les partenariats chez
les membres.
Groupe La communauté au sens large
prioritaire ONG/églises/commerces


61
62
Module 3 : Élaboration d’un plan
d’évaluation
Apprendre à élaborer un plan d’évaluation, notamment :
Définir les questions d’évaluation
Choisir les indicateurs
Choisir les méthodes de collecte des données
Établir des stratégies d’échantillonnage
Effectuer une analyse des données
Présenter les résultats
Qu’avons-nous appris jusqu’ici?

Nous connaissons les objectifs et le groupe prioritaire que le projet désire atteindre.
Nous avons défini les liens entre les buts du projet et les intrants, les activités, les
extrants et les résultats.
Nous comprenons les hypothèses avancées en relation avec ces liens ou relations.
Rappelez-vous le Module 2 dans lequel les relations entre les objectifs du projet et les intrants, les
activités, les extrants et les résultats sont illustrés dans le modèle logique au moyen de lignes qui
montrent les relations entre les divers éléments. Les hypothèses sur lesquelles reposent ces relations ne
sont pas représentées dans le modèle, mais il serait utile de les décrire dans le plan d’évaluation. Pour
chaque résultat défini, il faudrait fournir une justification expliquant pourquoi l’activité aboutira
probablement à ce résultat particulier.
Dans le cadre des évaluations des projets financés par le Fonds pour la recherche et le
développement des connaissances, on formule une théorie du changement qui consiste à
vérifier les hypothèses avancées dans le modèle logique en les comparant aux connaissances
décrites dans les ouvrages spécialisés.
Si vous souhaitez en apprendre davantage sur la formulation d’hypothèses sur lesquelles

repose votre modèle logique ou vérifier la logique de votre programme, nous vous invitons à
visiter le site Web http://www.theoryofchange.org/html/example.html
Et puis?
Définissez le but de votre évaluation et les questions auxquelles vous souhaitez qu’elle
réponde.
Définissez les indicateurs qui montreront que votre projet atteint ses objectifs ou les
résultats prévus.
Définissez les sources d’information pour ces indicateurs.
Décidez comment vous recueillerez l’information.
63
Quelles sont les étapes d’un plan d’évaluation?
t
Décrire les objectifs du projet et le groupe cible
Présenter un modèle logique pour le projet
Déterminer les sources d’information
Décrire les méthodes de collecte des données et le

cadre d’échantillonnage
Proposer un plan d’analyse
Décrire la stratégie de communication
Nous avons franchi les deux premières étapes (indiquées en noir) dans le Module 2. Dans le Module 3, nous
examinerons les autres étapes de l’élaboration d’un plan d’évaluation.

Déterminez l’objectif de l’évaluation (et non du projet) – Cela vous donnera une idée des questions
auxquelles vous souhaitez que l’évaluation réponde. Obtenez différents points de vue lorsque vous
formulez les questions d’évaluation. Par exemple, consultez à ce sujet le bailleur de fonds, des employés,
des participants, des partenaires et d’autres personnes.
Voici quelques suggestions :

Le projet a-t-il été mis en œuvre tel que comme il a été prévu?
Le groupe prioritaire a-t-il eu accès au projet?
Le projet a-t-il atteint son but (résultats prévus)?
Le projet a-t-il eu des résultats imprévus (positifs ou négatifs)?

Qu’est-ce qu’un « indicateur »?
Une variable (ou une donnée) qui mesure un aspect d’un programme ou d’un projet.
Il indique si un projet a atteint un objectif particulier.
Il devrait y avoir au moins un indicateur pour chacun des éléments du projet (c’est-à-dire qu’il
en faut un pour chaque résultat défini dans le modèle logique).
Les indicateurs peuvent être compliqués! 64

Il y a deux types d’indicateurs :
Un indicateur touchant le processus fournit des preuves qu’une activité s’est déroulée
telle qu’elle a été prévue dans le cadre du projet.
Un indicateur touchant un résultat fournit des preuves qu’une activité entreprise dans le
cadre d’un projet a entraîné un changement ou une modification dans un comportement,
une attitude, une collectivité, etc.
Un indicateur doit donc être un aspect que nous nous attendons à voir changer ou varier
entre le début du projet (désigné comme le point de référence) et plus tard, au moment où
les activités du projet sont terminées et ont probablement eu un effet.
Les indicateurs peuvent toucher des intrants, des extrants ou des résultats, mais il faut
les définir étroitement et d’une manière qui décrit avec précision ce que vous tentez de
mesurer. La création des indicateurs est probablement l’étape la plus délicate de la
conception d’une évaluation. Les indicateurs devraient :
fournir de l’information probante à la fois exacte et fiable,
être faciles à utiliser,
fournir de l’information utile permettant de prendre des décisions de gestion.
Les critères de sélection d’un indicateur

9 La validité – Mesure-t-il les résultats?
9 La fiabilité – Mesure-t-il uniformément les résultats au fil du temps (c’est-à-dire que les
résultats ne varient pas en raison de légers changements dans l’humeur du répondant ou
de circonstances propres à une journée particulière)?
9 Le caractère opportun – Fournit-il de l’information en temps opportun en ce qui
concerne les objectifs et les activités du projet?
9 L’éthique – Peut-on recueillir l’information sans porter atteinte à la vie privée et en
respectant les principes d’éthique en recherche sociale?
9 L’utilité – Fournit-il de l’information utile aux gestionnaires du projet?
9 La comparabilité – Permet-il de comparer les résultats entre différents groupes d’une
population ou entre différentes méthodes?
Rappelez-vous la métaphore de l’éclaboussement (point d’impact) et des cercles concentriques (PLAN:NET
Ltd., 2003) que nous avons utilisée dans le Module 2. Si nous voulions mesurer l’effet de la pierre qui tombe
dans l’étang, quel serait un bon indicateur? (Indice : les cercles concentriques représentent les résultats.)
Convenons que la circonférence du cercle concentrique le plus éloigné du centre pourrait un

indicateur de l’impact de la chute de la pierre.
La validité – En mesurant la circonférence du cercle extérieur, pouvons-nous connaître
l’importance du résultat final?
La fiabilité – Le fait de mesurer la circonférence des cercles concentriques extérieurs
pour 20 chutes de pierres différentes nous permettrait-il d’évaluer avec exactitude les
résultats finals? Ou est-ce que ces résultats pourraient changer d’une mesure à une autre?
À noter qu’en cas de vent, il se peut qu’il soit difficile d’évaluer les ondulations.
Comme nous l’avons dit lorsque nous avons utilisé cette métaphore dans le module
précédent, nous avons moins de contrôle à mesure que les cercles s’étendent, tout
65
comme les responsables des projets exercent moins de contrôle sur les résultats à
plus long terme.
Le caractère opportun – Comment le moment où l’indicateur a été mesuré peut-il
influencer le résultat?
Il convient de noter que si nous mesurons le cercle extérieur trop rapidement, nous
risquons d’examiner en fait un cercle concentrique intérieur, c’est-à-dire un résultat à
court ou à moyen terme – plutôt que l’ondulation extérieure. Si nous attendons trop
longtemps, l’ondulation risque de disparaître. Bien que nous soyons généralement
optimistes quant à la permanence des résultats du projet, il peut arriver que nous ne
puissions en être tout à fait certains. Les évaluations incluent parfois une mesure
environ un an après le programme ou l’activité pour voir si les changements
constatés immédiatement après le projet sont durables.
L’éthique – Cette question ne se présente probablement pas lorsqu’il s’agit de la chute
d’une pierre, à moins qu’elle soit lancée dans le bain de quelqu’un! Par contre, lorsque
nous avons affaire à des êtres humains, nous voulons protéger leur vie privée et
respecter les principes de l’éthique.
L’utilité – Qu’apprendrons-nous en mesurant la circonférence de l’ondulation
extérieure? Saurons-nous de quelle hauteur la pierre est tombée ou la hauteur du palmier
d’où elle a été lancée?
Si nous ne savons pas quelle est la hauteur de l’arbre (c’est-à-dire, si nous ne
disposons pas de quelques données sur la nature de l’« intervention »), l’information
à propos de la taille du cercle concentrique extérieur (ou le résultat) ne sera pas très
utile.
La comparabilité – La circonférence des cercles concentriques sera-t-elle comparable
entre les petits et les gros étangs? Sera-t-elle aussi comparable si la goutte tombe d’un
robinet plutôt que d’un arbre?
On peut mettre en parallèle ces questions et le monde réel de l’évaluation des
projets. La différence entre un grand étang et un petit étang, par exemple, est un peu
comme la différence entre les projets dans les collectivités urbaines et ceux dans les
collectivités rurales. La différence entre une goutte qui tombe d’un robinet et celle
qui tombe d’un arbre est aussi évidente que la différence entre un projet réalisé par
des intervenants formés et un projet réalisé par des intervenants n’ayant pas suivi
une formation.
Quelques autres facteurs à prendre en considération lors

de la sélection des indicateurs
9 La disponibilité – Il peut arriver que l’information qui serait le meilleur indicateur du
changement ne soit pas accessible. Par exemple, un projet visant à éviter que des élèves
de l’école secondaire se retrouvent dans des relations de violence pourrait bénéficier de
l’information provenant des constats de police dans les cas de viols survenus pendant les
fréquentations ou d’incidents de violence signalés dans les relations entre les élèves des
écoles secondaires participant au projet. Il se peut toutefois que l’information provenant
des constats de police ne puisse être ventilée par district scolaire.
66
9 Les ressources – Il serait idéal d’assurer un suivi à long terme auprès des participants au
projet décrit dans l’exemple ci-dessus pour savoir s’ils se retrouvent dans des relations
de violence, avec le temps. Cela risque d’être impossible à cause du coût élevé d’une
telle étude. Les ressources constituent une préoccupation constante dans les projets qui
disposent d’un budget limité.
9 Les besoins liés au programme – Certaines données ne sont peut-être pas disponibles
au moment où nous en avons besoin pour faire l’évaluation. Il se peut, par exemple, que
l’information à propos des intrants financiers ne soit disponible que pour l’exercice
financier du projet et non pour la période sur laquelle porte l’évaluation.
9 Les exigences du bailleur de fonds – Les bailleurs de fonds exigent que l’information
soit réunie d’une certaine manière. Si cette même information s’avère nécessaire à
l’évaluation, il se peut que nous devions adapter le plan d’évaluation pour répondre à ces
exigences.
Splash and Ripple: Planning and Managing for Results (PLAN:NET Ltd., 2003) est un bon document de
référence qui vous aidera à sélectionner des indicateurs.
Déterminer les sources d’information

Une fois que vous avez élaboré vos indicateurs, vous pouvez déterminer les sources de
renseignements dont vous avez besoin. Il est conseillé d’utiliser plusieurs sources
d’information.
Les chercheurs parlent souvent de l’importance de la triangulation. Cette pratique consiste à

réunir de l’information provenant de plus d’une source. À titre d’exemple, vous pourriez
analyser les résultats d’un questionnaire administré avant et après l’intervention, ainsi que de
l’information fournie par un groupe de discussion, et aussi examiner des dossiers liés au
projet. Vous pourrez alors comparer les résultats obtenus de ces sources d’information
distinctes pour confirmer si elles vous fournissent des renseignements similaires. Si plus
d’une source vous fournit de l’information semblable, vous pourrez alors vous fier
davantage à la validité des résultats dont vous rendrez compte.
Voici certaines sources d’information usuelles accompagnées de suggestions quant aux

méthodes à utiliser pour en tirer de l’information :
9 Les participants – formulaire à remplir à l’admission, entrevues, groupes de discussion,

observation
9 Le public – enquêtes, questionnaires, statistiques sur la communauté
9 D’autres organismes – groupes de discussion, entrevues avec des détenteurs clés
d’information, sondages
9 Les employés affectés au projet – groupes de discussion, entrevues avec des
informateurs clés, dossiers/notes concernant le projet
9 Les médias – examens des rapports dans les médias
67
Choisir les méthodes de collecte des données
Comment pouvez-vous obtenir l’information?
9 L’examen des dossiers/des documents liés au

projet
9 Les entrevues/les groupes de discussion
9 Les sondages/les questionnaires
9 L’observation des participants
9 Données/statistiques concernant la population
Lorsque vous décidez de la nature, de la qualité et de l’origine des données à recueillir,

évitez de vous disperser. Établissez des priorités et commencez par l’information que vous
pouvez obtenir au sein de votre organisation, comme des renseignements au sujet des
activités et des procédures faisant partie de votre projet. Si vous découvrez quelque chose
d’étonnant qui nécessite une recherche plus approfondie, vous pouvez toujours modifier
votre plan d’évaluation.
Malgré leurs ressources limitées, les projets financés par le Fonds d’action en prévention du
crime devraient tenter de trouver des façons de mesurer l’effet du projet – C’est à dire
qu’est-ce que le projet a apporté. – et non uniquement le processus. Au stade de
l’élaboration de leur proposition, les groupes qui présentent une demande de fonds au FAPC
devraient réfléchir aux façons d’incorporer la composante d’évaluation aux activités du
projet. À titre d’exemple, les groupes de discussion peuvent parfois avoir un double
objectif : aider à favoriser le développement communautaire tout en permettant de découvrir
ce qui a bien fonctionné et ce qui n’a pas bien marché jusqu’à ce jour.
Dans tous les cas, il est important d’obtenir un consentement éclairé pour toute information
recueillie. Si l’information réunie inclut des photographies ou des vidéos des participants, il
faut toujours obtenir le consentement de ces personnes quelle que soit la façon dont vous
utiliserez les documents. Lorsque vous obtenez de l’information ou que vous prenez des
photographies d’enfants et d’adolescents, il est nécessaire d’obtenir d’abord le consentement
de leurs parents.
Qui devrait obtenir l’information?

Les décisions concernant la ou les personnes qui se chargeront de recueillir l’information
qui servira à l’évaluation dépendront d’un certain nombre de facteurs : la facilité d’accès, le
besoin d’objectivité, les questions liées à la qualité de l’information et la protection de la
confidentialité. Il est parfois plus pratique et plus facile de demander aux intervenants du
projet d’obtenir l’information des participants. À titre d’exemple, lorsque les intervenants
obtiennent déjà de l’information au moment de l’admission pour mieux comprendre les
besoins des participants au début d’un projet, il serait facile d’adapter l’entrevue
d’admission afin qu’elle inclue des questions qui serviront à l’évaluation. Dans d’autres
situations, il serait préférable de demander à une tierce partie d’obtenir l’information afin de
réduire la possibilité de partialité. Dans d’autres situations, les participants peuvent remplir
eux-mêmes les questionnaires. Lorsque vous optez pour cette façon de procéder, il faut tenir
68
compte des risques qui pourraient compromettre la qualité des données, l’analphabétisme ou
un manque de connaissance du français ou de l’anglais comme langue seconde, par
exemple.
La question de la confidentialité est aussi étroitement liée à l’identité de la ou des personnes

qui réuniront l’information. Réfléchissez à la façon dont vous assurerez la confidentialité des
renseignements personnels et, dans certains cas, comment vous protégerez l’anonymat des
personnes qui les fournissent.
Quand obtenir l’information?

Voici quelques options :
9 Fréquemment
9 Après chaque événement/activité
9 À intervalles réguliers
9 Avant et après le programme
Lorsque vous réunissez de l’information sur un résultat, à tout le moins, vous devriez tenter
de recueillir de l’information :
avant le début du projet ou de l’activité (ou peu après) et
après la fin du projet ou de l’activité.
L’information recueillie avant un projet ou une activité est ce qu’on appelle l’information
de base. Elle montre la situation telle qu’elle était dans la collectivité, ou pour les
participants individuels, avant le début du projet ou de l’activité ou avant que les participants
individuels aient commencé à bénéficier du projet ou de l’activité.
En plus de recueillir de l’information après la fin du projet (ou après que les participants
aient terminé une série d’activités dans le cadre du projet), il est conseillé de recueillir de
l’information sur les résultats à un autre moment, c'est-à-dire de six mois à un an après
l’intervention. Cela vous permettra de voir si les changements constatés immédiatement
après l’intervention sont durables. Il se peut qu’il soit impossible d’assurer ce suivi à plus
long terme dans le cas des projets financés par le FAPC, à cause des contraintes budgétaires
ou du manque de temps.
Les facteurs à prendre en considération
9 La pertinence des outils –

Il faut s’assurer que les outils de collecte d’information correspondent à la nature de
l’information que vous souhaitez obtenir. Si vous souhaitez par exemple obtenir une
vue d’ensemble d’un sujet ou d’une question particulière, il pourrait être plus utile
d’obtenir de l’information qualitative.
Si votre projet s’adresse à des personnes appartenant à divers groupes ethniques ou
religieux, vous devrez vous assurer que les outils de collecte des données que vous
avez choisis conviennent sur le plan culturel. À titre d’exemple, les mesures de
69
l’estime de soi sont souvent fondées sur le concept occidental de ce qui constitue une
bonne opinion de soi.
Assurez-vous que le langage utilisé dans l’instrument correspond au niveau de
langage des répondants. Si les répondants sont plus ou moins alphabétisés, utilisez
les outils verbalement.
Assurez-vous de la valeur pratique des méthodes de collecte des données que vous
sélectionnerez; elles devraient être à la fois abordables et permettre d’obtenir
l’information dont vous avez besoin.
9 L’adaptation aux répondants –

Envisagez d’inclure des participants potentiels à la sélection et à l’élaboration des
outils de collecte des données.
Assurez-vous d’adapter les outils à la culture et à l’âge des répondants.
Évitez les questions indiscrètes si elles ne sont pas essentielles à l’évaluation.
Il faut se concentrer sur l’information qu’il est nécessaire de connaître afin d’éviter
les questionnaires inutilement longs.
9 Les ressources nécessaires à l’analyse –
Les données quantitatives sont généralement moins longues à analyser, surtout
lorsqu’on utilise des logiciels d’analyse de données. Rappelez-vous que les analyses
plus sophistiquées nécessiteront des connaissances dans le domaine de la statistique.
Les analyses qualitatives ne requièrent pas de connaissances en statistique, mais
elles peuvent être très longues (et par conséquent coûteuses) et doivent être
effectuées méthodiquement afin de réduire la subjectivité au minimum.
9 La crédibilité –
Les évaluations doivent pouvoir résister aux critiques des intervenants tels que les
partenaires, les participants et les bailleurs de fonds. Consultez les personnes qui
possèdent de l’expertise en méthodes d’évaluation et de recherche pour vous assurer
que vous avez compensé pour ce qui pourrait compromettre l’intégrité de
l’évaluation. Vous trouverez plus de renseignements sur ces risques dans le
Module 5.
En utilisant plus d’une méthode pour mesurer chacun des résultats, vous accroîtrez
la crédibilité de votre analyse.
Les données qualitatives par opposition aux données quantitatives
1. Les données quantitatives
Les mesures quantitatives tendent à évaluer des aspects tels que :
la fréquence
l’intensité
la durée
Les données quantitatives répondent à des questions comme : Combien? Quel nombre? On
peut obtenir ces réponses par des questionnaires qui comportent des échelles graduées, des
70
questions à choix multiples ou des questions vrai/faux. Ces outils sont souvent utilisés pour
évaluer des changements d’attitudes ou de comportements.
Des données quantitatives peuvent être comparées entre différentes populations, études ou
périodes. À titre d’exemple, le nouveau guide de présentation d’une demande de
financement au FAPC comporte un certain nombre de questions à choix multiples. Le
CNPC peut compiler les réponses à ces questions pour en apprendre davantage sur les types
de projets proposés d’un bout à l’autre du Canada, dans des provinces ou des collectivités
précises, ou à des moments différents.
Les mesures quantitatives sont souvent faciles à administrer, à noter et à interpréter. Par
contre, selon le degré d’élaboration des données que vous souhaitez recueillir et des analyses
que vous souhaitez effectuer, il se pourrait que vous deviez faire appel à un spécialiste en
statistique pour analyser certaines données quantitatives.
Voici quelques exemples de questions qui fournissent des données quantitatives :
Échelle graduée :
1. Veuillez indiquer votre degré de satisfaction à l’égard du programme.
1 2 3 4 5
Très Très
satisfait insatisfait
Question fermée ou à choix multiples :

2. Quels services avez-vous obtenus? (Cochez toutes les réponses qui s’appliquent.)
Instruction en salle de classe
Mentorat/soutien individuel
Acheminement à d’autres services
Question Vrai/Faux :
3. Indiquez si les affirmations suivantes sont vraies ou fausses :
a) La jalousie est un signe d’amour. V F
b) Lorsqu’une femme reçoit des coups de V F son
partenaire, elle doit l’avoir provoqué
d’une façon ou d’une autre
71
2. Les données qualitatives
Les mesures qualitatives fournissent de l’information descriptive qui explique comment et

pourquoi certaines choses se sont produites. Combinées à des mesures quantitatives, les
mesures qualitatives peuvent fournir un contexte pour les résultats d’une étude. À elles
seules, elles fournissent de l’information détaillée qui peut servir à explorer différentes
questions, notamment pourquoi et comment fonctionnent les projets.
Voici quelques exemples de questions qui fournissent des données qualitatives :

1. Comment décririez-vous la participation de votre organisme au projet de
prévention des relations de violence?
2. D’après vous, dans quelle mesure la coalition communautaire a-t-elle réussi à

sensibiliser les élèves aux signes avant-coureurs d’une relation de violence?
Forces et faiblesses
Type de données Forces Faiblesses

Quantitatives Plus facile de combiner les
données pour obtenir des
Difficile de formuler de
bonnes questions
résultats Ne fournissent pas de
Perçues comme objectives l’information détaillée
Rapidité de l’analyse Moins personnelles
Qualitatives Fournissent de
l’information approfondie et
L’analyse prend beaucoup
de temps
« détaillée » Risquent de ne pas convenir
Plus facile de formuler des aux grands échantillons
questions Il est difficile de
S’inscrivent dans la combiner les données pour
tradition orale différents participants
Les facteurs à prendre en considération lorsque vous choisissez les méthodes d’enquête
Le tableau ci-dessous peut vous aider à choisir la méthode de collecte des données qui
correspond le mieux à votre évaluation. Lorsque vous lisez « Oui » dans une colonne à côté
d’une option particulière, cela signifie qu’elle convient dans la situation indiquée dans la
colonne de gauche.
Il est important de se rappeler que bien que les entrevues téléphoniques présentent de
nombreux avantages, il est possible que cette méthode ne soit pas la meilleure lorsqu’un
72
grand nombre des participants au projet ont un faible revenu et qu’ils n’ont peut-être pas le
téléphone.
Facteur Types d’enquêtes

important Sondage Entrevue Entrevue Groupe
postal téléphonique en de
personne discussion
Échantillon important requis Oui Peut-être Non Non
Taux de réponse élevé Non Peut-être Oui Oui
requis
Ciblage de groupes précis Non Peut-être Oui Oui
Enjeux complexes Peut-être Non Oui Oui
Questions ouvertes requises Non Peut-être Oui Oui
Besoin d’obtenir des détails Non Peut-être Oui Oui
Non-disponibilitété Oui Non Non Non
d’intervieweurs formés
Besoin d’obtenir les Non Peut-être Oui Oui
résultats rapidement
Budget limité Oui Peut-être Non Non
La décision de procéder par « échantillonnage »
L’échantillonnage désigne un processus consistant à choisir un

sous-groupe ou un échantillon de personnes à étudier afin de
pouvoir faire des généralisations au sujet de la population ou du
groupe plus vaste dont ces personnes font partie.
Les évaluations ne requièrent pas nécessairement une stratégie d’échantillonnage, mais

l’échantillonnage peut réduire le nombre des ressources nécessaires à la collecte et à
l’analyse de l’information. Dans les cas où le nombre de participants est restreint (moins de
30 participants par exemple), obtenez de l’information de tous les participants. En règle
générale, lorsqu’il est simple et peu coûteux d’inclure tous les participants à votre étude, il
est conseillé de le faire. Si, par ailleurs, la population étudiée est importante,
l’échantillonnage peut réduire les ressources devant être consacrées à la collecte et à
l’analyse des données. Le choix d’un échantillon dans une population très importante peut
même aider à réduire le taux d’erreur.
Lorsque vous décidez de la taille de votre échantillon, tenez compte des facteurs suivants :
73
9 Les ressources disponibles (personnel, argent, temps) pouvant être consacrées à la
collecte des données et à l’analyse.
9 L’analyse prévue – Si vous recueillez de l’information qualitative, par exemple, vous

devriez limiter le nombre des répondants. La transcription et l’analyse des données
qualitatives peuvent prendre beaucoup de temps et coûter très cher.
Si vous avez l’intention d’analyser séparément l’information que vous obtenez de
différents groupes (les personnes à faible revenu comparées à celles qui ont un
revenu moyen, les hommes comparés aux femmes, les femmes ayant un faible
revenu et celles qui ont un revenu moyen, par exemple), assurez-vous qu’il y aura un
nombre suffisant de participants pour permettre l’analyse de ces sous-groupes.
9 Le taux de réponse prévu –

Certaines personnes sélectionnées aux fins de l’étude pourraient refuser d’y
participer.
Si vous avez l’intention de recueillir de l’information à différents moments, il va
sans dire qu’un certain nombre de personnes pourraient avoir abandonné avant que
toutes les données aient été recueillies.
Certaines méthodes ont des taux de réponse moins élevés que d’autres. Par exemple,
en général, les taux de réponse sont faibles lorsque des questionnaires de sondages
sont envoyés par la poste, même si de fréquents rappels sont faits par la suite.
9 L’importance de la crédibilité – Les échantillons devraient toujours être représentatifs

du groupe entier dans lequel ils sont prélevés. Voici quelques exemples d’échantillons
qui ne seraient pas considérés comme crédibles :
un groupe de discussion dont font partie uniquement les participants qui, d’après les
employés, ont eu de bonnes expériences dans le cadre du projet;
des questionnaires d’enquête sur la satisfaction remis uniquement aux participants
qui ont terminé les activités dans le cadre du projet;
des questionnaires d’enquête envoyés uniquement aux résidents du quartier qui
vivent dans des maisons unifamiliales.
74
Le choix d’un échantillon
Quantitatif – Choisissez un échantillon qui est représentatif de la population que vous
étudiez. Des tables d’échantillonnage peuvent vous aider à déterminer la taille
appropriée de votre échantillon.
Lorsque l’échantillon est aléatoire, tous les membres de la population ont une
chance égale d’être sélectionnés. Un échantillon aléatoire peut inclure chaque nième
personne dans la population étudiée, après la sélection de la première personne au
hasard. Par exemple, vous pourriez sélectionner au hasard un moment de la semaine.
La première personne choisie pour votre projet après ce moment-là serait la première
personne sélectionnée pour votre échantillon. Vous pourriez ensuite sélectionner
chaque cinquième personne après cette première personne.
Lorsque vous prélevez un échantillon aléatoire stratifié, vous commencez par
diviser le groupe entier des participants en différents sous-groupes. Le terme
« stratifié » désigne la répartition d’un groupe en différentes parties. Vous pourriez
par exemple diviser la population examinée en différents groupes en fonction de
caractéristiques comme le sexe, le niveau de scolarité ou l’appartenance culturelle.
Ensuite, vous pourriez prélever un échantillon au hasard dans chacun des sous-
groupes. Ainsi, vous disposerez de nombres représentatifs dans les différents
sous-groupes à l’intérieur d’une population.
Qualitatif – Pour faire de la recherche qualitative, vous pouvez utiliser un certain

nombre de stratégies d’échantillonnage, y compris l’échantillon aléatoire. Dans le cadre
des études qualitatives, on choisira plutôt des participants qui peuvent fournir de
l’information approfondie et détaillée et différentes perspectives sur le sujet. L’étude
qualitative repose généralement sur de plus petits échantillons.
Pensez à la façon dont vous couvririez tous les aspects de l’« événement » que vous
voulez relater si vous étiez journaliste. Vous devriez couvrir tous les angles. Vos
questions d’évaluation vous dirigeront vers les personnes à inclure : il peut s’agir de
participants, de partenaires, d’employés, de membres d’un comité consultatif, de
bailleurs de fonds, de membres de la collectivité ou encore de représentants de tous
ces groupes.
La décision quant au nombre de personnes à inclure

dans un échantillon
Il existe des tableaux qui vous aident à déterminer la taille appropriée d’un échantillon. Vous
en trouverez un exemple dans le document intitulé Vous pouvez y arriver : Une trousse
d’outils pratiques pour l’évaluation des programmes d’intervention policière et de
prévention de la criminalité dans la collectivité (page 52). (Voir l’adresse du site Web à la
fin de ce module.)
N’oubliez pas de tenir compte du taux de réponse prévu lorsque vous choisirez la taille
de votre échantillon. Pensez au nombre idéal de réponses, déterminez le taux de réponse
75
prévu, et puis décidez de la taille de votre échantillon. Voici un exemple de la manière de
procéder :
La taille souhaitée de votre échantillon est de 50.

Le taux de réponse prévu est de 80 %.
La taille de l’échantillon requis = 50 ÷ 0,80 = 62,5 (ou 63).
Si le taux de réponse est de 80 %, vous devriez commencer par un échantillon de
63 personnes pour vous assurer que le nombre des répondants de votre échantillon qui
répondent est de 50.
L’analyse des résultats

Votre plan d’évaluation devrait préciser comment vous analyserez l’information que vous
obtiendrez. Vous trouverez ci-dessous un certain nombre de méthodes de base dont vous
pourriez vous servir pour analyser les données quantitatives et qualitatives.
Les données quantitatives
L’analyse consiste à déterminer la signification et la valeur des données que vous avez
recueillies. Nous parlerons de la façon d’analyser les résultats dans le Module 6 du manuel,
mais nous vous en donnons un très court aperçu maintenant.
D’abord et avant tout, ne paniquez pas! L’analyse n’est pas nécessairement difficile. Vous
pouvez procéder à des analyses simples :
La fréquence – À quelle fréquence certaines réponses ont été fournies (il suffit d’en
compter le nombre).
Le pourcentage – Le pourcentage des répondants qui ont répondu a plutôt que b ou c.
Vous pouvez même faire une analyse plus poussée et montrer comment le pourcentage
variait entre les sous-groupes par rapport au groupe entier.
La moyenne – Il s’agit de la réponse moyenne. Cette donnée peut être influencée par
des réponses extrêmes (c’est-à-dire nettement supérieures ou inférieures à la moyenne).
S’il est probable que cela se produise, envisagez de fournir également une réponse
médiane.
La médiane – La réponse se trouvant au milieu lorsqu’on classe les réponses de la plus
élevée à la plus faible.
Le mode – La réponse la plus fréquente.
Voir les pages 4 à 8 du Module 6 pour obtenir de l’information sur la façon de calculer ces
statistiques élémentaires.
Les données qualitatives
Vous pouvez résumer de petites quantités de données qualitatives pour donner une idée
globale de ce qui a été dit. Par exemple, si vous avez quelques questions ouvertes dans votre
questionnaire sur la satisfaction, vous pouvez simplement résumer les réponses. (Par une
76
« question ouverte », on entend une question dont les réponses ne sont pas limitées, par
exemple, à oui/non ou à vrai/faux ou qui ne comportent pas un nombre fixe de réponses
parmi lesquelles le répondant doit faire un choix.) Lorsque vous résumez les réponses, si
certaines se répètent souvent, inscrivez le nombre de fois que ces réponses ont été fournies.
Cela vous donnera une idée de la fréquence à laquelle les répondants les ont données.
Si vous avez une plus grande quantité de données, vous pouvez effectuer une analyse du
contenu. Il s’agit d’un processus consistant à repérer les tendances ou les thèmes dans les
données, à leur attribuer un code ou un nom, et à les catégoriser. Lorsque vous menez un
certain nombre d’entrevues comportant des questions ouvertes, il sera nécessaire pour vous
de faire ce type d’analyse plus formelle. Lorsque vous présentez les résultats de l’analyse,
énumérez et décrivez les grands thèmes repérés (les adolescents ayant répondu au sondage
considéraient que la jalousie était un signe d’amour, par exemple), tout en résumant les
affirmations faites au sujet de ce thème et en fournissant des citations représentatives des
déclarations.
Un certain nombre d’analystes spécialisés dans ce type d’exercice préfèrent catégoriser

manuellement l’information en lisant attentivement les transcriptions des entrevues, en
inscrivant dans la marge les thèmes cernés et en mettant en évidence des citations qui
représentent le mieux ces thèmes. Ils ont le sentiment qu’en procédant ainsi, ils
comprendront mieux et plus en profondeur les données. D’autres préfèrent utiliser des
logiciels (NVIVO/NUD*IST, par exemple) qui peuvent catégoriser les thèmes ou les
tendances pour eux.
Vous trouverez plus d’information au sujet de l’analyse du contenu aux pages 9 à 11 du

Module 6.
La communication des résultats

Votre plan d’évaluation devrait indiquer comment vous proposez de communiquer vos
résultats. Voici certains des aspects dont il faut tenir compte lorsque vous décidez de la
manière dont vous présenterez vos résultats (Services de police de la ville d’Ottawa, 2001) :
Qu’est-ce qui a bien fonctionné? Quel aspect a-t-il fallu améliorer?

Si des problèmes sont survenus, quels étaient-ils?
Les problèmes peuvent-ils être réglés au moyen des ressources existantes?
Quelles sont les forces qui ressortent et qui devraient être exploitées davantage?
Le projet a-t-il permis d’atteindre efficacement les objectifs? Dans l’affirmative,
comment?
Dans l’ensemble, le projet est-il valable?
Vous devez aussi garder à l’esprit les destinataires de votre rapport. Des méthodes
différentes de présentation conviendront aux différents groupes visés. Voici certaines
méthodes que vous pouvez utiliser pour présenter les résultats de votre évaluation :
le résumé d’une page,
77
l’exposé de vive voix,
le rapport comportant de nombreuses illustrations,
le rapport qui inclut des détails techniques dans les annexes,
la présentation dramatique ou la vidéo.
Pensez aux personnes à qui vous devez transmettre les résultats de votre évaluation.
N’oubliez pas d’inclure les participants du projet à votre liste. Ils méritent de savoir ce que
vous avez appris.
Lorsque vous planifiez votre stratégie de communication des résultats, assurez-vous

d’aborder les questions qui d’après le lecteur ou l’utilisateur seront importantes. Vérifiez les
exigences de votre bailleur de fonds. Que veulent savoir ces personnes?
Quel que soit le destinataire, utilisez un langage simple. Ainsi, vous n’exclurez pas les gens
qui ne comprennent pas le jargon unique à votre projet ou à votre domaine de spécialisation.
Rappelez-vous que les participants nécessiteront peut-être un style de présentation différent
de celui que vous utiliserez pour les bailleurs de fonds et les autres partenaires.
Finalement, assurez-vous de présenter votre rapport à temps!
78
Glossaire
Analyse du contenu
L’analyse du contenu est un processus qui consiste à repérer des tendances ou thèmes dans
des données qualitatives, à leur attribuer un code et à les catégoriser (Patton, 1990).
Consentement éclairé
Les participants à des études de recherche et d’évaluation ou leurs tuteurs devraient fournir
un consentement éclairé de leur plein gré (volontairement). Ce consentement est
généralement fourni par écrit, mais d’autres méthodes d’enregistrement du consentement
peuvent convenir dans le cas de certains groupes. Les procédures de consentement éclairé
devraient préciser toute l’information qui sera recueillie durant la recherche, l’identité du
chercheur, la durée et la nature prévues de la participation, tous les risques et avantages
associés à la participation à la recherche, la façon dont les résultats seront utilisés et à qui ils
seront communiqués. Ces procédures devront de plus fournir l’assurance que les participants
peuvent interrompre leur participation à la recherche ou refuser de participer à n’importe
quel élément de celle-ci sans être pénalisé de quelque façon que ce soit. On peut obtenir de
l’information additionnelle concernant la nature du consentement éclairé en consultant
l’Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains
(voir http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm).
Données qualitatives
Les données qualitatives sont obtenues à l’aide de questions ouvertes. Normalement, on les
a recueillies de l’une des trois façons suivantes : a) les entrevues approfondies où l’on pose
des questions ouvertes, b) les observations directes ou c) les documents écrits (Patton,
1990).
Données quantitatives
Les données quantitatives sont des mesures numériques qui indiquent la quantité, la
fréquence, l’intensité et la durée.
Échantillon
Un échantillon est un sous-groupe prélevé dans une population plus étendue. On l’étudie
pour obtenir de l’information au sujet d’une population entière.
Échantillon aléatoire
Un échantillon aléatoire est constitué de personnes qui ont des chances égales d’être
sélectionnées dans une population plus vaste. Le choix des personnes dans cette population
plus vaste en vue de faire partie de l’échantillon relève entièrement du hasard.
Entrevue en profondeur
Une entrevue en profondeur est une conversation guidée entre un intervieweur et un
répondant. L’intervieweur pose une série de questions ouvertes. Normalement,
l’intervieweur utilise un guide, mais il peut s’en écarter pour poser une série de questions à
propos d’un sujet ou d’une idée particulière.
Groupe de discussion
79
La création de groupes de discussion est une méthode de collecte de données. Un tel groupe
comporte généralement moins de 15 personnes. Un animateur pose aux divers membres du
groupe une série de questions pour connaître leurs perceptions et opinions concernant un
sujet particulier. Leurs réponses sont enregistrées.
Indicateur
Un indicateur est de l’information qui est recueillie au sujet d’un processus ou d’un résultat
particulier. À titre d’exemple, le nombre de cas acheminés au projet par les partenaires, le
nombre de réunions de partenariat auxquelles ils assistent ou encore, les réponses fournies
par eux à un questionnaire sur la satisfaction peuvent être des indicateurs de la satisfaction
d’un partenaire à l’égard d’un projet.
Information de base
L’information recueillie avant le début d’un projet ou d’une activité est ce qu’on appelle
l’information de base. Elle montre quelle était la situation dans la collectivité ou celle d’un
participant individuel avant le début du projet ou de l’activité.
Pertinence culturelle
Par pertinence culturelle, on entend le degré selon lequel une mesure est appropriée et
adaptée aux différences culturelles. Si les membres d’un groupe culturel particulier ne sont
pas inclus dans les études de validation et d’uniformatisation menées dans le but de mettre
au point un outil d’évaluation, cet outil risque de ne pas convenir à ce groupe culturel
(Ogden/Boyes Associates Ltd., 2001).
Questions fermées
Il s’agit de questions auxquelles le répondant répond en faisant un choix dans une liste de
réponses possibles. Une question à choix multiples est un exemple d’une question fermée.
Questions ouvertes
Les questions ouvertes permettent aux répondants de répondre librement plutôt que d’être
limités par une série de catégories de réponses prédéterminées.
Le même instrument est administré avant et après l’intervention ou la participation à un
programme.
Théorie du changement
Une théorie du changement est une façon de décrire les hypothèses à l’origine de
l’observation selon laquelle un programme ou un ensemble d’activités de projet aboutira à
des résultats particuliers. Elle décrit les étapes de chacune des activités et l’effet ultime de
celles-ci et renvoie à des théories qui appuient les hypothèses faites au sujet des liens entre
les activités et leurs résultats ou leur effet.
Triangulation
La triangulation est un processus qui consiste à obtenir de l’information au sujet de
questions similaires à l’aide de différentes méthodes (p. ex., entrevues, sondage, groupes de
80
discussion) ou de différentes sources (p. ex., personnel et participants). On compare ensuite
les réponses obtenues de ces différentes sources et au moyen de ces différentes méthodes
pour déterminer si elles convergent ou si elles se contredisent.
Références
The Aspen Institute Roundtable on Comprehensive Community Initiatives. (2003). Theory of change.org.
Téléchargé le 18 octobre 2004 du site http://www.theoryofchange.org/html/example.html
Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils :
Éthique de la recherche avec des êtres humains (avec les mises à jour de 2000 et 2002). Téléchargé le
18 octobre 2004 du site http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm
Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring
and evaluating programs involving children, families, and communities. Rapport non publié pour
Santé Canada, Direction générale de la santé de la population et de la santé publique, région de
l’Alberta et des Territoires du Nord-Ouest, Calgary (Alberta).
Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres : Sage.
PLAN:NET Ltd. (2003, septembre). Splash and ripple: Planning and managing for results. Téléchargé le
18 octobre 2004 du site http://www.ucgf.ca/English/Downloads/RBMSept2003.pdf
Services de police de la ville d’Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d’outils pratiques
pour l’évaluation des programmes d’intervention policière et de prévention de la criminalité dans la
collectivité. Téléchargé le 13 avril 2005 du site
http://www.prevention.gc.ca/fr/library/publications/reports/toolkit/
Sites Web
Prevention Pathways
http://pathwayscourses.samhsa.gov/
Le site Web offre des tutoriels portant sur différents éléments de l’évaluation. « Evaluated for the Unevaluated
102 » est un excellent cours qui fournit de l’information sur la façon d’élaborer un plan d’évaluation.
Community Toolbox
Developing an Evaluation Plan
http://ctb.ku.edu/tools/en/section_1352.htm
Ce site renferme de l’information de base sur les facteurs clés à prendre en considération lorsqu’on établit un
plan d’évaluation.
Management Assistance Program for Non-Profits (MAP)

Basic Guide to Program Evaluation
http://www.managementhelp.org/evaluatn/fnl_eval.htm#anchor1581634
81
Ce site Web fournit de l’information qui aide à établir un plan d’évaluation. On y trouve aussi des facteurs clés
à prendre en considération au moment de la planification d’une évaluation.
North Central Educational Regional Laboratory

Evaluation Design Matrix
http://www.ncrel.org/tech/tpd/res/matrix.htm
Cette grille aide à définir d’importants éléments au moment de la planification de l’évaluation et peut vous aider
à créer votre propre plan d’évaluation.
United States Agency for International Development

Performance Monitoring and Evaluation Tips
http://www.dec.org/pdf_docs/pnaby215.pdf
Cette publication décrit l’importance des plans de surveillance du rendement et précise les secteurs clés à
prendre en compte au moment de la planification d’une évaluation.
Traité
Trochim, William M. (2000).

The Research Methods Knowledge Base, 2nd Edition.
Il s’agit d’un excellent traité en ligne qui porte sur tous les sujets ayant un lien avec les méthodes de recherche,
y compris la planification de l’évaluation et l’échantillonnage.
82
83
Module 3
Feuilles de travail
84
85
Choix des méthodes de collecte des données :
Étude de cas
Indicateur Méthode de collecte des données Justification
Source de Outil/instrument Fréquence
l’information utilisé de la
collecte
86
87
Planification et organisation de la
collecte des données
Questions d’évaluation Indicateurs Sources d’information Ressources requises
Clés pour réunir
l’information
Source Outils à utiliser Fréquence de Dates Personnes Temps

la collecte
88
Module 4 : Méthodes de collecte des
données
Connaître les méthodes de collecte des données, notamment :
L’utilisation des dossiers officiels
Les questionnaires d’enquête
Les instruments normalisés
Les entrevues en profondeur
Les groupes de discussion
L’observation
Savoir quels sont les principaux facteurs à prendre en considération au moment de la
conception de méthodes de collecte des données
Apprendre à concevoir des questionnaires et des guides d’entrevue, à mettre sur pied des
groupes de discussion et à utiliser des techniques d’observation
Qu’est-ce qu’une « donnée »?

Le mot donnée signifie un « renseignement », une « information ».
Ce terme semble technique, mais la collecte des données consiste simplement à obtenir de
l’information auprès de certaines personnes. Il y a certaines règles à suivre pour bien
recueillir des données. Vous en trouverez une description plus poussée dans ce module.
Commençons par examiner les différentes sources de données (ou d’information).
Les sources officielles

Les évaluateurs utilisent souvent des sources de données officielles pour déterminer si un
changement survient dans une collectivité avec le temps. Voici quelques sources
d’information pouvant être retenues pour les projets de prévention du crime, et certains des
avantages et des inconvénients qu’elles présentent.
Les rapports sur la criminalité peuvent sous-estimer le nombre de crimes

réellement commis, surtout en ce qui concerne la violence conjugale, les agressions
sexuelles et même certains types de fraudes que les gens sont moins susceptibles de
signaler parce qu’ils se sentent embarrassés ou parce qu’ils ont peur de ce qu’on va
penser d’eux dans la collectivité.
Les dossiers judiciaires doivent être utilisés avec circonspection. L’information au

sujet des accusations et des arrestations ne reflète pas nécessairement les taux réels
de criminalité et peut être influencée par des changements qui surviennent dans la
89
législation ou les politiques des services de police (p. ex., la prise de mesures de
répression du trafic de la drogue). L’information au sujet des condamnations tend à
être plus fiable, mais elle est influencée par d’autres facteurs comme la qualité des
services de représentation par un avocat dont aurait bénéficié l’accusé. Malgré ces
problèmes, les données concernant les arrestations sont quand même l’une des
meilleures mesures que nous avons de la récidive.
Les dossiers scolaires peuvent inclure de l’information sur l’absentéisme, les

suspensions, la réussite ou l’échec dans les études et les besoins spéciaux. Il faut
obtenir la permission pour accéder au dossier d’un élève. Certaines provinces
signalent le taux de réussite général des élèves dans chaque école. Par exemple, le
ministère de l’Éducation et de la Formation de l’Ontario fournit de l’information par
école au sujet des résultats obtenus à des tests administrés aux élèves de certains
niveaux à l’échelle de la province.
Les données du recensement peuvent servir à décrire les caractéristiques

démographiques des Canadiens dans leur ensemble ou les citoyens d’une province
ou d’un territoire en particulier ou d’un secteur de recensement (un petit secteur
ayant une population de 2 500 à 8 000 personnes dans un grand centre urbain
[Statistique Canada, aucune date]). Le recensement fournit de l’information comme
le revenu familial, le niveau de scolarité, l’origine ethnique, l’appartenance
religieuse, le type de logement occupé, l’état matrimonial et le nombre d’enfants
dans un ménage. Cette information peut servir à créer un profil communautaire. Une
mise en garde s’impose toutefois : les données détaillées provenant du recensement,
particulièrement lorsqu’elles se rapportent aux secteurs de recensement, remontent
souvent à plusieurs années au moment où elles sont rendues publiques.
Les services de santé publique et communautaire définissent la « santé » dans son

sens le plus large en incluant la santé physique, émotive et spirituelle. Ils se
préoccupent de la santé à l’échelle individuelle et communautaire. Par conséquent,
ils s’intéressent à la sécurité communautaire et à la prévention du crime. Les services
de santé ont des employés qui analysent les données du recensement s’appliquant à
votre collectivité. Ils mènent aussi leurs propres recherches communautaires. Ils
peuvent constituer une bonne source d’information sur votre collectivité. Demandez
à vos services locaux de santé publique s’ils peuvent vous fournir des ressources ou
se joindre à votre projet en tant que partenaire. Le personnel des services de santé
publique sera peut-être disposé à vous aider à mener des évaluations des besoins ou
d’autres recherches communautaires.
90
Les questionnaires d’enquête
9 Les avantages : Les questionnaires sont assez faciles à administrer.
8 Les inconvénients : Les questionnaires peuvent être difficiles à formuler.
Vous avez probablement participé à une enquête à un moment ou un autre dans votre vie.
Vous l’avez peut-être fait dans le cadre du recensement, pour évaluer un produit ou dans le
cadre de votre emploi. Il faut une certaine compétence pour élaborer un questionnaire
d’enquête efficace.
Les questionnaires peuvent être administrés :
Par la poste – Sachez par contre que les questionnaires envoyés par la poste obtiennent
souvent un faible taux de réponse.
Par téléphone – Les entrevues téléphoniques peuvent être coûteuses à cause du temps
requis pour les mener.
En personne (le répondant remplit lui-même le questionnaire ou le fait dans le cadre

d’une entrevue) – Tenez compte du niveau d’alphabétisation des répondants potentiels
lorsque vous vous attendez à ce que ces derniers remplissent les questionnaires
eux-mêmes. Assurez-vous que votre questionnaire est simple à remplir. Évitez les
instructions complexes demandant par exemple aux répondants de sauter certaines
questions selon les réponses fournies. Tout comme les entrevues téléphoniques, les
entrevues en personne sont plus coûteuses, à cause du temps que doivent y consacrer les
intervieweurs.
Par Internet ou courriel – Il s’agit des plus récentes techniques à venir s’ajouter aux
méthodes d’enquête. Les temps de réponse sont souvent plus rapides que pour les autres
méthodes d’enquête. Les sondages sur le Web et par courriel tendent à être peu coûteux
à administrer. On ne peut toutefois les envoyer qu’aux gens qui ont accès à Internet et
qui sont familiers avec l’utilisation d’un ordinateur. Les sondages sur le Web présentent
souvent l’avantage de permettre une analyse automatique des données.
Les questionnaires d’enquête, qu’ils soient administrés au téléphone ou en personne,

devraient être uniformes. Il en est de même de l’explication qui les accompagne. Il faut
toujours expliquer aux répondants comment l’information sera utilisée et leur demander de
signer un formulaire de consentement qui porte sur la confidentialité des renseignements
personnels et la protection de l’anonymat des participants. Il faut former les intervieweurs
pour qu’ils enregistrent les réponses avec exactitude. En incluant des cases à cocher et des
catégories de réponses, on peut accroître l’exactitude de l’information recueillie par les
questionnaires et faciliter la tâche aux répondants. Si l’on demande par exemple quel est le
niveau de scolarité des répondants, le questionnaire peut contenir des catégories à cocher par
l’intervieweur telles que :
⁬ inférieur au niveau secondaire
⁬ quelques années au niveau secondaire
91
⁬ diplôme d’études secondaires
⁬ quelques années au niveau postsecondaire
⁬ diplôme postsecondaire
L’intervieweur peut alors cocher la catégorie pertinente plutôt que d’avoir à écrire la réponse
au long.
Les questionnaires d’enquête sont plus difficiles à formuler qu’on peut le croire à première
vue :
La formulation et la construction des questions nécessitent mûre réflexion. À la page
suivante, vous trouverez quelques problèmes typiques qui peuvent survenir au moment
de l’élaboration du questionnaire d’enquête.
Lorsque des options de réponse sont fournies, soit au répondant, soit à
l’intervieweur, pour faciliter l’enregistrement des réponses, on devrait inclure toutes les
réponses possibles. Incluez aussi une catégorie « autre » pour toute réponse que vous
n’avez pas envisagée. Si vous utilisez une échelle, elle doit être équilibrée et inclure
toute la gamme des options.
L’ordre des questions est d’une grande importance. Ne commencez pas par poser des
questions personnelles ou des questions qui nécessitent beaucoup de réflexion.
Commencez par des questions simples et plus générales comme : Où avez-vous entendu
parler de ce projet? Ou par de simples questions démographiques : Depuis combien de
temps habitez-vous ce quartier? Depuis quand participez-vous au projet?
Quelques conseils concernant le questionnaire

9 Interrogez les bonnes personnes et le bon nombre de personnes – À titre d’exemple,
on ne demandera pas aux partenaires ce qu’ils pensent de la qualité de la mise en oeuvre
du projet si leur participation directe au projet a été très limitée.
9 Utilisez un langage simple – évitez le jargon. N’utilisez pas des mots comme
aboutissements ou impacts, par exemple. Évitez les doubles négatifs (p. ex., êtes-vous
d’accord ou pas d’accord avec la décision de ne pas fournir des services de police
communautaires?). Envisagez de demander à un rédacteur dont le style de rédaction est
simple de réviser votre questionnaire.
9 Soyez précis – Exemples :

Si vous voulez connaître l’échelle salariale, précisez si vous désirez connaître le
revenu mensuel ou annuel, net ou brut.
Lorsque vous obtenez de l’information sur les enfants au moment de leur admission,
demandez les dates de naissance plutôt que l’âge, afin de pouvoir calculer leur âge
exact à chaque moment du suivi. Vu la rapidité à laquelle les enfants se développent
durant l’enfance, il est plus important de connaître l’âge exact des enfants que celui
des adultes.
Lorque vous voulez savoir si les gens ont trouvé le contenu du projet intéressant et
instructif, posez les questions séparément (c.-à-d., Était-ce intéressant? Était-ce
instructif? ET NON PAS : Était-ce intéressant et instructif?)
92
9 Mesurez l’intensité de l’opinion et ne cherchez pas uniquement à savoir quelle est
la position de la personne – Ne vous contentez pas de seulement demander si les
répondants sont d’accord ou pas d’accord, approuvent ou désapprouvent, etc. Mesurez
l’intensité de leur opinion en fournissant toute une gamme d’options de réponse comme
entièrement d’accord, d’accord, pas d’accord, pas d’accord du tout. Évitez de poser des
questions auxquelles la réponse est oui/non, lorsqu’un éventail de réponses est plus
pertinent.
8 Au lieu de demander :
Est-ce que les voisins surveillent vos enfants dans le quartier?
⁪ Oui ⁪ Non
9 Demandez :
Est-ce que les voisins surveillent vos enfants dans le quartier?
⁪ Toujours ⁪ Généralement ⁪ Parfois ⁪ Rarement ⁪ Jamais
9 Test – Avant d’administrer un questionnaire d’enquête, envisagez de le tester auprès de

quelques participants potentiels pour en vérifier la qualité. Un essai vous permettra de
repérer des problèmes dans la formulation ou dans l’ordre des questions que vous
n’auriez pas soupçonnés autrement. À titre d’exemple, la façon dont vous formulez une
question au sujet du revenu devrait dépendre de la manière dont le répondant type gagne
sa vie. Les personnes qui touchent un salaire savent souvent quel est leur revenu annuel,
sans nécessairement connaître leur revenu hebdomadaire ou horaire. La plupart du
temps, les assistés sociaux calculent leur revenu sur une base mensuelle. Adaptez la
question à vos répondants. Vous pourriez également être surpris par les problèmes que
causent certains mots dont vous croyez pourtant le sens clair. On a par exemple
découvert lors d’un test que le mot « manque » (comme dans manque de responsabilité)
causait des problèmes. Les auteurs du questionnaire ont été étonnés d’apprendre qu’un
grand nombre de personnes ne savaient pas ce que ce mot voulait dire.
Trouvez l’erreur!
Essayez de repérer les problèmes que présentent les questions ci-dessous.
1. Sur une échelle de 1 à 5, quelle est votre opinion du projet?

1 2 3 4 5
2. Je me sens en sécurité dans ma collectivité.

Généralement Parfois Presque jamais Jamais
3. Veuillez indiquer quelle tranche d’âge représente le mieux votre âge.
20-30 ans 30-40 ans 40-50 ans 60 ans et plus
4. Cochez la réponse qui décrit le mieux votre situation

Pas d’enfants Femme enceinte Parent ayant des enfants
93
5. Avez-vous appris quelque chose en ce qui concerne l’évaluation et la mise sur pied de
votre projet de prévention du crime?
Oui Non
6. Quels sont les endroits du complexe d’habitations dans lesquels vous ne vous sentez pas
en sécurité?
Aires de stationnement Cages d’escalier
Ascenseurs Couloirs
Terrains de jeux Autres (précisez) _______________
7. Ce projet est offert aux familles qui ont des enfants âgés de 7 à 10 ans dans le
quartier de St-Albert. Veuillez inclure lesquels des groupes suivants devraient être
inclus également au projet :
Familles ayant de jeunes enfants
Familles ayant des enfants plus âgés
Familles dans d’autres quartiers
Les tests normalisés

Ne vous laissez pas impressionner par le mot « test ». Il n’y a pas de bonnes ou de
mauvaises réponses à des tests normalisés. Ces tests sont utilisés typiquement pour évaluer
les attitudes et les comportements individuels. Les évaluateurs s’en servent souvent pour
évaluer les changements qui surviennent chez les participants au programme avec le temps.
On peut également utiliser des tests de connaissances pour évaluer les changements qui sont
survenus dans les connaissances grâce à l’intervention.
Vous êtes peut-être déjà familiarisé avec certaines mesures normalisées comme l’Échelle de
l’estime de soi Rosenberg (Rosenberg, 1989), une mesure que le répondant remplit
lui-même et qui a été traduite dans plusieurs langues. On trouve une référence pour la
version française de l’Échelle de l’estime de soi Rosenberg à l’adresse :
http://benhur.teluq.uquebec.ca/~evallier/echelles.htm
Le questionnaire d’évaluation du comportement social (QECS) est un autre test normalisé

parmi ceux que vous connaissez peut-être. Vous pouvez le télécharger à partir du site du
Groupe de recherche sur l’inadaptation psychosociale chez l’enfant (GRIP) dont l’adresse
est : http://benhur.teluq.uquebec.ca/~evallier/echelles.htm.
Des tests normalisés peuvent également servir à évaluer des attributs communautaires. Le
Sense of Community Index (Indice de sentiment d’appartenance communautaire) (Chavis,
Hogge, McMillan et Wandersman, 1986), par exemple, peut fournir de l’information à
propos de la cohésion d’une collectivité. On peut obtenir cet indice à
http://www.capablecommunity.com/pubs/SCIndex.PDF.
On « normalise » les tests en les administrant à d’importants groupes de personnes qui,

idéalement, sont semblables aux personnes auxquelles les tests seront administrés à des fins
d’évaluation. Les données recueillies dans le cadre de la normalisation du test fournissent de
94
l’information sur la manière dont la personne moyenne remplit le test. Ces « normes »
aident ceux qui administrent le test à interpréter les résultats. Ainsi, l’administrateur peut
déterminer si le résultat d’une personne est élevé, moyen ou faible comparé à la
« moyenne ».
Les tests normalisés sont généralement protégés par des droits d’auteur. Il peut arriver,
comme c’est le cas pour l’échelle Rosenberg, que le détenteur des droits d’auteur autorise
l’utilisation gratuite du test dans certaines circonstances. Dans d’autres cas, comme celui de
la Child Behavior Checklist (Liste de contrôle – comportement de l’enfant), il faut acheter
le test chez l’éditeur. Certains tests peuvent être administrés uniquement par des
professionnels ayant suivi une formation.
La validité et la fiabilité
Vous vous souvenez peut-être que nous avons parlé de validité et de fiabilité dans le
Module 3. Il s’agit de critères particulièrement importants lorsque vous utilisez des mesures
d’évaluation.
La validité désigne la capacité d’une mesure d’évaluer ce qu’elle est censée évaluer.
Normalement, la « validation » d’un instrument ou d’une échelle consiste à administrer le
test ainsi que d’autres tests mesurant des attitudes ou des comportements similaires à un
grand nombre de personnes. On compare ensuite les résultats pour déterminer s’il y a une
corrélation entre les résultats de la mesure mise à l’essai et les autres mesures dont on a
prouvé qu’elles mesurent des caractéristiques connexes. À titre d’exemple, l’Échelle de
l’estime de soi Rosenberg a été évaluée par rapport à des autodéclarations et des cotes
fournies par des infirmières et des pairs, pour des constructions mentales associées à
l’estime de soi, comme la dépression, l’anxiété et la réputation au sein d’un groupe de pairs.
Lorsque les résultats de la mesure faisant l’objet du test ont une corrélation avec les résultats
de mesures connexes, la mesure est considérée comme étant « valide ».
Par fiabilité, on entend la capacité d’une mesure de fournir de l’information uniforme avec
le temps et lorsqu’elle est remplie par différents groupes. On mesure normalement cet aspect
en examinant les résultats obtenus au moyen de tests remplis par les mêmes répondants à
plusieurs occasions. On compare ensuite les résultats fournis à ces différents moments.
Lorsque les tests sont considérés comme fiables, il y a peu de variations au fil du temps.
Cela signifie qu’il est peu probable que le test soit vulnérable à des changements d’humeur
ou à des changements dans les circonstances, ce qui est un aspect positif. Il existe cependant
un certain degré de risque lorsque ces tests sont utilisés à des fins d’évaluation de
programmes. En effet, tandis que la fiabilité est considérée comme une caractéristique
favorable, les échelles qui sont considérées comme fiables risquent d’être moins sensibles
aux changements, même après une intervention.
Une fois qu’un test a été validé et que sa fiabilité a été confirmée, il est généralement
recommandé aux chercheurs de ne pas modifier le libellé ou les items du test. De tels
changements pourraient modifier la validité et la fiabilité de l’instrument. Par contre, il est
important de reconnaître que la mise à l’essai des mesures d’évaluation se fait souvent
auprès d’importants groupes d’étudiants du premier cycle qui sont relativement bien
95
éduqués, qui appartiennent généralement à la classe moyenne et qui sont de race blanche et
Américains. Par conséquent, ces tests risquent d’utiliser un langage trop sophistiqué ou
d’inclure des items à caractère culturel qui, par conséquent, risquent de ne pas convenir à
certains participants de la collectivité. Lorsque c’est possible, il vaut mieux utiliser des
échelles qui ont été mises à l’essai auprès d’un grand nombre de cultures et de classes
socioéconomiques. Si vous n’avez pas accès à de telles échelles, essayez de mettre à l’essai,
auprès des membres de votre population de participants, les échelles que vous espérez
utiliser. Cela vous donnera une idée de la mesure dans laquelle le test convient à vos
participants.
Quelques conseils concernant les tests

Nombre de personnes considèrent les tests normalisés comme la façon la plus objective de mesurer les
1. J’étais mieux informé au sujet des projets qui pouvaient m’apporter quelque chose.
Entièrement d’accord D’accord En désaccord Entièrement en désaccord
2. J’étais mieux en mesure d’obtenir de l’aide d’autres organisations ou organismes.
3. J’avais davantage l’impression de faire partie de la collectivité où je vis.
connaissances, les attitudes et les comportements. Le fait que les instruments normalisés aient fait l’objet de
nombreux essais et de recherches approfondies confirme ce point de vue. Certains facteurs importants peuvent
toutefois influencer la crédibilité des résultats obtenus à l’aide de tests normalisés.
Les conventions sociales – Les répondants aux tests fournissent parfois aux questions des réponses qui
sont « désirables sur le plan social » pour plaire aux chercheurs ou pour donner l’impression qu’ils ont des
attitudes ou des comportements qui d’après eux sont « désirables ». Par exemple, les parents peuvent
répondre à des instruments de mesure des compétences parentales en affirmant ne jamais frapper leurs
enfants ou crier après eux. Les jeunes peuvent fournir des réponses aux questionnaires qui semblent
indiquer qu’ils ont des comportements moins risqués que ce n’est le cas en réalité.
Une façon de surmonter ce problème est d’inclure dans le test des items provenant d’une échelle sur la
« désirabilité sociale ». Il existe de telles échelles à la fois pour les adultes et les enfants. Elles incluent des
items qui, lorsqu’on y répond d’une certaine manière, montrent clairement si la personne souhaite se
présenter sous un jour favorable (p. ex., « Je ne me fâche jamais. » ou « À l’occasion, je me sens abattu ou
j’ai le cafard. »). Parce que tout le monde se fâche parfois et parce que tout le monde se sent découragé à
l’occasion, si un répondant affirme que cela n’est pas le cas, il est probable qu’il répond d’une manière
socialement désirable. Si l’ensemble des réponses fournies à l’échelle sur la désirabilité sociale laisse
supposer qu’un répondant répond ainsi, vous pouvez éliminer sa réponse de votre échantillon.
Les réponses identiques – Les répondants peuvent parfois devenir un peu

paresseux lorsqu’il leur semble que tous les items évaluent la même chose. Ils finissent par cocher la même
réponse chaque fois. Voici un exemple d’une série de questions qui risquent fortement de causer ce
problème :
Il peut aussi arriver qu’un répondant répond toujours oui, qu’il est simplement d’accord avec tout. Il y a
aussi des répondants qui répondent non à tout, qui s’opposent à tout.
96
On peut éviter les réponses identiques en inversant l’ordre de certains items. Ou bien, dans l’exemple
fourni ci-dessus, vous pourriez changer l’item du milieu comme suit : Je n’ai pas réussi à obtenir de l’aide
d’autres organisations et organismes. Rappelez-vous cependant qu’en passant d’une formulation positive à
une formulation négative, certaines personnes dont la connaissance de la langue est limitée risquent d’avoir
de la difficulté à répondre aux questionnaires.
L’alphabétisation, la langue et la culture – Ces facteurs importants sont souvent négligés. Sachez
quelles sont les caractéristiques de la population auprès de laquelle vous intervenez lorsque vous choisissez des
tests normalisés ou n’importe quelle autre méthode de collecte de données.
Les répondants qui ne savent pas bien lire ou écrire auront de la difficulté à remplir des questionnaires
écrits. Les personnes dont la langue maternelle n’est pas le français ni l’anglais risquent d’avoir de la
difficulté à répondre à des questions écrites et verbales. Pour éviter toute situation embarrassante, ces
répondants feront peut-être semblant de comprendre alors qu’ils ne saisissent pas le sens de la question.
Évitez d’utiliser un langage sophistiqué ou du jargon. Il est également conseillé d’éviter des expressions
idiomatiques (p. ex., « je me sens abattu » ou « j’ai le cafard », dans notre exemple précédent). Il n’est pas
rare que les nouveaux Canadiens ne connaissent pas ces expressions, qui sont parfois uniques à des régions
ou des générations particulières.
Mettez à l’essai les échelles que vous avez l’intention d’utiliser pour déterminer si elles fournissent de bons
résultats auprès de la population que vous desservez.
Les entrevues en profondeur

Les entrevues en profondeur ont tendance à fournir plus de données qualitatives que les
sondages, mais les règles de formulation des questions sont les mêmes.
L’intervieweur peut se servir d’un guide d’entrevue. Le guide d’entrevue ressemble un peu
à un questionnaire, puisqu’il présente les questions que posera l’intervieweur dans l’ordre
prévu. Certains guides d’entrevue sont plus souples que d’autres. Ils fournissent des
directives générales à l’intervieweur qui est libre d’ajouter des questions à la liste ou de
développer un commentaire particulier du répondant ou une anecdote relatée par ce dernier.
D’autres guides d’entrevue sont plus restrictifs et limitent l’intervieweur aux questions qu’ils
contiennent.
Selon la nature de l’entrevue, le guide d’entrevue peut inclure des espaces vierges où
l’intervieweur inscrit les réponses directement. Le guide renferme parfois des questions avec
un choix limité de réponses. Dans ce cas, l’intervieweur peut simplement cocher la réponse
fournie. On demande parfois à l’intervieweur de lire une liste de réponses possibles au
répondant. À d’autres moments, on ne demande pas à l’intervieweur de lire les réponses,
mais de cocher la catégorie qui correspond le plus à la réponse fournie par le répondant.
Certains guides demandent à l’intervieweur de poser des questions exploratoires lorsque les
répondants ont de la difficulté à fournir une réponse.
Qu’est-ce qu’une question exploratoire?
Une question exploratoire encourage le répondant à fournir plus d’information. Voici

certaines des techniques utilisées :
Répéter la question
97
Demander plus de renseignements
Hocher la tête en attendant de recevoir la réponse
Répéter la réponse
Demander quand, quoi, où, lequel et comment
Poser des questions neutres comme « Avez-vous quelque chose à ajouter? »
En vous exerçant avec d’autres intervieweurs, vous pouvez vous assurer que vous
interprétez tous les questions de la même manière.
Nous recommandons que vous mettiez à l’essai le guide d’entrevue auprès d’un petit
groupe de personnes pour repérer les problèmes éventuels. Cela vous aidera à cerner les
problèmes d’interprétation, d’ordre ou de libellé des questions. Cela vous permettra
également d’estimer le temps dont vous aurez besoin pour mener l’entrevue.
Quelques conseils concernant l’entrevue

Les conseils qui suivent ont été formulés par Prairie Research Consultants (2001). Vous êtes
invité à lire leur document sur les entrevues à http://www.pra.ca/resources/indepth.pdf.
Avant :
Obtenez le consentement écrit de la personne qui participera à l’entrevue.
Assurez-vous de l’informer du but et de la nature de l’entrevue et de l’utilisation qui sera
faite de l’information qu’elle fournira.
Fournissez aux répondants un aperçu des questions dont vous discuterez. L’idéal c’est
de le faire quelques jours avant l’entrevue ou au moment où vous demandez le
consentement de la personne qui sera interviewée.
Veillez à ce que l’endroit où l’entrevue se déroulera soit exempt de distractions comme
du bruit venant de l’extérieur, des appels téléphoniques ou d’autres interruptions. Si
vous interviewez un parent ayant de jeunes enfants, prenez des dispositions pour faire
garder les enfants. Choisissez une pièce où vous ne serez pas dérangés.
Si vous souhaitez enregistrer l’entrevue, demandez le consentement de la personne.
Prévoyez des options autres que l’utilisation d’un magnétophone, au cas où la personne
interviewée refuse cette méthode d’enregistrement.
Pendant :
Précisez le but général de la recherche et de l’entrevue, le temps requis et les règles
établies pour assurer la confidentialité de l’entretien. Servez-vous de l’introduction
pour établir de bons rapports avec la personne et pour réduire la tension. Souriez!
Prenez des notes même si vous enregistrez l’entrevue. Nous avons fait cette mise en
garde dans la section précédente, mais nous la répétons ici parce qu’elle est très
importante. Il arrive que les magnétophones ne fonctionnent pas. Même s’ils
fonctionnent, vos notes vous rappelleront où se trouvent certains renseignements sur la
cassette.
Laissez les répondants parler pendant 90 % du temps. Vous posez les questions, ils
répondent.
Reformulez les questions qui ne sont pas bien comprises ou auxquelles le répondant ne
répond pas entièrement. Il suffit parfois de répéter la question. À d’autres moments, il se
98
peut qu’il soit nécessaire de reformuler la question lorsqu’elle contient un mot ou un
segment de phrase que le répondant ne comprend pas.
Demandez : « Y a-t-il autre chose que vous aimeriez ajouter? » En posant ainsi une
question générale à la fin, vous vous assurez que le répondant a l’occasion de faire des
observations additionnelles. Ces observations peuvent indiquer le besoin d’ajouter une
nouvelle série de questions. Soyez souple afin d’obtenir toute l’information.
Après :
Vérifiez le magnétophone. Vous savez sans doute pourquoi c’est important.
Prenez des notes additionnelles.
Promettez au répondant que vous lui transmettrez de l’information sur les résultats de
l’évaluation et n’oubliez pas de le faire!
Les groupes de discussion

Quand les groupes de discussion sont-ils utiles?
Au moment de la planification d’un projet, pour savoir ce qu’il devrait inclure
Pour interroger des intervenants clés (partenaires, participants, personnel) sur ce qui
fonctionne et ce qui ne fonctionne pas
Quand sont-ils inutiles?

Lorsque les intervenants clés ne se font pas confiance ou ne s’entendent pas
Lorsqu’il s’agit d’information délicate
Les entrevues en profondeur ou les questionnaires autoadministrés sont plus indiqués

lorsqu’il s’agit d’information délicate ou lorsqu’il y a de la tension entre les intervenants
clés. Les groupes de discussion servent à réunir des données et non pas à résoudre des
problèmes.
Quelques conseils concernant les groupes de discussion

La formation d’animateurs/de rapporteurs – Le rôle de l’animateur est de s’assurer
que toutes les questions sont couvertes et que tout le monde a l’occasion de parler. Des
problèmes de qualité de son peuvent limiter l’utilité d’un enregistrement audio. C’est
pourquoi il peut être utile de demander à quelqu’un de faire fonction de rapporteur. Un
chronométreur peut aider à faire en sorte que le groupe de discussion ne consacre pas
plus de temps que prévu à chacune des questions.
Le nombre de participants – Un nombre inférieur à 6 et supérieur à 12 peut gêner la

discussion.
99
La création de groupes distincts – 9 Formation d’animateurs et de rapporteurs
Assurez-vous de séparer les différents intervenants 9 Environ de 6 à 12 participants
clés afin d’isoler les perspectives différentes. Lorsque 9 Séparation des intervenants clés en
des groupes possèdent différents types d’expertise groupes distincts
(p. ex., les partenaires du projet par opposition aux 9 Durée maximale de deux heures
participants au projet, les bénévoles comparés 9 Intimité
aux employés, ou les personnes habitant des 9 Élaboration d’un guide de discussion,
logements sociaux comparées à des personnes prévoyant toutefois une marge de
habitant des maisons unifamiliales), un groupe manœuvre
risque de dominer, ce qui vous empêchera 9 Établissement d’un bon
d’obtenir tous les points de vue. rapport/protection de la confidentialité
9 Utilisation de questions ouvertes et de
La durée – Si la discussion se poursuit questions exploratoires
nettement au-delà de deux heures, les 9 Nécessité d’éviter qu’une ou plusieurs
participants au groupe de discussion pourraient personnes dominent
avoir de la difficulté à se concentrer. 9 Nourriture/pause à mi-chemin
9 Mise à l’essai des questions qui seront
L’intimité – Une pièce exempte de distractions
posées au groupe de discussion
aidera les participants à se concentrer et à se
sentir à l’aise. Cela aidera également à protéger
la confidentialité des réponses.
Le guide de discussion – Un guide de

discussion renferme des lignes directrices qui
vous indiquent les questions, y compris les
questions exploratrices, à utiliser. Prévoyez
suffisamment de temps pour couvrir le contenu
du guide en entier tout en montrant la souplesse qui permettra d’explorer de
nouveaux sujets.
L’établissement d’un bon rapport – Tout comme dans le cas des entrevues en
profondeur, commencez par décrire pour les membres du groupe de discussion ce que
vous souhaitez apprendre de votre évaluation ou analyse des besoins, l’objectif du
groupe de discussion et les directives que vous suivrez pour assurer la confidentialité de
l’information fournie. Demandez aux participants de ne pas parler en dehors de la séance
des sujets discutés pendant le groupe de discussion. Rappelez-leur que vous pouvez
uniquement assurer la confidentialité de la discussion si tout le monde accepte cette
règle.
Les questions ouvertes et les questions exploratoires – Ces questions permettent

aux personnes de relater des situations et de fournir des exemples. Posez des
questions exploratoires pour obtenir des détails lorsque les réponses sont vagues.
L’animation du groupe – Au début de la discussion, demandez aux participants de

respecter les sentiments des autres et de permettre à chacun de parler. Il peut arriver
100
qu’un dirigeant naturel dans le groupe soit porté à diriger la discussion sur chaque
sujet. Évitez que le point de vue de cette personne n’influence les autres.
La nourriture/la pause – La nourriture peut être un moyen d’attirer des gens au

groupe de discussion et de redonner de la vigueur aux participants. L’accès au
gardiennage et le remboursement des frais de transport peuvent aussi inciter à la
participation.
Le test – Servez-vous de votre premier groupe de discussion pour vérifier la

pertinence de vos questions. Vous pouvez quand même utiliser les résultats si la
discussion se déroule bien. Sinon, il se pourrait qu’il soit nécessaire de réviser vos
questions ou de modifier d’autres facteurs avant de former d’autres groupes de
discussion.
L’observation
L’observation représente souvent une bonne façon de réunir de l’information sur la façon
dont des collectivités ou des participants à des programmes réagissent à un projet particulier.
Il est conseillé de fournir des directives aux observateurs pour les aider à enregistrer leurs
observations. Ces observations peuvent fournir une précieuse information qui rendra un
rapport d’évaluation plus intéressant. Les observateurs devraient toutefois commencer par
obtenir le consentement d’enregistrer ce qu’ils observent.
Dans le cadre de projets

Les observateurs devraient obtenir le consentement des participants à un projet qui font
partie, par exemple, d’un groupe ponctuel ou d’un groupe de soutien. Si les participants
sont trop jeunes pour donner leur consentement, il faut obtenir le consentement de leur
gardien.
Dans la collectivité :
Il n’est pas toujours pratique ou nécessaire d’obtenir la permission dans la collectivité,
mais cela dépend de ce que vous observez.
On peut, par exemple, observer dans une collectivité la quantité de graffitis ou de
déchets, le nombre de personnes qui se trouvent dans la rue la nuit ou le nombre de
personnes qui utilisent un parc.
Quelques conseils concernant l’observation

L’importance des listes de contrôle/des guides – Les guides précisent ce que vous
devriez surveiller durant vos observations. Les listes de contrôle vous aident à noter
rapidement vos observations.
101
L’aspect systématique – Il est important de vous assurer 9 Fournissez aux rapporteurs
que vos observations sont systématiques. Vous devez être des listes de contrôle et des
à la recherche d’éléments précis définis à l’avance et guides
vous devez les enregistrer chaque fois que vous les 9 Soyez systématique
observez. 9 Vérifiez la fiabilité des
observateurs entre eux
La comparaison de la fiabilité des différents 9 Envisagez d’utiliser une
observateurs – Faites un essai préalable des listes de variété de méthodes
contrôle et des guides qui seront utilisés par les d’enregistrement : vidéo,
observateurs. Envisagez d’organiser une séance photographies, prise de
d’observation simulée qui sera surveillée par plusieurs notes
observateurs se servant du guide et de la liste de contrôle 9 Observez à différents
pour enregistrer leurs observations. Comparez les résultats. moments
Là où il y a des différences entre les observations, discutez
de ces différences et de la manière dont les observations
devraient être enregistrées dans le cadre des observations
futures.
L’enregistrement des observations –

Si vous enregistrez sur vidéocassette les activités ou
les événements, vous pourrez examiner la cassette plus
tard et utiliser une liste de contrôle pour enregistrer des observations précises.
Rappelez-vous que l’enregistrement sur vidéocassette coûte cher et qu’il faut
toujours obtenir un consentement écrit des personnes enregistrées.
La photographie est une excellente façon d’enregistrer des changements dans des
éléments comme la quantité de graffitis à un endroit donné, l’entretien des aires
publiques ou l’utilisation des espaces publics. Il peut s’agir d’une manière amusante et
efficace de présenter les résultats d’une évaluation.
Les feuilles de pointage ou les listes de contrôle se prêtent bien à certains types
d’observations (p. ex., le nombre de personnes qui utilisent un espace public, la
proportion des différents groupes d’utilisateurs comme les enfants, les
adolescents, les adultes et les personnes âgées ou le nombre de places où il y a des
graffitis).
Les différents moments – Si vous faites des observations pour repérer des changements
au fil du temps (p. ex., des changements dans l’utilisation d’un espace public), faites des
observations avant, durant et immédiatement après le projet, et puis quelques mois plus
tard, après la fin du projet. Même lorsqu’on fait des observations pour évaluer
l’efficacité du déroulement d’un programme ou d’une activité, il est bon de le faire plus
d’une fois.
La multiplication des méthodes

Vous pouvez améliorer votre évaluation en réunissant de l’information au sujet de la même
question auprès des différents groupes qui participent à votre projet (p. ex., partenaires,
participants, personnel, gestionnaires) et en utilisant différentes méthodes (p. ex., groupes de
102
discussion, observations, questionnaires d’enquête etc.). Lorsque toutes les données ont été
recueillies, comparez l’information que vous avez obtenue de différentes sources et au
moyen de différentes méthodes pour déterminer si les données s’appuient mutuellement ou
se contredisent. C’est ce qu’on appelle la triangulation. Vous ferez davantage confiance à
vos constatations si vous savez que différents intervenants ont fait les mêmes affirmations
ou que différentes méthodes ont produit les mêmes résultats.
Si, par exemple, vous vous intéressez aux changements qui sont survenus dans le
vandalisme, il peut être conseillé de comparer des résultats obtenus de différentes sources et
au moyen de différentes méthodes :
Constats de police concernant le vandalisme;

Sondage parmi les habitants, les entreprises et le personnel qui travaille dans les écoles
dans le quartier examiné;
Photographies prises d’endroits dans le quartier qui sont souvent la cible de vandalisme.
Idéalement, vous devriez réunir cette information à différents moments (c.-à-d., avant,
durant et après le projet de prévention du vandalisme).
Si toutes ces sources d’information vous disent la même chose, vous pouvez dans une
grande mesure faire confiance aux résultats que vous avez obtenus. S’il y a des
contradictions importantes dans vos résultats, vous en connaissez peut-être la cause. Ou, il
se peut que vous deviez retourner aux intervenants clés pour obtenir leurs opinons sur la
signification éventuelle de ces contradictions.
103
Glossaire
Désirabilité sociale
Les répondants répondent parfois aux questions d’une façon qui, d’après eux, plaira au
chercheur ou qui présentera leurs attitudes, opinions ou comportements sous un jour
favorable. Ces personnes fournissent ce qui, à leurs yeux, constituent des réponses
socialement désirables. On a créé des échelles normalisées pour établir si les répondants
répondent ainsi aux questions plutôt que de dire la vérité. Ces échelles sont connues sous le
nom d’« échelles sur la désirabilité sociale ».
Groupe de discussion
Un groupe de discussion est un groupe de personnes sélectionnées que vous invitez à
discuter d’une question particulière afin de mieux comprendre celle-ci ou d’obtenir des
commentaires, des recommandations ou des observations à ce sujet. Un groupe de
discussion vous permet de réunir de l’information et peut vous aider à évaluer un
programme particulier.
Guide d’entrevue
Un guide d’entrevue vous permet de structurer vos entrevues de recherche ou d’évaluation.
Il renferme des instructions sur la façon dont l’intervieweur devrait présenter l’entrevue et,
s’il ne l’a pas déjà fait, d’informer le répondant sur les procédures d’obtention du
consentement pour obtenir ensuite son consentement par écrit. Le guide présente les
questions de l’entrevue dans l’ordre dans lequel elles devraient être posées. Les guides
d’entrevue peuvent inclure des directives générales destinées à l’intervieweur ou des
instructions précises sur la façon de présenter les questions de l’entrevue.
Normalisation
Une mesure normalisée en est une qui a été administrée à un groupe très important de
personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données
obtenues de ce groupe servent de données de comparaison aux fins d’interprétation des
résultats obtenus des participants dans le cadre de l’évaluation d’un programme ou d’une
étude de recherche. Les tests normalisés vous permettent de déterminer si la note obtenue au
test par une personne est élevée, moyenne ou faible comparativement à la norme
(Ogden/Boyes Associated Ltd., 2001).
Question exploratoire
Une question exploratoire est une question qui permet d’obtenir une réponse plus détaillée
ou des détails additionnels suite à la réponse originale du répondant.
Test
Un test consiste à effectuer une mise à l’essai des instruments d’évaluation auprès de
quelques personnes représentatives de celles qui rempliront les instruments d’évaluation.
Les problèmes que présentent les instruments sont notés, afin que ceux-ci puissent être
révisés avant le début de l’évaluation.
104
Triangulation
La triangulation est un processus qui consiste à obtenir de l’information au sujet de
questions similaires à l’aide de différentes méthodes (p. ex., entrevues, questionnaires,
groupes de discussion) ou de différentes sources (p. ex., personnel et participants). On
compare ensuite les réponses obtenues de ces différentes sources et au moyen de ces
différentes méthodes pour déterminer si elles convergent ou se contredisent.
Références
Achenbach, T.M., & Edelbrock, C. (1983). Manual for the child behavior checklist and revised child behavior
profile. Burlington, VT: Queen City Printers.
Chavis, D.M., Hogge, J.H., McMillan, D.W., & Wandersman, A. (1986). Sense of community through
Brunswick's lens: A first look. Journal of Community Psychology, 14(1), 24-40.
Ogden/Boyes Associates Ltd. (2001). CAPC program evaluation tool kit: Tools and strategies for monitoring
and evaluating programs involving children, families, and communities. Rapport non publié dressé
pour Santé Canada, Direction de la santé de la population et de la santé publique, région de l’Alberta
et des Territoires du Nord-Ouest, Calgary, Alberta.
Prairie Research Associates, Inc. (2001). The in-depth interview. Téléchargé le 2 septembre 2004 du site
http://www.pra.ca/resources/indepth.pdf.
Rosenberg, M. (1989). Society and the adolescent self-image (édition révisée), Middletown, CT: Wesleyan
University Press.
Statistique Canada. Dictionnaire du Recensement de 2001, sans date. Téléchargé le 19 octobre 2004 du site
http://www12.statcan.ca/francais/census01/Products/Reference/dict/geo013_f.htm
Sites Web
American Statistical Association
What is a Survey?
http://www.amstat.org/sections/srms/whatsurvey.html
Cette brochure électronique porte sur des questions ayant trait à la recherche effectuée à l’aide de sondages,
comme la planification, la collecte des données et la qualité des sondages.
Bureau of Justice Assistance Center for Program Evaluation

Data Collection
http://www.ojp.usdoj.gov/BJA/evaluation/guide/dc1.htm
On trouve sur ce site l’information et des liens vers diverses stratégies de collecte de données.
Innovation Network Online Evaluation Resource Center

http://www.innonet.org/index.php?section_id=62&content_id=142
Ce site Web renferme de l’information et des suggestions utiles sur la recherche au moyen de sondages. On y
trouve également un document au sujet des instruments de collecte des données.
105
Management Assistance Program for Non-Profits
Ce site Web renferme de l’information utile sur les méthodes de collecte des données, y compris les
questionnaires, les groupes de discussion et les sondages.
http://www.uwex.edu/ces/pdande/evaluation/evaldocs.html
Ce site Web convivial comporte de nombreux liens qui donnent accès à de l’information au sujet de tous les
aspects de la collecte des données.
Manuels et guides
Duval County Health Department
Essentials for Survey Research and Analysis: A Workbook for Community Researchers
http://www.tfn.net/%7epolland/quest.htm
Ce cahier de travail comporte 12 leçons qui vont de la manière de définir les différents niveaux de données à la
collecte et à la présentation de celles-ci. Il met l’accent sur la recherche au moyen de sondages.
National Science Foundation

User Friendly Handbook for Project Evaluation
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Ce guide présente de l’information détaillée sur différentes méthodes de collecte de données, en plus de fournir
des conseils et des exemples utiles.

User-Friendly Handbook for Mixed Method Evaluations
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/pdf/mm_eval.pdf
Ce guide facile à utiliser renferme de l’information à propos des modèles d’évaluation qualitatifs et quantitatifs
et à propos des méthodes de collecte des données associées à chacun.
Horizon Research Inc.

Taking Stock: A practical guide to evaluating your own programs.
http://www.horizon-research.com/reports/1997/stock.pdf
Ce guide pratique représente une excellente source d’information sur la façon de recueillir des données
qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.
Traité
Trochim, W. M. (2000).
The Research Methods Knowledge Base, 2e édition. http://www.socialresearchmethods.net/
Ce traité décrit des méthodes de recherche.
106
Trouvez l’erreur! (Voir p. 5)
1. Formulation vague, ambiguë
• Évaluer le projet de quel point de vue? – Satisfaction, qualité, accessibilité?
• Évaluer quel aspect du projet? – Contenu, personnel, emplacement, service, éléments précis?
• À quoi correspondent les chiffres? Est-ce que 1 correspond à extrêmement satisfait et 5 à extrêmement
insatisfait?
• Certains chercheurs préfèrent éviter des échelles ayant un chiffre moyen comme celle qui apparaît sous
cette question (c.-à-d. des échelles ayant un nombre impair de réponses par opposition à un nombre
pair). Lorsqu’il y a réellement une option au milieu, les répondants qui sont incertains de leur point de
vue choisiront souvent le chiffre au milieu. Malheureusement, cela ne fournira pas beaucoup
d’information au chercheur. En utilisant une échelle à quatre points, on peut forcer le répondant à
sélectionner une réponse qui va dans un sens ou dans l’autre.
2. L’échelle comportant un choix limité de réponses n’est pas bien équilibrée
• Les options sont mal équilibrées parce qu’il y en a une qui est positive, une qui est neutre et deux qui
sont négatives.
3. Les catégories de réponse ne sont pas exclusives
• Il y a un chevauchement entre les tranches d’âge (p. ex., si vous avez 30 ans, vous pourriez cocher la
première ou la deuxième catégorie).
4. Les catégories de réponse ne sont pas exclusives
• Il pourrait s’agir d’une personne enceinte mais également d’un parent avec des enfants OU d’une
personne n’ayant pas d’enfants. Comment décide-t-on quelle option cocher?
5. Double question
• Posez les questions séparément : Avez-vous appris quelque chose de nouveau au sujet de l’évaluation?
Avez-vous appris quelque chose de nouveau depuis le début de votre projet de prévention du crime?
Vous pourriez également remplacer les réponses Oui/Non par des réponses qui ressemblent à ceci : J’ai
beaucoup appris, J’ai appris quelque chose et J’ai appris très peu/Je n’ai rien appris du tout. Ce qui
serait encore mieux, c’est de remplacer cette question par une question qualitative
6. Question tendancieuse
• La question part du principe qu’il y a des secteurs où l’on ne se sent pas en sécurité. Cette question
devrait être précédée d’une question qui demande au répondant s’il se sent en danger dans le complexe
domiciliaire. S’il se sent en sécurité, une note devrait l’inviter à sauter cette question et à passer à la
prochaine.
7. Question tendancieuse
Cette question part du principe que le projet devrait être étendu.
107
108
Module 4
Feuilles de travail
109
110
Questionnaire – rédaction Conseils pour le sondage
9 Posez vos questions aux personnes
et entrevue
appropriées et au bon nombre de
personnes
9 Utilisez un langage simple
Instructions : 9 Soyez précis
1. Passez en revue les pages 2 à 10 du manuel. 9 Mesurez l’intensité de l’opinion; ne
2. Choisissez un animateur, un rapporteur et un cherchez pas seulement à
chronométreur. connaître la position des
3. Élaborez un questionnaire ou un guide d’entrevue pour répondants
le sujet assigné. Si vous faites partie du groupe 1, vous 9 Effectuez un test
aiderez à élaborer un questionnaire. Si vous faites partie 9 Évitez une formulation vague et
du groupe 2, vous préparerez un guide d’entrevue. ambiguë, les échelles qui ne sont
4. Photocopiez le questionnaire/guide d’entrevue, en faisant pas équilibrées, les réponses
suffisamment de copies pour tous les membres de votre limitées qui se chevauchent, les
groupe. questions doubles ou les questions
5. Le groupe 1 administre un questionnaire au groupe 2. tendancieuses
6. Le groupe 2 mène une entrevue auprès du groupe 1.
Rapporteurs : Vous élaborez le questionnaire ou le guide

d’entrevue pour tous les membres du groupe; veillez
conséquemment à ce que tout le monde puisse lire votre
écriture.
Auteurs du sondage : Incluez dans vos questionnaires des
questions vrai/faux, des échelles nominales, des questions à choix multiples et des questions
ouvertes.
Intervieweurs : Incluez dans vos entrevues des questions ouvertes (celles qui permettent au
répondant de répondre librement) ainsi que des questions fermées (celles qui comportent un choix
limité de réponses).
111
Servez-vous de l’espace ci-dessous et de la page suivante pour élaborer votre questionnaire ou guide
d’entrevue. Continuez au verso si vous avez besoin de plus d’espace.
Conseils pour l’entrevue

Avant :
9 Fournissez aux répondants un aperçu
des questions dont vous discuterez
9 Veillez à ce que l’endroit de l’entrevue
soit exempt de distractions
9 Demandez un consentement si vous
souhaitez enregistrer l’entrevue
Pendant :
9 Décrivez le but général de la recherche
et de l’entrevue, le temps requis, et les
règles de confidentialité
9 Prenez des notes même si vous
enregistrez l’entrevue
9 Laissez la parole au répondant pendant
90 % du temps
9 Reformulez les questions non comprises
ou auxquelles le répondant ne répond
pas entièrement
9 Demandez : « Y a-t-il autre chose que
vous aimeriez ajouter? »
112
Feuille de travail 1 (suite)
113
114
Groupes de discussion et observation
Suivez les instructions figurant sur le tableau à feuilles Conseils pour le groupe de discussion
volantes. 9 Formation d’animateurs et de
Servez-vous de l’espace ci-dessous pour créer le guide destiné rapporteurs
au groupe de discussion ou le guide d’observation. Lorsque vous 9 Environ de 6 à 12 participants
avez terminé, photocopiez le guide en produisant suffisamment 9 Séparation des participants en groupes
de copies pour tous les membres de votre groupe. distincts
9 Pas plus de deux heures
9 Intimité
9 Élaboration d’un guide de discussion en
prévoyant toutefois une marge de
manœuvre
9 Établissement d’un bon
rapport/protection de la
confidentialité
9 Utilisation de questions ouvertes et de
questions exploratoires
9 Nécessité d’éviter qu’une ou plusieurs
personnes dominent
9 Nourriture/pause à mi-chemin
9 Test des questions qui seront posées au
groupe de discussion
115
Feuille de travail 2 (suite)
Conseils pour l’observation

9 Fournissez aux rapporteurs des
listes de contrôle et des feuilles
de pointage
9 Soyez systématique
9 Vérifiez la fiabilité des
observations entre elles
9 Envisager d’utiliser une variété
de méthodes d’enregistrement :
vidéo, photographie, prise de
notes
9 Observez à différents moments
116
Module 5 : Modèles d’évaluation
Savoir ce que signifie « modèle d’évaluation »
Comprendre les divers niveaux d’évaluation :
Le suivi des programmes ou des projets
L’évaluation des processus
L’évaluation des résultats
Comprendre les points forts et les faiblesses des principaux modèles utilisés dans
l’évaluation des résultats :
Le modèle avec mesure après le programme seulement avec un seul groupe et avec un
groupe témoin
Le modèle avec mesure avant et après le programme avec un seul groupe et avec un
groupe témoin
Le modèle chronologique avec un seul groupe et avec un groupe témoin
Dans les modules précédents, nous avons examiné différentes méthodes de collecte de
mesures quantitatives et qualitatives du rendement d’un projet. Dans le module 6, nous
étudierons de manière plus exhaustive les analyses de ces mesures. Le présent module porte
essentiellement sur les modèles d’évaluation ou sur les façons dont nous évaluons les effets
des activités du projet.
Qu’est-ce qu’un modèle d’évaluation?

Un modèle d’évaluation suppose :
1. Un ensemble de mesures quantitatives ou qualitatives du rendement du

projet.
2. Un ensemble d’analyses qui utilisent ces mesures pour répondre à des
questions clés concernant le rendement du projet.
Les modèles d’évaluation comprennent des façons de décrire les ressources, les
activités et les résultats du projet et des méthodes d’évaluation des effets des
activités de projet (Wholey, Hatry et Newcomer, 1995).
Les niveaux d’évaluation

Avant d’aborder de manière plus exhaustive les modèles d’évaluation, nous examinerons les
différents niveaux d’évaluation.
Le suivi du projet consiste à faire le décompte de certaines activités et opérations du projet. Il

permet de déterminer ce que fait le projet et sa façon de procéder. À titre d’exemple, vous
pourriez assurer le suivi du nombre d’activités que vous offrez, du nombre d’employés, du
117
nombre d’heures travaillées par ces employés, du nombre de participants aux activités, du
nombre de partenaires en cause et de l’évolution possible de ces données au fil du temps.
Vous le faites probablement déjà!
L’évaluation du processus permet d’examiner les processus et les procédures et les liens
entre les activités du projet. Les évaluations de processus sont généralement effectuées en vue
d’améliorer le déroulement du projet. À titre d’exemple, vous voudriez peut-être savoir si
votre projet atteint les personnes qu’il est censé atteindre. Si les activités se déroulent de la
manière initialement prévue. Si le nombre de participants a un effet sur la charge de travail du
personnel ou sur la quantité de services auxquels les participants ont accès.
L’évaluation des résultats examine les effets et l’efficacité du projet. À titre d’exemple, un
projet qui se consacre aux jeunes susceptibles de prendre part à un crime ou d’en être victimes
pourrait poser des questions comme les suivantes : Les participants sont-ils restés à l’école
plus longtemps? Ont-ils eu moins de démêlés avec la justice ou étaient-ils moins souvent des
victimes? Comment le programme peut-il être amélioré pour mieux atteindre ses objectifs?
Une évaluation efficace des résultats englobera le suivi du projet et l’évaluation des processus.
La plupart des évaluations comprennent des composantes de chaque niveau. Nous allons nous
concentrer sur les modèles d’évaluation des résultats.
Les obstacles à la validité des résultats des évaluations

Dans le module 3, nous avons traité de l’importance de choisir des indicateurs valides. La
validité du modèle d’évaluation dans son ensemble est tout aussi importante que la validité des
indicateurs particuliers que vous choisissez. Il existe des catégories de validité (voir l’encadré
de la page suivante), mais nous allons nous concentrer sur la validité interne.
La validité interne désigne la mesure dans laquelle nous pouvons être

certains que les changements touchant la collectivité ou les participants au
projet que vise l’évaluation résultent, dans les faits, du projet. Le choix
d’un modèle d’évaluation qui exclut d’autres explications de vos résultats
garantit mieux sa validité interne.
118
Nous vous montrerons certaines des obstacles
Les autres catégories de validité
types à la validité interne que posent les résultats
d’évaluation. Un modèle d’évaluation solide
Voici des définitions de trois autres catégories de validité :
viendra contrer ces obstacles. Il accroîtra votre • La validité externe – la mesure dans laquelle les
confiance que vos résultats sont imputables à conclusions d’une évaluation peuvent être
votre projet et non à des facteurs extérieurs. généralisées – ou sont censées être établies – dans
d’autres projets ou collectivités semblables à celle qui
Les événements historiques – Vous souvenez- est étudiée.
• La validité de contenu – la mesure dans laquelle les
vous de Sir John A.?1 Il fait partie de l’histoire au activités du projet et l’endroit où elles sont offertes –
sens de connaissance et récit des événements du ainsi que les mesures utilisées pour évaluer le
passé. Les événements historiques dont il s’agit changement et les participants-échantillons choisis à
ici sont plutôt des événements extérieurs qui ne des fins d’évaluation – cadrent dans les théories sur
sont pas liés à votre projet et qui exercent une les motifs pour lesquels certaines activités de
prévention du crime sont censées produire certains
influence sur les changements que votre résultats (Clark, 1999).
évaluation est en mesure de suivre au fil du • La validité fondée sur les conclusions statistiques –
temps. Il peut y avoir eu certains événements la mesure dans laquelle l’analyse et la mesure des
historiques dans la collectivité qui ont influé sur variables (comme les changements d’attitudes ou de
les changements que vous avez détectés, mais ils comportements) sont faites de manière à limiter les
ne sont pas liés à votre projet. erreurs qui soit : a) échouent dans l’évaluation des
véritables effets du programme ou b) amènent à tort
le chercheur à croire que des changements sont
À titre d’exemple, un projet axé sur la diminution survenus alors que ce n’est pas le cas.
de la toxicomanie peut choisir d’utiliser les
accusations portées par des policiers comme Trop de renseignements?
indicateur de changement. Si des changements S’il vous semble y avoir tout simplement « trop de
renseignements », ne vous inquiétez pas. Vous n’avez pas
aux politiques de la police concernant le dépôt besoin de tous ces détails. (Nous pensions tout
d’accusations de possession simple ont eu lieu au simplement que vous seriez intéressé(e)!) Il convient de se
cours du calendrier du projet, l’utilisation de cet rappeler que les obstacles à la validité sont des facteurs
indicateur pourrait mener à une fausse autres que la participation à des activités de projet qui
interprétation des effets du projet. Une mènent à des changements apportés au groupe étudié. Les
obstacles à la validité peuvent mener à de fausses
augmentation ou une diminution du nombre conclusions au sujet de la capacité ou de l’échec de votre
d’accusations pourrait être interprétée comme un projet à obtenir les résultats que vous aviez prévus.
changement à la toxicomanie alors que dans les
faits, l’augmentation ou la diminution est le
résultat d’une modification des politiques de la
police.
La maturation – La maturation désigne des

changements survenus naturellement avec
l’évolution du temps. À titre d’exemple, les
enfants changent au fur et à mesure qu’ils
grandissent. Les changements dans leurs
comportements ou leurs attitudes au fil du temps
1
Photo de Sir John A. Macdonald © Domaine
public; Crédit : Archives nationales du Canada/
C-006513.
119
pourraient refléter le processus normal de maturation.
L’étude des changements touchant le développement chez les enfants et les adolescents peut
être particulièrement difficile parce qu’ils vivent naturellement des changements au fur et à
mesure qu’ils vieillissent, peu importe leur participation à des projets. Pour écarter cet
obstacle, vous pourriez comparer les changements vécus par les participants au projet à ceux
que vivent des membres d’un groupe témoin qui ne participe pas au projet. Si le groupe du
projet a vécu des changements semblables à ceux du groupe témoin, cela laisse supposer que
les changements en question pourraient tout simplement avoir été causés par la maturation. Si
les changements vécus par le groupe du projet ont excédé ceux qui ont été vécus par le groupe
témoin, vous pourriez être davantage convaincu que les changements ne résultaient pas de la
seule maturation, mais qu’ils étaient plutôt le résultat des activités de projet.
La sélection – L’obstacle de la sélection découle du Les modèles expérimentaux contribuent à

fait que les gens qui choisissent de se joindre aux faire diminuer les biais de sélection. Les
activités du projet pourraient être différents de ceux qui participants se voient affecter de façon
ne le font pas. aléatoire à un projet ou à un groupe témoin.
Lorsque l’affectation aléatoire n’est pas

À titre d’exemple, un projet qui offre des ateliers au possible, les modèles quasi expérimentaux
sujet de la fraude commise contre les personnes âgées peuvent être utilisés. Ils ont recours à d’autres
pourrait attirer des personnes âgées qui sont plus façons de former un groupe témoin, tout en
susceptibles de chercher de l’information, ce qui les tentant de contrôler les biais de sélection. Un
groupe témoin pourrait par exemple être
rend d’ailleurs moins vulnérables à la fraude. Voilà une
constitué à partir d’une liste d’attente en vue du
autre bonne raison d’utiliser un groupe témoin lorsque projet ou d’une collectivité semblable
c’est possible. Si vous pouviez étudier les changements comptant des membres ayant des antécédents
chez les personnes âgées qui ont participé à des ateliers similaires à ceux des participants au projet.
du projet et les comparer à un groupe semblable de
personnes âgées qui n’y ont pas participé, vous
pourriez écarter l’obstacle que représente la sélection.
Vous voudrez par contre vous assurer que la sélection

des membres des groupes de participants et des
groupes témoins n’a pas fait l’objet d’une erreur
systématique. Nous parlerons davantage des façons d’éviter les biais de sélection dans les
projets et les groupes témoins à la fin du module lorsque nous traiterons de modèles
expérimentaux et quasi expérimentaux.
L’attrition – L’attrition présente certaines similitudes avec l’obstacle de la sélection. Il y a

attrition quand l’analyse du changement est centrée uniquement sur les participants qui
terminent une activité. Ceux et celles qui terminent une activité pourraient être ceux et celles
qui étaient les plus motivés à réussir, tandis que ceux et celles qui ont abandonné étaient peut-
être plus vulnérables au départ.
Supposons par exemple que dans le cadre d’un projet axé sur la gestion de la colère, on ait
demandé aux participants de remplir un questionnaire portant sur la gestion de la colère avant
et après le programme. Les menottes représentent les participants qui ont été accusés
d’infractions et emprisonnés avant la fin du programme. Au stade de l’administration des
120
post-tests, les participants en question n’étaient pas disponibles, ce qui fait que leurs résultats
ne pouvaient pas être inclus dans la moyenne de ces post-tests. Ils étaient néanmoins
probablement plus vulnérables au départ, tandis que ceux et celles qui ont achevé le
programme étaient probablement plus susceptibles de réussir, même en l’absence du
programme. C’est pourquoi il est souhaitable de recueillir de l’information additionnelle au
sujet de l’histoire des participants et leurs données démographiques lors des prétests et des
post-tests. Vous pouvez ensuite comparer ceux qui abandonnent à ceux qui sont restés dans le
projet pour déterminer s’ils s’avéraient différents d’une manière ou d’une autre.
Les tests – Plus souvent vous mesurez un aspect, plus les participants seront familiarisés avec
les tests. Leurs réponses pourraient être influencées par la réponse qu’ils ont fournie la
première fois. Voilà une bonne raison d’éviter de faire des
prétests et des post-tests dans une trop courte période de temps.
Les instruments – Il arrive que le test ou le questionnaire que vous utilisez comme indicateur
pose lui-même un problème. Si par exemple votre évaluation avait recours à deux
intervieweurs qui posaient la même série de questions de différentes façons ou qui
consignaient les réponses différemment, les résultats de l’entrevue pourraient différer en
raison de la façon dont l’entrevue a été menée plutôt qu’en raison de l’effet du projet.
La régression statistique – Il peut arriver que des facteurs tels qu’une forme physique
affaiblie ou encore le manque de sommeil au cours de la nuit qui précède le test puissent
influer sur les résultats de certains participants aux prétests. C’est souvent le cas lorsque le test
a un faible taux de fiabilité. Dans le module 4, nous avons expliqué qu’un instrument fiable
donne une information constante au fil du temps. Si ces mêmes participants qui ont eu des
résultats moindres au prétest en raison de leur état complètent le post-test dans une forme
normale, leurs résultats démontreront une nette amélioration que l’on ne pourra toutefois pas
attribuer au projet. Il est démontré de façon générale, que les personnes qui ont des résultats
très élevés ou très bas ont tendance, avec le temps, à se rapprocher de la moyenne. Ce
phénomène s’appelle la régression statistique. Elle constitue un obstacle à la validité
particulièrement lorsque les participants au groupe expérimental sont choisis en fonction de
leurs résultats extrêmes au prétest.
Les modèles d’évaluation

Dans les modules de formation précédents, nous avons discuté des questions suivantes :
Comment formuler des questions auxquelles vous voulez que votre évaluation réponde.
Comment choisir des indicateurs qui vous aideront à répondre à ces questions.
Comment décider auprès de qui vous recueillerez de l’information au sujet de ces
indicateurs (sources de données) et comment vous procéderez (méthodes de collecte de
données).
Lorsque vous choisissez vos méthodes de collecte de données, vous devez également tenir
compte du modèle de votre évaluation :
121
1. Quel modèle conviendra le mieux au projet que vous désirez évaluer?
2. Comment le modèle contrera-t-il les obstacles éventuels à la validité?
Modèle 1 : Modèle avec mesure après le programme

seulement avec un seul groupe
Supposons ce qui suit :
X = votre intervention dans le cadre du projet

O = le moment où vous mesurerez ou évaluerez le changement découlant du projet
Si les participants prennent part à vos activités de projet et si vous mesurez les résultats par la suite, voici à quoi ressemblerait votre modèle :
X O
Ce que fait votre projet. Le moment où vous mesurez les

résultats.
Supposons que votre projet comportait des activités visant à accroître la fierté des jeunes à l’égard de leur
patrimoine culturel. Ce volet est indiqué par X.
Après la fin de ces activités, le personnel du projet a demandé aux jeunes participants aux activités de répondre à
certaines questions afin d’évaluer leurs connaissances, leur sentiment d’appartenance et leur fierté à l’égard de
leur culture. 0 représente cette évaluation.
Votre évaluation comportait une mesure des résultats du projet à un seul moment : après la fin des activités.
Certains aspects à considérer :

Lorsque vous repensez à la liste des obstacles à la validité, à quels obstacles ce modèle pourrait-il être vulnérable,
selon vous?
À quoi compareriez-vous les résultats?
Comment saurez-vous si les résultats découlent du projet et non de facteurs externes?
Que savez-vous sur les connaissances et les sentiments des jeunes à l’égard de leur culture AVANT leur
participation au programme?
Que savez-vous sur l’intervention vécue par les participants ou sur les activités visant à atteindre les résultats?
Quels changements recommanderiez-vous d’apporter au modèle afin d’aider à répondre à ces questions?
122
Modèle 2 : Modèle avec mesure avant et après le
programme avec un seul groupe
Encore une fois, supposons ce qui suit :
X = votre intervention dans le cadre du projet

O = le moment où vous mesurerez ou évaluerez le changement découlant du projet
Si vous mesurez le changement avant et après le programme, voici à quoi ressemblerait le modèle :
O X O
Prétest Intervention Post-test
Supposons qu’il s’agisse du même projet dont nous avons traité précédemment. Cette fois, les connaissances, le
sentiment d’appartenance et la fierté des jeunes à l’égard de leur culture ont été mesurés avant les activités du
projet, puis une autre fois après les activités.
Voici certaines questions qui pourraient vous aider à réfléchir davantage sur ce modèle.
Questions :
Ce modèle est-il meilleur que le modèle avec post-test seulement?
À quels obstacles à la validité est-il vulnérable?
Comment saurez-vous si les résultats découlent du programme et non de facteurs externes?
Quels changements recommanderiez-vous d’apporter au modèle afin d’aider à répondre aux questions toujours
sans réponse?
Modèle 3 : Modèle avec mesure après le programme

seulement avec un groupe témoin
Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet après les activités de projet. Vous utilisez la même
mesure avec un deuxième groupe qui ne participe pas à votre projet. Vous testez le deuxième groupe en même temps que vous testez les
participants au projet.
01 = Évaluation du groupe expérimental

02 = Évaluation du groupe témoin
Si vous deviez utiliser les symboles pour montrer comment ce modèle fonctionne, voici à quoi cela ressemblerait :
123
X O1 Évaluation du groupe expérimental
O2 Évaluation du groupe témoin
Intervention
Il n’y a pas de X pour le groupe témoin parce que les membres de ce groupe n’ont pas participé à une
intervention.
Si nous nous reportons à l’exemple précédent, dans ce modèle, les connaissances, le sentiment d’appartenance et
la fierté des jeunes à l’égard de leur culture ont été mesurés après les activités du projet. EN OUTRE, un groupe
témoin (dont les membres n’ont pas participé au projet) a été évalué au même moment.
Questions :
Que pensez-vous de ce modèle? Est-il meilleur ou pire que les modèles précédents?
participation au projet?
Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?
Quels changements recommanderiez-vous d’apporter au modèle afin d’aider à répondre aux questions toujours
sans réponse?
Modèle 4 : Modèle avec mesure avant et après le

programme avec groupe témoin
Dans ce modèle, vous mesurez les résultats des participants qui prennent part à votre projet avant et après les
activités de projet. Vous utilisez les mêmes mesures avec un deuxième groupe qui ne participait pas à votre projet.
Vous testez le deuxième groupe en même temps que vous testez les participants au projet.
Si vous deviez utiliser les symboles requis pour illustrer comment fonctionne ce modèle, voici à quoi cela
ressemblerait :
Prétest des participants au projet Post-test des participants au projet
O1 X O1
O2 O2
Prétest du groupe témoin Post-test du groupe témoin
Intervention
Comme dans le modèle 3, il n’y a pas de X pour le groupe témoin parce qu’il n’a pas participé à une intervention.
124
Revenons au même exemple de projet visant à accroître la fierté des jeunes à l’égard de leur patrimoine culturel.
Dans ce cas-ci, les connaissances, le sentiment d’appartenance et la fierté des jeunes à l’égard de leur culture sont
mesurés avant et après les activités du projet. Un groupe témoin dont les membres n’ont pas participé au projet est
testé en même temps.
Questions :
Que pensez-vous de ce modèle? Est-il meilleur que les modèles précédents?
Comment savez-vous si le groupe témoin a été traité différemment du groupe expérimental?
Modèle 5 : Modèle chronologique

La plupart des groupes communautaires qui prennent part à la prévention du crime par le développement social ne
disposent probablement pas des ressources ou du temps requis pour utiliser un modèle chronologique. Dans le cas
où ce serait possible, nous donnons un bref aperçu de ce type de modèle. Le modèle chronologique est semblable
aux modèles à mesure avant et après le programme, sauf qu’il prend des mesures à quelques reprises avant que le
projet n’ait lieu et le même nombre de fois après qu’il a eu lieu.
Le modèle chronologique peut comporter un seul groupe ou aussi un groupe témoin. Au moyen des mêmes
symboles dont nous nous sommes servis pour illustrer les modèles aux pages précédentes, nous vous donnons des
exemples de quelques modèles chronologiques.
Un modèle chronologique avec un seul groupe pourrait ressembler à ceci :
O O O X O O O
Dans ce cas, des évaluations sont effectuées à trois moments différents avant l’intervention et à trois moments
après l’intervention.
Un modèle chronologique avec groupe témoin pourrait ressembler à ceci :
O1 O1 O1 X1 O1 O1 O1
O2 O2 O2 O2 O2 O2
Comme dans l’exemple du modèle avec un seul groupe, le schéma illustré ici inclut des mesures avant le
programme à trois moments différents, qui visent cette fois autant le groupe du projet que le groupe témoin, et des
mesures après le programme à trois occasions différentes après la fin de l'intervention.
125
Un modèle chronologique interrompu avec un seul groupe ressemblerait à ceci :
O O X O O X O O
Le modèle chronologique interrompu prend des mesures entre les étapes d’une intervention ou d’un projet pour
favoriser une meilleure compréhension de la façon dont les différentes parties de l’intervention fonctionnent
ensemble afin de produire des résultats. Dans ce cas, les mesures sont effectuées à deux reprises avant qu’une
activité du projet ou qu’un ensemble d’activités du projet n’aient lieu. Les évaluations sont effectuées de nouveau
à deux occasions après l’activité ou l’ensemble d’activités. Une autre activité ou un autre ensemble d’activités du
projet a ensuite lieu et des évaluations sont faites ultérieurement à deux reprises.
Un modèle chronologique interrompu avec groupe témoin ressemblerait à ceci :
O1 O1 X1 O1 O1 X1 O1 O1
O2 O2 O2 O2 O2 O2
Le schéma qui est présenté ici est le même que celui du modèle avec un seul groupe. Un groupe témoin qui fait
l’objet d’évaluations en même temps que le groupe du projet est ajouté à ce modèle.
En règle générale, les modèles chronologiques peuvent être plus efficaces que les modèles avec mesure avant et
après le programme. L’analyse des résultats générés par les modèles chronologiques peut donner une meilleure
idée des tendances. À titre d’exemple, si vous preniez des mesures tous les trois mois, trois fois avant la
réalisation du projet et trois fois après celui-ci, vous pourriez constater si un changement clair dans les résultats
s’est produit pendant la période durant laquelle le projet s’est déroulé. Un modèle chronologique avec groupe
témoin renforcera la possibilité d’attribuer ces résultats au projet et non à d’autres facteurs externes.
Ces modèles sont confrontés à des obstacles à la validité semblables à ceux qui touchent les modèles équivalents
avec mesure avant et après le programme. Les tests peuvent présenter des obstacles plus sérieux aux modèles
chronologiques, lorsque des mesures telles que des questionnaires sont administrées directement aux participants,
parce qu’elles sont souvent prises tout au long de la période d’évaluation. Ce ne sera pas le cas si les mesures
utilisées sont des registres de présence à l’école, des notes ou des rapports de police qui ne touchent pas
directement les participants. En ce qui concerne les modèles chronologiques, il convient de garder à l’esprit que
les analyses statistiques de ces modèles peuvent être très complexes.
126
Quelques mots au sujet des groupes témoins
L’expérience nous a enseigné que l’utilisation d’un groupe témoin dans une évaluation
renforcera votre capacité de tirer des conclusions au sujet de l’efficacité. Par contre, nous
savons tous que cet idéal n’est pas facile à atteindre. Il est souvent très difficile, lors de
l’évaluation de programmes communautaires, d’obtenir un groupe témoin raisonnable. Par
conséquent, que pouvons-nous faire pour généraliser nos conclusions en l’absence d’un
groupe témoin? Voici quelques suggestions :
9 Recueillir de l’information narrative sur des événements extérieurs éventuels qui

pourraient affecter les résultats constatés dans un modèle avec un seul groupe.
9 Comparer les résultats relevés dans le groupe du projet à ceux que l’on trouve dans des
études publiées.
9 Utiliser des tests uniformisés pour comparer les résultats des participants aux normes pour
le test.
Faites appel à votre imagination pour trouver d’autres moyens de renforcer vos conclusions.
Mise en garde…
Si vous pouvez trouver un groupe témoin pour renforcer votre modèle d’évaluation, il importe
de reconnaître que certains groupes témoins sont meilleurs que d’autres.
Premièrement, voici une règle d’or en matière de modèle d’évaluation :
La sélection aléatoire est utilisée dans ce qu’il est convenu d’appeler le modèle
expérimental. Les participants sont affectés au hasard au groupe témoin ou au groupe
expérimental (d’intervention). À titre d’exemple, des jeunes qui ont eu des démêlés avec la
justice pourraient être affectés soit à un programme visant à faire diminuer les démêlés
éventuels avec la justice, soit à un groupe qui n’est pas associé au programme et duquel on
peut obtenir de l’information comparable. Ils sont affectés au groupe de projet ou au groupe
témoin de manière aléatoire (p. ex., un jeune sur deux est assigné à l’autre groupe). Ainsi, il
est plus facile de s’assurer qu’il n’existe pas de différences systématiques entre les deux
groupes.
Il arrive fréquemment que la sélection aléatoire soit impossible. Il est préférable dans ces cas
de tenter de former un groupe témoin à partir de personnes ayant des caractéristiques
semblables. À titre d’exemple, dans le cas du programme des jeunes ayant eu des démêlés
avec la justice, nous pourrions demander à des jeunes figurant sur une liste d’attente ou à des
jeunes d’un milieu semblable de participer au groupe témoin. Il s’agit alors d’un modèle
quasi expérimental. Dans de tels modèles, il importe de veiller à ce que les deux groupes
soient comparables. Les données démographiques comme les renseignements portant sur
l’âge, l’origine ethnique, le niveau d’éducation, le revenu et les démêlés antérieurs avec la
justice sont recueillies auprès des deux groupes pour nous aider à établir si le groupe témoin
est comparable au groupe d’intervention.
127
Glossaire
Échantillon
Un échantillon est un sous-groupe à l’intérieur d’une population plus vaste. On l’étudie pour
obtenir de l’information au sujet d’une population entière.
Groupe expérimental
Un groupe expérimental est un groupe de personnes qui participent à une intervention (ou à un
programme). Les résultats obtenus par le groupe expérimental peuvent être comparés à ceux
d’un groupe témoin qui ne participe pas à l’intervention. Le groupe témoin devrait présenter
des caractéristiques semblables à celles du groupe expérimental, sauf qu’il ne participe pas
l’intervention à l’étude. On mesure ensuite les écarts dans les résultats obtenus auprès des
deux groupes.
Groupe témoin (ou de contrôle)

Un groupe témoin est appelé groupe de contrôle dans des laboratoires. Comme les chercheurs
exercent beaucoup moins de contrôle sur les milieux communautaires, le groupe est alors
appelé groupe témoin. Le groupe témoin est formé de personnes qui présentent des
caractéristiques semblables à celles des participants au projet évalué, mais qui ne sont pas
exposées à l’intervention.
Le même instrument est utilisé avant et après une intervention ou un programme.
Sélection aléatoire
La sélection aléatoire signifie que les personnes (ou les collectivités) ont une chance égale
d’être choisies comme membres d’un groupe témoin ou d’un groupe d’intervention. C’est le
hasard qui détermine si une personne ou une collectivité sera sélectionnée dans un groupe ou
un autre.
Références
Clark, A. (1999). Evaluation research: An introduction to principles, methods and practice. Thousand Oaks, CA:
Sage.
Wholey, J.S., Hatry, H.P., & Newcomer, K.E. (1995). Handbook of practical program evaluation. San Francisco:
Jossey-Bass.
Sites Web
North Central Educational Regional Laboratory (NCREL)

Modèle et outils d’évaluation
http://www.ncrel.org/tandl/eval2.htm
128
Ce site Web fournit de l’information au sujet du modèle d’évaluation. Il répond à trois questions principales :
Pourquoi devriez-vous évaluer votre projet? Que devriez-vous évaluer? Comment devriez-vous évaluer? Il est
question des obstacles communs à la validité.
Northwest Regional Educational Laboratory

Évaluation de l’impact
http://www.nwrac.org/whole-school/impact_c.html
Ce site Web offre de l’information utile portant sur divers modèles d’évaluation.
Manuels et Guides
Fondation nationale des sciences
User-Friendly Handbook for Mixed Method Evaluations
http://www.ehr.nsf.gov/EHR/REC/pubs/NSF97-153/start.htm
Ce guide convivial fournit des renseignements concernant les modèles de recherche qualitative et quantitative.
Conseil du Trésor du Canada

Méthodes d’évaluation des programmes : Mesure et attribution des résultats des programmes, vol. 3
http://www.tbs-sct.gc.ca/eval/pubs/meth/pem-mep_f.pdf
Ce guide traite de différentes considérations d’ordre méthodologique. Il comprend un long chapitre sur les
modèles et les stratégies d’évaluation.
The Urban Institute

Evaluation Strategies for Human Services Programs
http://www.urban.org/url.cfm?ID=306619
Ce guide comporte des réflexions sur les différentes questions d’évaluation, y compris une section exhaustive sur
l’élaboration d’un modèle d’évaluation.
Livres
Trochim, William M., (2000).
The Research Methods Knowledge Base, 2e édition.
Ce manuel en ligne guide l’utilisateur dans le modèle d’évaluation et dans les points forts et les faiblesses associés
aux divers modèles.
129
Questions concernant les modèles d’évaluation (p. 6 - 10)
Modèle 1
À quels obstacles ce modèle pourrait-il être vulnérable, selon vous?
Il peut être vulnérable à tous les obstacles sauf ceux qui sont liés aux tests (à moins que les participants aient effectué les tests
auparavant). Il est difficile de savoir avec certitude si le modèle est vulnérable aux problèmes liés aux instruments ou à la
régression statistique, parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s’il avait été administré
de manière cohérente ou encore quel aurait été le résultat des tests si les participants avaient été testés avant le programme.

On ne peut comparer les résultats à quoi que ce soit.

Il est impossible de le savoir avec certitude.
Que savez-vous sur les connaissances et les sentiments des jeunes à l’égard de leur culture AVANT leur participation au
programme?
Il est impossible de savoir quoi que ce soit avec certitude.
On ne peut rien savoir à ce sujet sans suivre un processus d’évaluation ou effectuer un suivi de projet à un niveau quelconque. Si
l’information sur les processus permettant de savoir comment l’intervention a été faite n’est pas recueillie, il est difficile de tirer
des conclusions sur ce qui a fonctionné ou non.
Modèle 2
À quels obstacles de validité est-il vulnérable?
Il peut être vulnérable à tous les obstacles de validité. Il est difficile de savoir avec certitude si le modèle est vulnérable aux
problèmes liés aux instruments parce que nous ne savons pas si le test constituait une bonne mesure du résultat ou s’il avait été
administré de manière cohérente.

Cette fois, vous pouvez les comparer aux résultats des tests antérieurs.

Une fois de plus, il est impossible de le savoir avec certitude.
programme?
Le test antérieur vous apprendra quelque chose sur les connaissances et les sentiments des jeunes avant leur participation au
programme.
Une fois de plus, vous ne le saurez pas sans suivre un processus d’évaluation ou sans effectuer un suivi de projet quelconque.
130
Modèle 3
À quels obstacles de validité est-il vulnérable?
Il est moins vulnérable aux obstacles liés à l’histoire, à la maturation, à la sélection et à l’attrition que les modèles avec un seul
groupe. Il pourrait toutefois y avoir un biais en ce qui concerne la sélection pour déterminer qui se trouve dans le groupe témoin et
qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes atténuerait cette préoccupation. Il est
susceptible d’être vulnérable aux obstacles liés aux tests uniquement lorsque les participants ont effectué les tests auparavant. Il est
difficile de déterminer s’il est vulnérable aux instruments, ou à la régression statistique, parce que nous ignorons si le test
constituait une bonne mesure du résultat ou s’il avait été administré de manière cohérente.

Vous pouvez comparer les résultats du groupe exposé au programme à ceux du groupe témoin. Si les résultats sont meilleurs pour
le groupe exposé au programme que pour le groupe témoin, cela indique que le programme a eu un effet.

Si les participants au projet obtiennent une meilleure note que ceux du groupe témoin, cela implique que le programme a fait une
différence. Vous ne pouvez toutefois pas le déterminer avec certitude sans savoir s’il y avait des différences entre le groupe témoin
et le groupe exposé au programme au départ. Il serait aussi utile de connaître quelque peu les influences exercées sur le groupe
témoin.
projet?
Ce modèle ne permet pas de savoir quoi que ce soit.
Comment saurez-vous si le groupe témoin a été traité différemment du groupe du projet?

Il faudrait consigner les activités du projet et mieux connaître toutes les activités avec lesquelles le groupe témoin a été en contact.
Modèle 4
À quels obstacles de la validité est-il vulnérable?
Il est moins vulnérable à tous les obstacles de la validité. Toutefois, il pourrait y avoir un biais de sélection lorsqu’on décide qui se
trouve dans le groupe témoin et qui se trouve dans le groupe exposé au programme. La sélection aléatoire de ces deux groupes
atténuerait cette préoccupation. Le modèle peut être vulnérable aux obstacles liés aux tests si les mesures avant et après le
programme sont administrées trop près au fil du temps. Il est difficile de déterminer s’il est vulnérable aux instruments parce que
nous ignorons si le test constituait une bonne mesure du résultat ou s’il avait été administré de manière cohérente.

Vous pouvez comparer le changement survenu au fil du temps entre le groupe exposé au programme et le groupe témoin. Ce
procédé aide à éliminer la plupart des obstacles à la validité, à condition que les deux groupes soient comparables dès le départ.
131
Si les participants au programme obtiennent de meilleurs résultats que le groupe témoin, cela implique que le projet a
fait une différence. Il peut toutefois subsister un doute si nous ne connaissons rien des influences exercées sur le groupe
témoin et la mesure dans laquelle le groupe du programme et le groupe témoin étaient comparables au départ.
participation au projet?
Vous obtiendrez cette information grâce à la mesure avant le programme.
Comment saurez-vous si le groupe témoin a été traité différemment du groupe du programme?

Il faudrait consigner les activités du programme et mieux connaître toutes les activités avec lesquelles le groupe témoin
a été en contact.
132
Manuel pour les organismes financés par la SNPC – Feuilles de travail Module
5
Module 5
Feuilles de travail
133
134
Modèle d’évaluation
Modèle : ________________________________
Mesures proposées, moment et personne responsable de leur administration :
Stratégies/justifications du traitement des obstacles à la validité :
1 – Événements historiques
2 - Maturation
3 – Attrition
page suivante
135
4 – Tests
5 – Instruments
136
Module 6 :
Analyse des données et communication des
résultats2
Comprendre le rôle que peuvent jouer l’art et la science dans l’analyse
Connaître les principales étapes de l’analyse
Comprendre l’analyse quantitative simple et les principales méthodes d’analyse qualitative
Savoir quand utiliser divers types de graphiques
Connaître les principales exigences touchant la production des rapports et les points sur lesquels axer les
rapports d’évaluation
L’art d’interpréter les données

L’évaluation relève à la fois de l’art et de la science. Si vous analysez des données numériques, il importe de
garder à l’esprit que les nombres que vous obtenez ne sont pas des résultats comme tels, mais plutôt des
indicateurs des résultats. Voici un rappel de ce qu’est un indicateur?
Un indicateur est une variable (ou une information) qui mesure un aspect d’un
programme ou d’un projet. Il révèle si un projet a atteint un objectif en particulier.
Les indicateurs ne révèlent cependant pas tout. On devrait les considérer dans un contexte plus vaste et tenir
compte des multiples facteurs pouvant les influencer. Voilà en quoi consiste l’art de communiquer des
résultats. Parmi les facteurs qui peuvent influencer les résultats, citons :
Les facteurs touchant les participants – Les caractéristiques des participants au projet – ou des
collectivités desservies par un projet – peuvent influer sur les résultats du projet. Elles peuvent
comprendre :
les caractéristiques démographiques des participants comme l’âge, le sexe ou l’éducation;
les facteurs qui reflètent les difficultés que vivent les participants dans leur vie
personnelle. En voici quelques exemples : les participants ont peut-être un revenu
limité, un logement inadéquat, des antécédents de mauvais traitements, des
problèmes médicaux ou des ennuis de santé ou encore des antécédents liés à la
criminalité ou à la victimisation;
2
Nous remercions tout particulièrement Brenda Simpson qui a généreusement accepté de partager le contenu de
son atelier intitulé Analysing, Interpreting and Reporting Outcomes. Certaines idées du présent module sont tirées
de son atelier.
137
les caractéristiques des résidents qui prennent part à un projet de développement
communautaire ou le type de collectivité desservie, qu’elle soit urbaine ou rurale, une
collectivité éloignée géographiquement ou un milieu à densité élevée.
Les facteurs touchant les programmes – Les caractéristiques du programme ou du

projet englobent :
le type d’intervention ou d’activités;
la durée et l’intensité de l’intervention; L’art d’interpréter les données
les facteurs circonstanciels comme l’ampleur du 9 Garder à l’esprit que les données
numériques ne constituent pas des
roulement du personnel, l’accessibilité du lieu du résultats en soi, mais plutôt des
projet, voire les intempéries ayant empêché des gens indicateurs de résultats.
de prendre part à des activités du projet. 9 Inclure le contexte multifactoriel
englobant les participants, le
Les facteurs touchant les processus – Ce sont des programme et les processus.
9 Tenir compte de différentes méthodes
facteurs liés à l’évaluation elle-même : d’analyse
la taille de l’échantillon; 9 Consulter d’autres personnes pour :
l’exhaustivité des données obtenues; 9 Les méthodes d’analyse les plus
la cohérence de la collecte des données –quant à appropriées.
savoir si, par exemple, le degré de fiabilité des 9 L’interprétation/les explications
différents observateurs était élevé (nous avons traité possibles des résultats.
de cette notion dans le Module 4);
le moment de la collecte des données – quant à
savoir si des données ont effectivement été obtenues
au moment de l’entrée des participants dans le projet
et de leur sortie du projet;
les méthodes de collecte des données – quant à
savoir si l’information recueillie a été communiquée
par les participants eux-mêmes, si elle résultait des observations du personnel, etc.;
la mesure dans laquelle les questions posées au cours de l’évaluation ont été bien
comprises;
la pertinence des questions posées par rapport à ce que l’évaluation entendait
mesurer.
Il est préférable de tenir compte du mode d’analyse de vos données avant de commencer à les
recueillir. Votre plan d’analyse devrait faire partie de votre plan d’évaluation. Soyez ouverts à
diverses méthodes d’analyse. Il est toujours bon de consulter d’autres personnes qui peuvent
vous conseiller au sujet de la meilleure façon d’analyser les données que vous souhaitez
obtenir. Lorsque vous planifierez votre évaluation, communiquez avec des universitaires, des
consultants ou d’autres spécialistes du domaine de la prévention du crime par le
développement social pour obtenir des opinions sur les méthodes d’analyse les plus
appropriées. Une fois que vous aurez analysé les données, les participants, les partenaires et le
personnel pourraient être en mesure de vous éclairer sur les explications possibles des résultats
obtenus. Il conviendrait de les inclure dans vos consultations au sujet de la façon d’interpréter
les résultats de votre évaluation.
138
La science de l’analyse des données
Même si l’interprétation et la communication des données relèvent aussi de l’art, il ne peut y
avoir de place que pour la science dans la consignation et l’analyse des résultats. L’exactitude
et la minutie sont essentielles.
Imaginez les conséquences d’une inscription par mégarde dans la mauvaise colonne d’une base de données
des réponses obtenues des participants au projet quant aux mesures de comportements ou d’attitudes. Cette
erreur vous amènerait à tirer des conclusions fondées sur des renseignements inexacts. Ou alors pensez aux
conséquences de formuler des conclusions basées sur les réponses de participants à des questions qu’ils ont
toujours mal interprétées. Ces exemples vous donnent une idée de l’importance qu’il faut accorder à tous les
aspects de la mise en œuvre de votre évaluation.
Voici quelques éléments à surveiller :
Les questions mal interprétées – Testez les questionnaires ou les guides d’entrevue
pour vous assurer que les questions sont claires, en particulier lorsque le français ou
l’anglais est la langue seconde des participants ou
qu’ils n’ont pas terminé leurs études secondaires. La science de l’analyse des
Si vous avez donné des instructions du type « données
passez à » dans vos questionnaires (c.-à-d. des Assurez-vous que les données qualitatives et
questions comme « si le participant n’a pas quantitatives sont exactes et complètes :
9 Les questions ont été comprises et les
d’enfants, passez à la question X »), assurez-vous formulaires remplis de façon cohérente.
qu’elles ont été suivies correctement. 9 Les données ont été saisies
La saisie des données – Effectuez une vérification correctement.
exhaustive de la qualité de vos données pour 9 La vérification de la fiabilité a été
veiller à ce que toutes les données numériques effectuée.
9 Le contrôle de la qualité est en place.
soient correctement saisies dans les bases de
données. Cherchez des réponses qui s’écartent de
la norme. Si par exemple vous constatez que de
l’information concernant un enfant de huit ans a
été entrée dans votre base de données alors que
votre projet s’adresse à des personnes de 16 à 18
ans, vous pouvez supposer une erreur dans la saisie des données. Assurez-vous que les
réponses n’ont pas été entrées dans la mauvaise colonne d’une base de données.
La vérification de la fiabilité – Si deux personnes ou plus font de l’observation, vérifiez
leurs notes pour vous assurer que des observateurs indépendants noteraient les mêmes
observations de la même manière.
Le contrôle de la qualité – Assurez-vous de la logique de vos données. Si par exemple
des employés rattachés au programme consignent l’origine ethnique des participants au
projet et qu’il semble y avoir un nombre exceptionnellement élevé de participants anglais
ou espagnols, servez-vous de vos connaissances de votre collectivité pour vérifier
l’information. Y a-t-il un grand nombre d’immigrants du Royaume-Uni ou de l’Espagne
ou ont-ils été mal identifiés et auraient-ils dû être légitimement consignés comme des
Canadiens anglophones ou des Latino-Américains?
139
Les étapes clés de l’analyse des données
9 Vérifiez l’exactitude et l’exhaustivité des données.
9 Structurez les données. Essayez différentes façons de les structurer et de les décrire.
9 Posez les jalons de la réussite. Qu’espérez-vous ou qu’attendez-vous?
9 Réfléchissez aux résultats. Les résultats comblaient-ils vos attentes? Étaient-ils positifs ou
négatifs?
9 Tentez d’expliquer les résultats. Qu’est-ce qui pourrait expliquer les résultats?
Demandez aux employés, aux participants ou aux partenaires de vous faire part de leurs
réflexions. Comparez avec d’autres projets si l’information est accessible. Tentez de
dégager des tendances si vous recueillez des données au fil du temps
L’analyse des résultats

Comme nous l’avons mentionné dans le Module 3, l’analyse suppose l’étude de la
signification et de la valeur des données que vous avez collectées. Dans ce module, nous vous
avons proposé une description des termes de base utilisés dans l’analyse de données. Nous les
avons de nouveau inclus dans l’encadré ci-contre.
La fréquence et le pourcentage
Supposons que nous avons demandé à 472 personnes si elles étaient d’accord, en désaccord ou
sans opinion quant à la question de savoir si elles se sentaient davantage en sécurité dans leur
quartier après qu’un animateur communautaire a organisé une série d’ateliers ayant réuni les
résidents du quartier pour discuter de questions de préoccupations communes et pour mieux se
connaître.
Les résultats sont présentés dans le tableau ci-après. La fréquence – à quelle fréquence certaines
réponses ont-elles été fournies (compter
Réponse Fréquence Pourcentage simplement le nombre).
Le pourcentage – Quel pourcentage de
D’accord 288 61 % répondants ont dit a plutôt que b ou c. Vous
Sans opinion 112 24 % pouvez même faire une analyse plus poussée et
montrer comment le pourcentage variait entre
En désaccord 72 15 % les sous-groupes par rapport au groupe entier.
La moyenne – Il s’agit de la réponse moyenne.
TOTAL 472 100 % Cette donnée peut être influencée par des
réponses extrêmes (c’est-à-dire nettement
supérieures ou inférieures à la moyenne). S’il
Vous savez probablement déjà comment calculer un est probable que cela se produise, envisagez de
pourcentage. Nous nous servirons du nombre de fournir aussi une réponse médiane.
La médiane – La réponse se trouvant au milieu
personnes d’accord avec l’énoncé pour illustrer lorsqu’on classe les réponses de la plus élevée à
comment il est calculé. la plus faible.
Le mode – la réponse la plus souvent
Le nombre de répondants qui ont dit qu’ils étaient fournie.
d’accord avec l’énoncé (288) est divisé par le
nombre total de répondants (472), puis multiplié par
100 pour donner le pourcentage de répondants qui
140
convenaient qu’ils se sentaient davantage en sécurité dans leur voisinage (61 %).
288 ÷ 472 x 100 = 61 %
% du total des réponses = fréquence de réponse ÷ nombre total de réponses x 100
Des calculs plus ssoopphhiissttiiqquuééss . . .

Âge D’accord Neutre En désaccord Total
% (fréq.) % (fréq.) % (fréq.) % (fréq.)
Âge 18-29 31 % (38) 25 % (31) 44 % (55) 26 % (124)

Âge 30-59 58 % (114) 36 % (71) 6 % (12) 42 % (197)
Âge 60+ 90 % (136) 7 % (10) 3% (5) 32 % (151)
TOTAL 61 % (288) 24 % (112) 15 % (72) 100 % (472)
Vous pouvez fournir davantage d’information en ventilant de manière plus poussée les
fréquences et les pourcentages suivant les différentes catégories de répondants. Vous pourriez
par exemple répartir les résidents d’un quartier en fonction de l’âge, du sexe, du niveau de
revenu, du type d’habitation ou de tout autre facteur susceptible d’influer sur les perceptions
des gens.
Dans le tableau qui précède, nous avons classé les réponses du groupe d’un quartier en
fonction de l’âge. Le tableau illustre le pourcentage et la fréquence (entre parenthèses) des
réponses pour chaque groupe d’âge. Le nombre souligné montre le pourcentage des résidents
de 18 à 29 ans qui affirment avoir l’impression que le quartier est plus sûr. Ce groupe d’âge
représente 26 % du groupe total des répondants. La rangée et la colonne appelées TOTAL
devraient toujours atteindre 100 %.
La signification statistique
Si vous aviez recueilli les opinions des résidents du quartier avant le début de la série
d’ateliers, vous auriez pu ventiler les réponses en fonction de celles que vous auriez obtenues
avant le projet et après le projet, ce qui vous aurait permis de déterminer si les opinions des
résidents avaient évolué entre le début et la fin du projet. Comme nous l’avons appris dans le
module 5, il va sans dire qu’il vous faudrait être prudent en attribuant ce changement à la série
d’ateliers lorsque nous ne disposons pas de renseignements semblables d’un quartier témoin
qui n’aurait pas été exposé aux ateliers. Il est possible d’effectuer des calculs statistiques
encore plus poussés qui pourraient vous indiquer si les divergences d’opinions avant et après
un programme ou une intervention sont « statistiquement significatives » et si elles sont peu
susceptibles de s’être produites en raison du hasard.
Plus le seuil de signification est élevé, plus la probabilité que le résultat soit imputable au
hasard est faible. Si un résultat est significatif à 0,01, il existe une probabilité de une sur 100
qu’il soit imputable au hasard.
141
Pourquoi 0,01? Parce que 1 ÷ 100 = 0,01. Par conséquent, 0,01 représente une probabilité de
une sur 100 d’imputation au hasard.
1 ÷ 1000 = 0,001 ou une probabilité de 1 sur 1 000 d’imputation au hasard.
1 ÷ 20 = 0,05 ou une probabilité de 1 sur 20 d’imputation au hasard.
Vous verrez souvent un certain seuil de signification associé aux résultats d’une étude de
recherche ou d’une évaluation. Vous pourriez par exemple voir : p < 0,01. Ce résultat signifie
que la probabilité d’un résultat découlant du hasard est inférieure à une sur cent.
Dans les revues professionnelles, on a adopté comme pratique générale de communiquer les
conclusions avec un coefficient de probabilité d’au moins 0,05. Toute personne qui possède
des compétences en statistiques pourra vous conseiller quant au coefficient de probabilité
recommandé pour votre analyse. Si la taille de votre échantillon est très grande, il est
davantage probable que les résultats soient imputables au hasard. Des seuils de signification
plus élevés sont donc généralement nécessaires.
La plupart des tests statistiques exigent que certaines hypothèses concernant les données
analysées soient vérifiées. Lorsque vous comparez par exemple les moyennes de deux groupes
distincts à l’aide d’un test t, nous présumons que les échantillons sont prélevés auprès de
populations présentant une distribution normale et des écarts types équivalents. Une
distribution normale signifie que la plupart des scores se trouvent vers le centre et qu’une
proportion plus petite, mais égale, est située vers les extrémités de la distribution des scores. Le
graphique d’une distribution normale ressemble un peu à une cloche. Il est parfois appelé
« courbe en forme de cloche ».
Distribution normale ou « courbe en forme de cloche »
Nous n’entrerons pas dans les détails de ce qu’est un écart type. Défini simplement, l’écart
type est une mesure de l’ampleur de la répartition des scores entre les plus élevés et les plus
bas et de leur écart du score moyen. L’écart type augmente en proportion de la répartition des
scores.
Plutôt que de rendre le texte trop complexe, nous avons inclus des ressources à la fin du
présent chapitre pour vous aider à en apprendre davantage au sujet des variances et des écarts
types. Nous avons également inclus une définition plus technique d’un écart type dans le
glossaire. Les ressources recommandées dans ce chapitre vous seront utiles si vous êtes
intéressé(e) à effectuer des tests de signification. L’utilisation de tests de signification requiert
un certain savoir-faire afin que vous fassiez les calculs appropriés et que vous utilisiez les
données qui suivent les hypothèses nécessaires à certains tests. Un consultant peut vous aider à
cet égard.
Les trois « M »
142
Les trois « M » : le mode, la médiane et la moyenne sont officiellement connus sous le nom de
Mesures de tendance centrale. Vous connaissez probablement ces mesures. Nous les avons
présentées dans le module 3. Les trois « M » ou mesures de tendance centrale, constituent trois
façons différentes de résumer où se situent la plupart des réponses d’un groupe de personnes.
Le tableau ci-après illustre le niveau de satisfaction de 51 personnes qui ont indiqué sur une
échelle à cinq points dans quelle mesure elles étaient satisfaites d’un atelier de formation sur
l’évaluation de projets communautaires. La valeur 1 indiquait que ces personnes n’étaient pas
satisfaites du tout et la valeur 5, qu’elles étaient très satisfaites.
Degré de satisfaction Fréquence Pourcentage
5 5 9,8 %
4 15 29,4 %
3 19 37,3 %
2 10 19,6 %
1 2 3,9 %
TOTAL 51 100 %
La moyenne représente la réponse « moyenne ». Quelle mesure utiliser? La

Elle est calculée en additionnant toutes les
réponses, puis en divisant par le nombre total de moyenne, la médiane ou le
réponses. Pour calculer la moyenne de l’exemple mode?
du tableau qui précède, nous établissons la valeur
Voici quelques conseils sur les circonstances
totale de l’ensemble des réponses indiquées par les dans lesquelles il convient d’utiliser chaque
répondants, puis nous divisons par le nombre total mesure :
de réponses (51) pour obtenir une valeur moyenne
de 3,22 : 9 Utiliser le mode lorsque vous
communiquez des catégories
d’information (p. ex., homme/femme,
Moyenne = (5 x 5 + 4 x 15 + 3 x 19 + 2 x 10 + 1 x origine ethnique, etc.). Quelle était la
2) ÷ 51 = 3,22 catégorie la plus fréquente?
9 Utiliser la médiane pour illustrer la
La médiane vous dit où se trouve le point milieu réponse la plus typique.
des réponses. Vous obtenez la médiane en classant 9 Utiliser la moyenne pour refléter la
toutes les réponses, de la plus élevée à la plus basse, valeur de chaque réponse et non
seulement le nombre de réponses.
puis en trouvant la réponse du milieu (dans ce cas,
e Contrairement aux autres mesures de
la 26 réponse). Si le nombre de cas est pair, la tendance centrale, la moyenne peut être
médiane est le point qui se trouve à mi-chemin encore manipulée. Par exemple, les
entre les deux cas du milieu. Par exemple, s’il y moyennes de deux groupes peuvent être
avait 52 réponses dans l’échelle de la satisfaction, additionnées, puis divisées par deux pour
obtenir la moyenne du groupe combiné.
le point médian se trouverait à mi-chemin entre la
réponse des 26e et des 27e cas, s’ils étaient
différents.
143
Médiane = la 26e réponse (le point milieu) du plus élevé au plus bas = 3
Le mode est la réponse la plus souvent donnée.

Dans ce cas, la plupart des gens (soit 19 répondants sur 51) ont donné la réponse 3 à leur degré
de satisfaction.
Mode (réponse la plus fréquente) = 3
Parmi les trois mesures de tendance centrale, la moyenne est surtout touchée par les réponses
se démarquant de la distribution. Dans l’exemple sur la satisfaction dont nous nous sommes
servis, les réponses se rangent dans ce que l’on connaît sous le nom de distribution normale ou
de courbe en forme de cloche (en d’autres termes, la plupart des réponses se trouvent dans le
milieu et un nombre relativement égal, mais plus petit, se trouve aux extrémités supérieure et
inférieure). Par conséquent, les trois mesures, le mode, la moyenne et la médiane, sont proches
l’une de l’autre. Il arrive que quelques réponses qui sont à l’extrême supérieure ou inférieure
puissent influencer la moyenne, ce qui fait que la médiane est alors une meilleure mesure du
point central. Dans le cas présenté, le nombre plus élevé de répondants qui indiquent leur
satisfaction à 5 exerce une légère influence sur la moyenne. Par conséquent, la moyenne
s’établit à 3,22 tandis que la médiane et le mode se situent à 3.
Conseils en matière d’analyse
9 Évitez les tests statistiques aléatoires! Les « tests statistiques aléatoires » désignent la
réalisation de toutes sortes de tests statistiques sur les données que vous avez recueillies
jusqu’à ce que vous trouviez des résultats significatifs. Plus vous effectuez de tests, plus il
est probable qu’un test soit statistiquement significatif. Plutôt que de réaliser des tests
statistiques aléatoires, vous devriez avoir établi un plan d’analyse clair avant de recueillir
vos données. Votre plan devrait s’appuyer sur vos hypothèses au sujet de la population que
vous étudiez et sur vos attentes relatives aux résultats du projet susceptibles d’être obtenus.
Tenez-vous en à l’analyse prévue à moins qu’il existe de nouvelles preuves qu’une forme
différente d’analyse soit plus pertinente.
9 Assurez-vous que les seuils de signification reflètent la taille de l’échantillon. Dans

notre exposé sur la signification statistique, nous avons mentionné que de très grands
échantillons semblent parfois montrer des résultats statistiquement significatifs qui peuvent
effectivement être imputables au hasard. En règle générale, il est bon de maintenir un seuil
élevé de signification pour analyser des données d’un très grand échantillon.
Par ailleurs, il est souvent difficile de repérer des changements significatifs dans de petits
échantillons, ce qui fait que des seuils de signification moins élevés peuvent être utilisés. Si
vous travaillez avec un très petit groupe de participants (30 ou moins), il est préférable de
recueillir des données auprès de tous les participants plutôt que de constituer un échantillon
à même votre population de participants. Il est très difficile de tirer des conclusions d’aussi
petits échantillons.
Quand demander de l’aide?
144
Nous avons mentionné que les consultants peuvent vous aider à effectuer votre analyse. Vous
vous demandez peut-être quand vous pouvez faire le travail vous-même et quand vous devriez
faire appel à une personne qui vous aiderait à le faire. Nous vous recommandons de choisir
quelqu’un qui comprend les statistiques pour vous aider à effectuer les analyses plus poussées
telles que les tests de signification statistique. Un consultant peut également vous aider à
déterminer le type de données dont vous avez besoin, la taille de l’échantillon requise, et les
autres éléments à considérer avant la cueillette des données.
Dans le cadre d’analyses statistiques plus poussées, des consultants peuvent vous aider à vous
assurer :
9 que les hypothèses requises sont vérifiées,
9 que des tests statistiques appropriés sont utilisés,
9 que le seuil le plus approprié de signification est appliqué, et
9 que l’interprétation des résultats est raisonnable.
145
Les tests normalisés
Dans le module 4, nous avons traité des tests normalisés. Les tests normalisés sont souvent
utilisés pour évaluer les connaissances, les attitudes et les comportements des individus. Ils
comportent habituellement un certain nombre d’énoncés suivis d’une échelle
(p. ex. une échelle à quatre points qui va de tout à fait d’accord à entièrement en désaccord)
sur laquelle le répondant indique le point de vue qui s’applique le mieux à lui. Le processus de
normalisation d’un test consiste à l’administrer à un grand nombre de personnes qui,
idéalement, sont semblables à celles qui compléteront la mesure lorsqu’elle sera utilisée dans
son contexte. Les données recueillies de ce grand groupe tiennent lieu d’élément comparatif
pour vous aider à interpréter les réponses des répondants. La normalisation vous permet de
déterminer si le score d’une personne est élevé, moyen ou bas comparativement à la « norme ».
9 Quand un test a été normalisé, Comme les échelles normalisées sont établies de manière
les résultats obtenus peuvent être à ce qu’un certain nombre d’éléments contribuent à
comparés aux résultats l’évaluation d’une caractéristique ou d’un concept, les
normalisés. Ces résultats résultats de chacun des éléments ne devraient
représentent les « normes » du généralement pas être communiqués seuls. Dans le
test.
module 5, nous avons traité de la validité, la capacité
9 Utiliser le score total ou, s’il
existe des sous-échelles, classer d’une mesure d’évaluer ce qu’elle est censée mesurer.
les réponses en sous-échelles à Nous avons également abordé la fiabilité, soit la capacité
des fins d’analyse. d’une mesure de fournir des données cohérentes au fil du
9 Une analyse basée sur les temps et lorsqu’elles sont complétées par divers groupes.
réponses à certains éléments peut Un élément seul sur une échelle normalisée est
entraîner une fausse
interprétation.
susceptible de présenter une validité et une fiabilité faibles
lorsqu’il est utilisé par lui-même. Il pourrait faire l’objet
d’une fausse interprétation de la part du répondant ou pourrait plus vraisemblablement
entraîner des réponses socialement désirables de la part de certains répondants. L’utilisation
d’un score total sur une échelle ou une sous-échelle est moins susceptible d’être vulnérable à
ces types de biais. Pour cette raison, il est préférable de communiquer des résultats à partir
d’échelles normalisées basées sur le résultat total d’une échelle ou d’une sous-échelle.
Données qualitatives3
Vous pouvez analyser de petites quantités de données qualitatives en résumant les réponses
pour fournir un portrait global de ce qui a été dit.
9 De petites quantités de données
peuvent être résumées pour
Lorsque vous disposez de grandes quantités de données
fournir un portrait global de ce
qualitatives, vous devriez utiliser une méthode d’analyse qui a été dit.
plus systématique. L’analyse du contenu est un procédé 9 Faites le compte de la fréquence
par lequel les tendances en matière de données qualitatives des réponses semblables (p. ex.,
sont repérées, codifiées ou nommées et ensuite classées ceux qui croyaient que le projet
(Patton, 1990). devrait être plus long, que
l’endroit devrait être plus
rapproché, etc.)
3
Cette section est adaptée avec l’autorisation de Kenton, N., & Sehl, M. (2002). Community Action Program
for Children (CAPC) regional evaluation tool kit. Toronto : Santé Canada.
146
L’analyse des données qualitatives constitue généralement un processus fastidieux, mais des logiciels comme
NUD*IST et NVIVO (voir http://www.qsrinternational.com/) ont été élaborés pour faciliter le codage des
données qualitatives.
Si vous analysez vos données qualitatives à la main en utilisant des copies papier des données
(p. ex., des transcriptions d’entrevues ou de réponses
ouvertes à des questions écrites), faites en au moins Conseils sur la préparation des copies
papier des transcriptions d’entrevues aux
quatre copies avant de commencer vos analyses
fins de l’analyse du contenu :
(Patton, 1980). Si vous analysez des transcriptions
d’entrevues, demandez au transcripteur de laisser de 9 Laisser sur les pages une très grande
grandes marges pour le codage. Les transcriptions marge à droite aux fins du codage.
d’entrevues devraient toujours être faites 9 S’assurer que les transcriptions
textuellement. Elles ne devraient jamais être rapportent textuellement ce qui a été dit.
résumées avant l’étape de l’analyse. 9 Faire quatre copies de chaque
transcription.
Les quatre copies de vos données seront utilisées de

la façon suivante :
1. Entreposage sûr
2. Pour s’y reporter tout au long de l’analyse
3. Pour coder dans les marges
4. (ou davantage de copies) Pour couper-coller sur des notes écrites ou mémos.
Une fois les données recueillies, transcrites et copiées, vous êtes prêt pour l’analyse. Voici un
court résumé des étapes à suivre pour analyser le contenu :
1. L’examen et l’organisation des données – Examiner les transcriptions (ou les réponses écrites aux
questions). Noter les thèmes qui émergent et les catégories principales dans lesquelles les données
semblent s’inscrire.
2. Le codage des données – Examiner minutieusement les transcriptions (ou les réponses
écrites). Chercher de l’information pertinente aux questions d’évaluation définies au
Exemple
Supposons que vous codez les réponses des participants à un projet de jeunes à
une question portant sur ce qu’ils ont appris au sujet de la résolution de
problèmes. Vous pourriez coder les réponses à la question de savoir s’ils se
rangent dans les catégories générales suivantes : faire fin du problème, demander
le soutien d’autrui, fuir ou éviter le problème ou chercher activement une solution
au problème.
début du processus d’évaluation, aux catégories et aux thèmes émergents. « Coder »

les données en écrivant le sujet, la catégorie ou le thème dans la marge de droite de la
page.
147
3. La rédaction des mémos – Maintenant que toutes les données ont été codées, utilisez
les codes que vous avez placés dans la marge de droite des transcriptions ou des
réponses aux entrevues pour étudier vos données par catégorie. Vous devriez être à
l’affût des contradictions, de la constance des thèmes dans les catégories ou des liens
entre les catégories. Résumez ensuite cette information dans des notes écrites ou
mémos.
Exemple
Supposons que vous avez interviewé le personnel du projet et celui d’organisations
partenaires. L’une des questions d’entrevue demandait aux répondants comment
ils percevaient le fonctionnement du partenariat. Vous auriez pu coder ces
perceptions sous le grand titre « perceptions du partenariat ». Dans cette
catégorie, vous pourriez relever des contradictions dans les perceptions qu’ont les
divers groupes du partenariat. Vous pourriez ensuite préparer un mémo qui décrit
les contradictions relevées. Un autre mémo pourrait décrire toute autre tendance
relative aux perceptions qu’ont les répondants du partenariat.
Miles et Huberman (1984) constatent que les mémos « ne font pas que communiquer
des données, elles regroupent également différentes données ou montrent que des
données en particulier illustrent un concept général » (p. 69). Les mémos aident à
établir le mode de présentation des résultats de vos analyses. Ils décrivent les
principaux thèmes, liens, contradictions et catégories de données.
4. L’opération « couper-coller » – Couper et coller directement sur les mémos des

citations tirées des données brutes qui se rapportent aux thèmes ou aux concepts que
présentent ces mémos. Ces citations tiendront lieu d’exemples des concepts ou des
thèmes que vous identifiez. Souvenez-vous de toujours coder la citation au moyen de
renseignements quant à sa source (non pas le nom de la personne, mais la catégorie de
répondant –participant, partenaire, membre du personnel, etc.) et un numéro de page.
5. La vérification des conclusions – Lorsque c’est possible, utilisez les questions

découlant des notes que vous avez rédigées pour préparer d’autres entrevues avec des
participants. Ces entrevues seront plus réussies si vous fournissez aux participants un
résumé de vos conclusions préliminaires avant l’entrevue. Miles et Huberman (1984) et
Guba et Lincoln (1985) recommandent ces vérifications comme méthode de correction
et de vérification des données.
6. La révision de vos affirmations initiales – Transcrivez et analysez les données de

l’entrevue de suivi en suivant les étapes 1 à 4 qui précèdent et utilisez l’information qui
en résulte pour réviser vos affirmations initiales.
148
La communication des résultats
Votre façon de présenter vos données est, dans une certaine mesure, une question de
préférence. Certaines personnes préfèrent les tableaux et d’autres privilégient les graphiques. Il
arrive qu’une méthode soit mieux adaptée qu’une autre à la présentation d’un type de
renseignements en particulier. Voici des renseignements généraux concernant les avantages
des différentes méthodes de présentation :
9 Les graphiques et les diagrammes illustrent les tendances mieux que les tableaux.
9 Les diagrammes à bandes sont faciles à lire et constituent une bonne façon de comparer
les différences entre des renseignements semblables.
9 Les graphiques linéaires simples peuvent illustrer des séries de données différentes en
même temps.
9 Les diagrammes circulaires montrent des parties d’un tout et sont faciles à lire.
9 Les tableaux sont plus efficaces lorsque nous ne présentons que quelques éléments
d’information.
Étudions de manière plus exhaustive ces différentes méthodes de communication des résultats.
Les diagrammes à bandes
Les diagrammes à bandes sont utiles pour comparer deux ensembles de données. À titre
d’exemple, le diagramme qui figure ci-dessous présente des valeurs par catégories (p. ex.
toujours, parfois, jamais) et au fil du temps (p. ex. en 2001 et en 2003). Les diagrammes à
bandes sont également utiles pour comparer des données de prétests et de post-tests. L’axe
horizontal représente les catégories (toujours, généralement, etc.), alors que l’axe vertical
représente la fréquence des réponses (dans ce cas, en pourcentages).
149
Sentiment de sécurité rapporté par les participants
en 2001 (n =90) et en 2003 (n =88)
50
40
2001
30
2003
% de réponses
20
10
0 Parfois
Toujours Rarement Jamais
Lorsque vous préparez un diagramme à bandes, n’oubliez pas d’inclure une « légende ». La
légende est l’encadré à droite qui explique comment les couleurs ou les motifs utilisés sur les
bandes se rapportent à l’année de collecte des données. Identifiez les deux axes et donnez au
diagramme un titre qui explique bien son contenu. Indiquez la taille de l’échantillon. Dans ce
cas, la taille de l’échantillon diffère d’une fois à l’autre; les deux cas sont donc illustrés.
Les diagrammes à bandes peuvent être trompeurs
Le diagramme à bandes ci-après présente les mêmes données que celles du diagramme ci-
dessus. Le premier illustre un axe vertical coupé à 50 % plutôt qu’à 100 %. Les proportions
entre les bandes demeurent les mêmes, mais la taille réduite de l’axe vertical fait en sorte que
les bandes remplissent mieux le diagramme. Cette présentation peut tromper l’œil et amener le
lecteur à penser que davantage de personnes se sentent généralement ou parfois en sécurité que
ce qui se produit réellement. Il n’est toutefois pas incorrect de présenter les données ainsi. Le
lecteur devrait toujours jeter un coup d’œil sur l’axe vertical pour déterminer s’il présente une
échelle complète ou seulement une partie de celle-ci. Bien que vous puissiez vous en tirer sans
présenter la partie supérieure de l’axe vertical qui montre les pourcentages, vous devriez
toujours faire démarrer l’échelle à zéro.
La valeur la plus élevée sur l’axe vertical du diagramme figurant ci-dessous est de 100 %. Elle
est moins susceptible de tromper l’œil que le précédent. Cependant, le diagramme ne remplit
pas aussi bien la page! Jetez un coup d’oeil à l’axe vertical. Ne laissez pas cette illusion
visuelle vous faire croire que davantage de personnes ont répondu d’une certaine manière
qu’elles ne l’ont réellement fait.
150
Sentiment de sécurité rapporté par les participants en
2001 ( n =90) et en 2003 ( n =88)
100
90
80
70
60
% de réponses 50
40
30
20
10 2001
0 2003
ours t
ois aremen Jamais
Touj Parf R
Les graphiques linéaires simples
Les graphiques linéaires simples constituent une bonne façon d’illustrer des changements
continus comme les augmentations et les diminutions du sentiment de sécurité au fil du temps.
Les graphiques linéaires simples sont particulièrement utiles pour communiquer des tendances.
Ils peuvent être utilisés pour comparer les changements vécus par plus d’un groupe ou dans
plus d’un secteur à l’aide de différentes lignes dans le graphique.
L’axe horizontal du graphique linéaire de la page suivante représente les dates de la collecte de
données. L’axe vertical illustre la fréquence des réponses (dans ce cas, le pourcentage des
personnes ayant perçu le lieu comme sûr).
N’oubliez pas d’inclure un titre descriptif et une légende et d’identifier les axes de votre
graphique linéaire. Utilisez des espaces égaux sur l’échelle.
151
Perceptions qu'ont les résidents de la sécurité dans les lieux
du complexe d'habitation : 1998 (n =200), 2000 ( n =192),
2002 ( n =216) et 2003 ( n =230)
90
% qui voient
le lieu comme 70 Stationnement
sûr 50 Escaliers
Ascenseurs
30
Terrain de jeu
1998 2000 2002 2003
Nous montrons ci-dessous un autre exemple de manipulation de l’axe vertical. Dans ce cas,
nous avons présenté les mêmes données que dans le graphique précédent, mais nous avons
limité l’échelle de l’axe vertical de manière à ce qu’il commence à 30 et se termine à 90.
Comme nous l’avons mentionné précédemment, ce n’est pas une bonne idée de faire
commencer l’axe vertical au dessus de zéro. Comme vous pouvez le voir dans le graphique ci-
dessous, cette façon de faire trompe l’œil en exagérant la mesure dans laquelle il y a eu un
changement dans la perception de la sécurité sur la période de six ans.
Perceptions qu'ont les résidents de la sécurité dans les différents

lieux du complexe d'habitation : 1998 ( n =200), 2000 ( n =192),
2002 (n =216) et 2003 ( n =230)
100
80
% qui voient le Stationnement
60
lieu comme sûr Escaliers
40
Ascenseurs
20 Terrain de jeu
0
1998 2000 2002 2003
152
Les diagrammes circulaires
Les diagrammes circulaires constituent une bonne façon d’illustrer les différentes parties
d’un plus grand ensemble. Ils devraient être utilisés lorsque les données sont représentées en
pourcentage de l’ensemble. Si, par exemple, vous décrivez les données démographiques qui
forment votre population de participants, le diagramme circulaire présente bien la population
par niveau d’éducation, par groupe de revenu ou par état matrimonial.
Les diagrammes circulaires devraient être accompagnés d’une légende. Chaque partie devrait
être identifiée par une valeur qui illustre le pourcentage de l’ensemble représenté.
Niveau d'éducation (n =100)

5%
15 % Années d'études secondaires
35 %
Diplôme d'études secondaires
Études postsecondaires
Diplôme d'études
45 % postsecondaires
Les tableaux
Les tableaux sont une bonne façon de présenter les liens entre les informations. Ils peuvent
également être utilisés pour présenter des plans de travail et les progrès réalisés dans les
activités.
Donnez au tableau un titre complet. Désignez toutes les rangées et les colonnes dans le tableau.
Si des symboles sont utilisés, ajoutez une légende pour les expliquer. Le tableau ci-après
présente les différences dans les caractéristiques démographiques d’un groupe de traitement
(ou d’intervention) et d’un groupe témoin.
Comparaison démographique entre un groupe

de traitement et un groupe témoin
Traitement (n =54) Témoin (n=47)
Âge moyen 27 24
Éducation moyenne (années) 14 12
Revenu moyen (mensuel) 1 400 $ 1 250 $
% de femmes 55 % 52 %
Un conseil supplémentaire...
153
Ne pas confondre corrélation et causalité
Il s’agit de l’un des aspects les plus importants à retenir lorsque vous communiquez les
résultats de votre analyse. Le fait qu’il y ait une corrélation entre deux éléments ne signifie pas
nécessairement que l’un soit la cause de l’autre.
Si par exemple des adolescents qui fument présentent également un niveau plus élevé de
décrochage scolaire, cela ne signifie pas qu’ils sont plus susceptibles de décrocher de l’école
parce qu’ils fument. Qu’est-ce que cela signifie? Réponse : Que ceux qui fument sont plus
susceptibles de décrocher. Rien de plus.
Dans le même sens, même s’il existe une corrélation entre la participation réduite à des actes
criminels et la participation aux programmes, nous ne pouvons pas affirmer avec une certitude
absolue que les participants au programme ont moins pris part à des crimes en raison de ce
programme. Nous pouvons dire que les participants à un programme en particulier étaient
moins susceptibles d’être impliqués dans des actes criminels. Si vous avez bien fait votre
travail et que vous avez éliminé les autres explications possibles d’une implication réduite des
participants au projet dans des actes criminels, vous pouvez affirmer que vos résultats sont
prometteurs. Vous pouvez suggérer que le programme peut avoir un effet.
Questions à considérer dans votre rapport

Lorsque vous communiquez les résultats de votre évaluation, tentez de fournir aux
principaux intervenants les réponses aux questions que ces derniers voudront
connaître. Voici certaines questions à considérer :
9 Qu’est-ce qui a bien fonctionné? Qu’est-ce qui devait être amélioré?

9 S’il y a eu des problèmes, quels étaient-ils?
9 Les problèmes peuvent-ils être corrigés avec les ressources existantes?
9 Quels sont les points forts qui ressortent et qui devraient être davantage soulignés?
9 Le projet a-t-il atteint ses objectifs avec efficacité et dans l’affirmative, par quels moyens?
9 Globalement, le projet est-il valable? (Services de police d’Ottawa, 2001)
Choisissez le style de votre présentation en fonction de

votre auditoire
9 Pensez à votre auditoire – Est-ce que ce sont les participants au programme? Ceux qui le
subventionnent? D’autres responsables de projets communautaires? Des analystes des
politiques? Le gouvernement?
9 Incluez un sommaire.
9 Incluez des exemplaires de vos outils d’évaluation dans les annexes.
9 Faites part de vos observations sur les répercussions des résultats – Que signifient-
elles en ce qui concerne les changements apportés par le projet?
154
La rédaction d’un rapport peut constituer une bonne façon de résumer les résultats de votre évaluation, mais ce
n’est pas la seule. Le mode de communication de vos résultats sera fonction de l’auditoire que vous tentez
d’atteindre. Votre bailleur de fonds pourrait préférer un rapport écrit. Une fiche de renseignements rédigée en
langue courante ou une tribune communautaire pourrait par contre mieux fonctionner pour les participants au
projet.
Si vous fournissez un rapport écrit, assurez-vous qu’il comporte un sommaire. Le sommaire peut être plus
accessible qu’un rapport complet. Il s’agit d’une bonne manière de joindre les lecteurs intéressés qui n’ont pas le
temps de lire un long rapport.
Les vidéos ou les photographies qui illustrent certains aspects des changements apportés à la collectivité sont
efficaces pour communiquer les résultats. Supposons que vous vouliez montrer dans quelle mesure votre projet a
entraîné des changements à la quantité de graffitis dans votre collectivité. Une série de photographies montrant les
changements survenus au fil du temps serait une façon idéale de présenter les résultats de votre projet. Un autre
projet pourrait avoir pour objectif de montrer comment l’action communautaire a entraîné une plus grande
circulation pédestre dans un secteur qui était auparavant évité par les résidents du quartier. Une série de
photographies ou de vidéos réalisées au fil du temps constituerait un exposé convaincant.
Glossaire
Corrélation
La corrélation désigne un lien entre deux variables. Cela ne signifie pas qu’une variable cause
l’autre, mais tout simplement qu’une variable est liée à l’autre. D’un point de vue statistique, la
corrélation est mesurée au moyen d’un coefficient de corrélation (r). Il mesure la similitude ou
le degré d’association entre deux variables. Les corrélations statistiques vont de moins un à
plus un. Plus la valeur est loin de zéro, plus les deux variables sont liées (Worsley, Hoen,
Thelander et Women’s Health Centre au St. Joseph’s Health Centre, 2002).
Distribution normale
Une distribution normale signifie que les réponses ou les scores d’une population en particulier
sont distribués de façon telle que la plupart des réponses se trouvent au centre, une proportion
plus petite, mais égale, étant située à chaque extrémité de l’échelle des scores. Un graphique
linéaire montrant une distribution normale ressemble un peu à une cloche, ce qui fait qu’il est
parfois appelé « courbe en forme de cloche ».
Écart type
Un écart type consiste en la mesure dans laquelle les scores sont variables ou étalés autour du
score moyen. La définition statistique d’un écart type est la racine carrée de la variance des
scores. La variance correspond à la mesure dans laquelle chaque score d’un ensemble s’écarte
de la moyenne de cet ensemble de scores. Plus l’écart type est élevé, plus les scores sont étalés
autour de la moyenne.
Échelle et sous-échelle
Une échelle est un test dans le cadre duquel des questions qui mesurent la même chose ou
divers aspects de la même chose sont liées ensemble (Rittenhouse, Campbell et Dalto, 2002).
Une sous-échelle mesure un aspect de l’échelle plus grande. Par exemple, si une échelle était
utilisée pour mesurer des aptitudes en résolution de problèmes, une sous-échelle pourrait
155
évaluer la capacité de la personne à obtenir du soutien ou des conseils d’autrui lorsqu’elle est
confrontée à un problème.
Fiabilité des différents observateurs

La fiabilité des différents observateurs est utilisée pour étudier la mesure dans laquelle divers
observateurs s’entendent en ce qui concerne la mesure d’un même phénomène (Aspen Institute
of Comprehensive Community Initiatives, 1999).
Indicateur
Un indicateur est une variable (ou une information) qui mesure un aspect d’un programme ou
d’un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au moins
un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat identifié
dans le modèle logique).
Normalisation
Une mesure normalisée en est une qui a été administrée à un groupe très important de
personnes semblables à celles auprès desquelles la mesure sera utilisée. Les données recueillies
auprès de ce groupe tiennent lieu d’élément de comparaison en vue de l’interprétation des
résultats de l’évaluation d’une personne, d’un petit groupe, d’un programme. Les tests
normalisés vous permettent de déterminer si le score obtenu au test par une personne est élevé,
moyen ou faible comparativement à la norme (Ogden/Boyes Associates Ltd., 2001).
Normes
Les normes indiquent les scores moyens aux questions d’un sondage. Les scores des
répondants peuvent être comparés aux normes du sondage pour établir comment ceux-ci se
comparent à la population moyenne ou à une population présentant des caractéristiques
semblables aux leurs.
Signification statistique
Les tests de signification statistique sont effectués pour établir si les résultats sont imputables
au hasard ou s’ils sont susceptibles de refléter une différence ou un changement véritable.
Socialement désirable
Il arrive que des répondants fournissent des réponses à un questionnaire ou à une mesure qu’ils
croient être plus favorables à leur estime de soi, davantage en accord avec les normes sociales
apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces réponses sont
considérées comme socialement désirables.
Test
Un test est une façon de mettre à l’essai un outil en particulier avant qu’il ne soit utilisé dans
une étude ou une évaluation. Vous pourriez, par exemple, vouloir tester un questionnaire que
vous avez élaboré auprès de quelques répondants potentiels pour savoir s’ils le comprennent et
si les questions vous fournissent le type de renseignements que vous souhaitez obtenir.
156
Test t
Un test t est un test statistique utilisé pour vérifier la différence entre les moyennes obtenues de
deux populations différentes ou de la même population, mais dans des conditions différentes.
Un test t pourrait par exemple être utilisé pour établir si la différence dans les scores moyens
obtenus à un test administré à des participants à un projet et ceux qui ont été obtenus par des
membres d’un groupe témoin est statistiquement significative (peu susceptible d’être obtenue
par hasard). Ce test pourrait également servir à vérifier la signification statistique de la
différence dans les scores moyens obtenus à un test administré aux participants avant et après
un projet.
Références
Aspen Institute Roundtable on Comprehensive Community Initiatives. (1999). Measures for community research.
Extrait le 2 novembre 2004 de http://www.aspenmeasures.org/html/glossary.htm
Guba, E.G., & Lincoln, Y.S. (1985). Naturalistic inquiry. Beverly Hills, CA: Sage.
Miles, M. B., & Huberman, M. A. (1984). Qualitative data analysis: A sourcebook of new methods. Beverly Hills,
CA: Sage.
Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and
evaluating programs involving children, families and communities. Rapport inédit produit pour Santé
Canada, Direction générale de la santé de la population et de la santé publique, région de l’Alberta et des
Territoires du Nord-Ouest, Calgary (Alberta).
Patton, M. Q. (1980). Qualitative evaluation methods. Beverly Hills, CA: Sage
Patton, M. Q. (1990). Qualitative evaluation and research methods. Londres: Sage.
Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait le
4 novembre 2004 de http://www.tfn.net/%7Epolland/quest.htm
Rittenhouse, T., Campbell, J., & Dalto, M. (2002, 15 février). Dressed-down research terms: A glossary for non-
researchers. Extrait le 4 novembre 2004 du site Web du Missouri Institute of Mental Health :
http://www.cstprogram.org/PCS&T/Research%20Glossary/Dressed_Down_Glossary.pdf
Services de police d’Ottawa. (2001, août). Vous pouvez y arriver : Une trousse d’outils pratiques pour
l’évaluation des programmes d’intervention policière et de prévention de la criminalité dans la
collectivité. Extrait le 19 avril 2005 de http://www.prevention.gc.ca/fr/library/publications/reports/toolkit/
Worsley, J., Hoen, B., Thelander, M., & Women’s Health Centre au St. Joseph’s Health Centre. (2002,
septembre). Community Action Program for Children: Ontario regional evaluation final report. Toronto,
ON : Santé Canada, Direction générale de la santé de la population et de la santé publique, région de
l’Ontario.
157
Sites Web

Prevention Pathways
http://pathwayscourses.samhsa.gov/courses.htm
Cette série de tutoriels en ligne fournit de l’information au sujet de l’analyse de données. Le cours en ligne intitulé
« Wading through the Data Swamp » inclut des sujets comme les statistiques descriptives, les coefficients de
corrélation, les tests t et l’analyse du Khi carré.
Corporation for National and Community Service

Project Star : AmeriCorps Program Applicant Performance Measurement Toolkit
http://www.projectstar.org/star/AmeriCorps/pmtoolkit.htm
Ce site Web comprend des outils progressifs et conviviaux d’analyse des données de mesure du rendement. Une
liste de contrôle en matière de communication fournit des lignes directrices sur ce qu’il convient d’inclure dans un
rapport d’évaluation.

L’inscription gratuite à ce site Web vous donne droit à un certain nombre d’excellentes ressources, y compris un
tutoriel de statistiques et un échantillon en ligne d’un rapport d’évaluation final. Une fois que vous vous serez
inscrit, passez à la section des ressources pour accéder à ces outils.
Microsoft Education
Analyzing Data with Excel 2002
http://www.microsoft.com/Education/Excel2002Tutorial.aspx
Un tutoriel en ligne illustre comment analyser des données au moyen du programme Excel.
Plain Language Network

«Plain Train» : le Programme de formation en ligne sur le style clair et simple
http://www.plainlanguagenetwork.org/plaintrain/Francais/
Ce réseau fournit de l’information sur l’utilisation du langage simple dans divers sujets. Également accessible en
anglais à : http://www.plainlanguagenetwork.org/plaintrain/index.html
Robert Niles.com
Statistics Every Writer Should Know
http://nilesonline.com/stats/
Cet excellent site Web vise à aider les reporters à mieux comprendre les statistiques qu’ils utilisent à titre de
journalistes. Le site est facile à utiliser et s’adresse au lecteur profane. Il comprend des leçons simples portant sur
des statistiques de base et un tableau qui vous aide à déterminer la taille appropriée des échantillons. Il comporte
également des liens vers des lectures recommandées sur les statistiques qui s’adressent encore une fois au lecteur
profane.
158
University of Wisconsin Program Development and Evaluation
Il s’agit d’un excellent site Web qui offre des outils d’apprentissage relatifs à l’analyse de données qualitatives et
quantitatives et à la communication des résultats d’évaluation. Il comprend des conseils sur la préparation des
graphiques et des diagrammes.
Western Centre for Substance Abuse Prevention

Étape 7 : Évaluation
http://casat.unr.edu/bestpractices/eval.htm
Ce site Web fournit de l’information sur les meilleures pratiques d’établissement d’un programme de prévention, y
compris l’instauration d’une évaluation. Il comprend une section utile sur l’analyse, l’utilisation et l’interprétation
de données, à la fois qualitatives et quantitatives.
Revues
Practical Assessment, Research and Evaluation
http://pareonline.net/
Cette revue en ligne inclut des articles sur l’analyse des données et sur l’interprétation des résultats.
Livres/Manuels
Crime Prevention is Everybody’s Business: A Handbook for Working Together
Les pages 76 à 79 de ce manuel fournissent de l’information sur la manière de structurer votre rapport d’évaluation
final.
Bigwood, S., & Spore, M. (2003).

Presenting numbers, tables and charts. New York: Oxford University Press.
Il s’agit d’un bon ouvrage de référence qui vous aidera à présenter vos données.
Trochim, W. (2000).
Ce document en ligne fournit beaucoup de renseignements au sujet de l’analyse des données et du processus de
communication.
Services de police d’Ottawa. (2001, août).

Vous pouvez y arriver : Une trousse d’outils pratiques pour l’évaluation des programmes d’intervention
policière et de prévention de la criminalité dans la collectivité.
http://www.prevention.gc.ca/fr/library/publications/reports/toolkit/
Les pages 78 et 79 de ce manuel fournissent de l’information sur la manière de structurer votre rapport
d’évaluation final.
159
Module 6
Feuilles de travail
160
161
Analyse des résultats
162
163
Communication des résultats4
1. Préparez une présentation de trois minutes sur les résultats de votre analyse.
2. Avancez quelques hypothèses sur les facteurs qui ont pu influer sur les résultats
(participants, projet, processus).
3. Utilisez au moins un graphique, diagramme ou tableau.
4. Tirez des conclusions : Par exemple, ces données montrent que …
5. Si les résultats s’avéraient différents de vos attentes, quelles en seraient les raisons,
selon vous?
4
Cet exercice est adapté de : Analysing, Interpreting and Reporting Outcomes Workshop, par Brenda Simpson.
164
Module 7 :
Défis et solutions en matière d’évaluation
Découvrir les défis associés à l’évaluation des projets communautaires :
L’engagement du personnel et des partenaires
La mobilisation des participants
La collecte des données
Les résultats réalistes
L’analyse des données
Le choix d’un évaluateur
Les questions d’ordre éthique
Les différences culturelles et communautaires
Avoir en main des solutions potentielles
Connaître les ressources de la collectivité
Ce module décrit certains des grands défis associés à l’évaluation des projets de prévention du
crime par le développement social. La description de chacun des défis est suivie de certaines
solutions possibles pour donner le coup d’envoi à votre évaluation.
Premier défi : L’engagement du personnel et des

partenaires
Pour qu’une évaluation connaisse du succès, elle doit bénéficier de l’appui des partenaires, des
gestionnaires de projet, du personnel de première ligne et des participants. Étudions d’abord
certains des défis auxquels vous pourriez devoir faire face pour rallier le personnel et les
partenaires au projet. Nous aborderons la mobilisation des participants dans le deuxième défi.
Le personnel chargé du projet
Le personnel chargé du projet peut être réticent à participer à l’évaluation du programme ou

du projet pour lequel il travaille. Au fur et à mesure que vous examinerez les défis énumérés
plus loin, n’oubliez pas qu’il est possible que le personnel qui se consacre à votre projet vous
fasse part de certaines de ses inquiétudes. Il est aussi possible qu’il ne les communique pas du
tout. Certains membres seront par ailleurs enthousiastes en raison de l’occasion qui s’offre à
eux de participer à une évaluation, d’acquérir de nouvelles compétences et de montrer que les
activités auxquelles ils prennent part font une différence dans la vie d’autres personnes.
L’angoisse ou la peur – Pour de nombreuses personnes, le mot évaluation fait peur. Les
membres du personnel de première ligne et les gestionnaires de projet peuvent avoir le
sentiment que ce n’est pas le projet qui est évalué, mais plutôt eux.
165
La préoccupation quant à l’avenir du projet – Les membres du personnel du projet
craignent souvent que le projet ne puisse obtenir de fonds si les résultats de l’évaluation
sont négatifs.
Les exigences conflictuelles en matière de charge de travail – Il importe de reconnaître

que les membres du personnel de projets communautaires ont souvent de lourdes charges
de travail. S’ils sont contraints de choisir entre le service offert aux participants et les
tâches d’évaluation, ils opteront généralement pour l’intervention.
Le manque de compétences en évaluation ou le manque de confiance dans les

compétences en évaluation – Les membres du personnel du projet sont embauchés pour
offrir un programme et ne prévoient généralement pas se faire demander d’effectuer des
entrevues d’évaluation, de remplir des instruments d’évaluation ou d’assurer le suivi
concernant l’information portant sur les activités du projet. La possibilité de participer à
une évaluation peut être intimidante pour les personnes qui n’ont jamais reçu de formation
en recherche ou en évaluation.
Les outils d’évaluation ne mesureront pas le changement – Il peut être très gratifiant de
travailler à des projets communautaires. L’une des plus grandes récompenses consiste à
assister à la concrétisation de changements dans des collectivités ou dans la vie des
participants. Il n’est pas inhabituel pour les participants au projet et les membres de la
collectivité de parler de l’impact qu’ont eu certains projets communautaires dans leur vie.
Pour cette raison, il est possible que les membres du personnel du projet déclarent :
« Nous savons déjà que cela fonctionne, alors pourquoi devons-nous l’évaluer? »
Le sentiment d’être « surévalué » – Comme les bailleurs de fonds exigent de plus en

plus que les projets effectuent une évaluation des résultats, les membres du personnel du
projet peuvent se dire frustrés que leurs interventions subissent constamment des
évaluations.
Les partenaires
Les projets communautaires de prévention du crime par le développement social fonctionnent

généralement en partenariats ou en coalitions. Votre organisation peut exécuter conjointement
des activités de projet avec d’autres groupes communautaires, des organismes de services, le
système d’éducation, la police et des groupes de bénévoles. Vos partenaires pourraient
recevoir des fonds de différentes sources pour appuyer ces activités. Par conséquent, tous vos
partenaires et leurs bailleurs de fonds s’intéresseront probablement à l’évaluation de votre
projet. Les partenaires sont parfois une source importante d’information au sujet des activités
de projet et des résultats. Leur soutien et dans bien des cas leur participation active à
l’évaluation sont essentiels.
Les exigences conflictuelles de différents bailleurs de fonds – Vos partenaires sont

susceptibles d’avoir des obligations d’évaluation ou des obligations administratives à
l’égard d’autres bailleurs de fonds ou partenariats. S’ils luttent pour répondre à des
166
exigences de leurs propres organisations, les demandes de renseignements de votre projet
peuvent s’avérer lourdes.
Des définitions divergentes du succès – Quand des groupes différents jouent un rôle dans
un projet, ils sont parfois en désaccord sur la définition du succès. À titre d’exemple, dans
un projet sur les compétences en leadership chez les jeunes, les écoles pourraient définir le
succès comme la diminution de l’absentéisme à l’école et du décrochage alors qu’un
organisme de services pourrait envisager le succès comme l’accroissement chez les jeunes
de la résilience et des compétences de leadership. Pour sa part, une association de quartier
pourrait voir la réussite comme le fait d’empêcher les jeunes de se tenir à certains endroits
et les jeunes eux-mêmes pourraient la considérer comme la possibilité de modifier les
stéréotypes sur les jeunes au sein de la police et de la collectivité.
Les solutions
Créer une vision commune – Faire participer
9 Amener le personnel, les partenaires des membres du personnel, des partenaires et des
et les participants à prendre part à participants à la planification de l’évaluation peut
la planification de l’évaluation contribuer à faire diminuer l’angoisse et la peur.
9 Élaborer ensemble un modèle logique Si tous vos principaux intervenants prennent part
à la définition des résultats et des indicateurs
pour créer une vision et des
potentiels de succès, ils sont plus susceptibles de
objectifs communs
soutenir l’évaluation. Consulter les membres du
9 Considérer l’évaluation comme de la personnel, les partenaires et les participants sur la
recherche-développement façon de saisir les types de changements qu’ils
9 Intégrer l’évaluation aux activités constatent et qu’ils vivent.
du projet
9 Utiliser des modèles et des feuilles Considérer l’évaluation comme de la
de suivi pour consigner les recherche-développement – Les membres du
renseignements sur l’évaluation personnel du projet se préoccupent souvent de la
manière dont l’évaluation touchera les
9 Donner de la formation et du soutien
perspectives du projet à long terme. Il importe de
9 Consulter les bailleurs de fonds
prendre le temps de répondre aux questions
lorsqu’il existe des exigences concernant l’évaluation et d’éliminer les
conflictuelles en matière préoccupations. Expliquer que l’évaluation vise à
d’évaluation montrer ce qui fonctionne et les améliorations qui
9 Reconnaître qu’il existe plus peuvent être apportées. Nous ne devrions pas
d’une façon de définir le succès nous attendre à ce que tout ce que nous faisons
dans le domaine des services à la collectivité et
aux personnes connaisse du succès, en particulier
lorsque nous travaillons dans le domaine
complexe du comportement humain. Les entreprises qui réussissent investissent beaucoup de
temps et de ressources en recherche et développement (ou
« R-D ») avant que leurs produits soient au point. L’évaluation peut nous aider à apprendre de
nos gestes et à les peaufiner. Elle ne vise pas à juger le travail de quiconque, mais plutôt à
améliorer notre capacité de faire une différence dans la vie de la collectivité.
167
Intégrer l’évaluation aux activités du projet – Lorsque l’évaluation est considérée comme
une façon d’améliorer notre capacité d’apporter des changements, nous avons tendance à voir
pourquoi il faut qu’elle fasse partie intégrante des activités du projet. Elle ne devrait pas être
considérée comme une responsabilité « ajoutée », mais plutôt comme une partie de notre
travail quotidien. Intégrer les outils d’évaluation aux activités du projet peut aider à réduire les
préoccupations concernant la charge de travail. Voici certaines façons de le faire :
Créer des façons simples de soutenir la collecte de données comme :

les fiches d’information sur les participants aux activités;
les feuilles de suivi permettant aux bénévoles de consigner leur temps;
les feuilles de suivi permettant au personnel d’inscrire les références.
Intégrer l’évaluation aux activités du programme :

Obtenir des données avant le programme dans le cadre d’une entrevue d’admission
avec les participants, ce qui permet aux intervenants de mieux connaître les besoins et
de s’y référer s’il y a lieu.
Obtenir des données après le programme dans le cadre d’une entrevue de sortie qui
aide les membres du personnel à déterminer ce qui a fonctionné, pourquoi certains
participants ont abandonné, et à obtenir d’autres renseignements précieux.
Faire en sorte que des participants filment ou photographient les changements
survenus dans la collectivité, comme le nombre et la diversité des personnes qui se servent
d’un parc local. Utiliser les résultats pour célébrer les changements ou pour tenir un forum
communautaire afin de discuter des résultats.
Amener les membres du personnel à établir des façons d’intégrer l’évaluation aux
activités du projet.
Donner de la formation et du soutien – Veiller à ce que les membres du personnel

obtiennent la formation et le soutien dont ils ont besoin pour avoir confiance en leurs
compétences et dans leurs capacités de s’acquitter de tous les aspects de leur travail, y compris
l’évaluation. Déterminer quelles sont les personnes qui ont besoin d’aide. Employer des
membres du personnel chevronnés ou compétents comme mentors pour ceux et celles qui ont
besoin d’aide. Demander du soutien auprès des universités ou des collèges locaux pour mieux
préparer les membres du personnel. Les services de santé locaux et les fondations peuvent
également être en mesure d’apporter leur aide. Utiliser ce manuel et certains des exercices
appris au cours des séances de formation pour former le personnel à l’interne.
Consulter les bailleurs de fonds – Les bailleurs de fonds peuvent faire preuve de souplesse.
(Vraiment!) Si vos partenaires et vous-même avez de nombreux bailleurs de fonds, chacun
ayant ses propres exigences en matière d’évaluation, vous pouvez trouver des façons
imaginatives de concilier ces exigences. S’ils entrent vraiment en conflit, consultez votre
bailleur de fonds à cet effet. Préparez quelques solutions pour montrer votre bonne volonté.
Définir le succès – Si les partenaires ont des points de vue différents sur ce que signifie le
« succès », incluez des indicateurs de divers résultats positifs. Prenez toutefois garde de ne pas
mesurer plus que ce que vous ne pouvez, d’une façon réaliste, recueillir et analyser.
168
Deuxième défi : La mobilisation des participants
Personne ne veut ressembler à ce type au moment du recrutement des participants pour une
évaluation. Soutenir leur engagement peut toutefois constituer un défi. Bien qu’il soit en
principe simple d’obtenir le consentement du participant, au fur et à mesure que le temps
passe, il peut s’avérer difficile de maintenir sa participation à des sondages ou à des entrevues
de suivi.
Les solutions
La planification de l’évaluation – Intégrer les participants à la planification de l’évaluation.
Il serait bon de mobiliser d’abord les participants dans le cadre de l’élaboration d’un modèle
logique. Utiliser des méthodes participatives, comme celles dont nous nous sommes servis
dans le module 2, pour amener les participants à prendre part à l’identification de ce qu’ils
considèrent comme les résultats du projet. Leur participation à la planification du projet et de
l’évaluation fait en sorte que les participants ont un mot à dire dans les réalisations du projet.
Après tout, si vous désirez encourager les changements dans la collectivité ou chez les
personnes, vous voudrez savoir si ces changements cadrent avec ce que souhaitent les
participants pour eux-mêmes. Leur apport à l’étape de la conception les ralliera davantage au
projet et à l’évaluation.
Les formulaires de consentement et le plan de travail – L’obtention du consentement du

participant constitue un volet important de la réalisation de l’évaluation. Nous traiterons
davantage de cette question lorsque nous aborderons l’éthique en matière de recherche. Les
responsables de projets peuvent fournir à leur personnel un scénario pour les aider à expliquer
le but de l’évaluation et le rôle important des participants dans l’établissement de ce qui
fonctionne dans les projets de développement social. Les formulaires de consentement
devraient être libellés en langage simple. Les membres du personnel devraient lire le
formulaire de consentement à haute voix dans les cas
9 Amener les participants à prendre où les participants éprouvent des difficultés
part aux plans d’évaluation d’alphabétisation. En ce qui concerne les projets
9 Utiliser des formulaires de destinés aux personnes dont l’anglais ou le français
est la langue seconde, on devrait faire traduire le
consentement rédigés en langage
formulaire de consentement.
simple
9 Fournir au personnel un scénario Les incitatifs – Les bons-cadeaux, les incitatifs
pour mieux expliquer l’évaluation financiers ou les coupons-repas peuvent être offerts
9 Utiliser des incitatifs ou des en reconnaissance du temps consacré par les
récompenses participants à remplir des questionnaires ou à prendre
9 Faciliter la participation — aller part à des entrevues ou à des groupes de discussion.
vers les participants ou intégrer la Si votre budget ne vous le permet pas, envisagez de
période nécessaire pour remplir
demander des dons aux entreprises locales. Il s’agit
d’une très bonne manière de faire connaître votre
les questionnaires au temps
projet à ces entreprises et l’importance que vous
consacré au programme; garder les accordez aux résultats. De plus, c’est une bonne
questionnaires courts
9 Choisir un échantillon assez grand
en prévision des décrocheurs
9 Communiquer les résultats de 169
l’évaluation
façon pour les entreprises d’informer les participants au projet de ce qu’elles ont à offrir.
La commodité – Prendre des dispositions pour que les participants remplissent des
questionnaires ou prennent part à des entrevues à la maison ou juste avant ou après des
activités du projet. Les entrevues téléphoniques peuvent fonctionner si le participant dispose
d’un local privé pour parler. Il faudrait mettre l’accent sur ce que vous avez « besoin de
savoir » et éviter l’information qu’il serait tout simplement « bien de savoir ». Ainsi, il sera
plus facile de garder les questionnaires courts et d’éviter la fatigue des répondants.
De plus grands échantillons – Il y aura toujours un certain nombre de participants qui

décrocheront du projet ou qui choisiront de ne pas participer à des entrevues de suivi ou de ne
pas remplir des questionnaires. Choisir un échantillon assez important pour disposer de
suffisamment de questionnaires remplis ou d’entrevues à la fin de votre période de collecte
des données.
La rétroaction – On peut maintenir l’intérêt des participants en fournissant de l’information

sur les résultats de l’évaluation. Les responsables de projets peuvent le faire de nombreuses
façons. Les fiches d’information et les tribunes communautaires conviennent pour tenir les
participants informés.
Troisième défi : La collecte des données

Le succès d’une évaluation repose sur l’obtention de renseignements exacts et complets. Il est
souvent trop tard pour revenir en arrière et recueillir de l’information lorsque vous vous
rendez compte qu’il vous en manque. Bien que le rôle des données d’évaluation valables soit
crucial, il est souvent difficile d’exercer un contrôle aussi rigoureux que vous le souhaiteriez
sur cette facette de l’évaluation, car les intervenants qui participent à la collecte des données
sont nombreux.
Envisagez une évaluation dans le cadre de laquelle le personnel de première ligne recueille de
l’information sur les participants et consigne des notes au sujet des activités du projet. Les
partenaires, pour leur part, peuvent fournir des renseignements concernant les personnes qu’ils
dirigent vers le projet et, lorsqu’ils ont des contacts continus avec les participants, ils peuvent
fournir une évaluation des changements que vivent ces participants. (Dans le cadre de certains
projets de prévention du crime liés aux écoles, par exemple, on demande aux enseignants de
communiquer tous les changements qu’ils ont constatés dans le comportement des élèves qui
participent aux activités du projet.) Les travailleurs communautaires et les leaders du quartier
sont sollicités pour prendre part à des entrevues et à des groupes de discussion dans le but de
partager de l’information au sujet des perceptions de la collectivité concernant un projet.
Comme vous pouvez le constater, l’évaluation s’en remet à divers intervenants pour fournir
des renseignements exacts et complets.
Le contrôle exercé sur la collecte des données devient encore plus difficile quand les projets
s’en remettent à des partenaires pour offrir des composantes de leurs activités de projet. Dans
ces situations, le parrain du projet doit s’appuyer sur des organisations partenaires pour fournir
170
de l’information sur les présences ou pour obtenir de l’information de base sur les participants
au moment où ils s’inscrivent au programme et au moment d’un suivi.
Il va sans dire que le défi d’obtenir des données exactes et complètes est étroitement lié aux
défis de rallier le personnel, les partenaires et les participants au processus d’évaluation.
Les solutions
Si des partenaires prennent part à la collecte des
9 Veiller à ce que les partenaires,
données, vous devez préparer des protocoles signés qui
décrivent le mode d’obtention éventuelle du le personnel et les participants
consentement des participants, les renseignements qui soient au courant de
seront recueillis et le mode de stockage et d’échange de l’information requise pour
l’information. Mettez en place des systèmes et des évaluer le projet.
ententes avant le début du projet et non en cours de 9 Lancer le projet avec les
projet. systèmes en place pour recueillir
les données appropriées au
Il va sans dire que même les plans les mieux élaborés moment opportun.
peuvent échouer. L’un des problèmes les plus fréquents
9 Revoir l’exactitude et
est que les évaluateurs ou les responsables de
programmes reportent l’examen des données sur l’exhaustivité des données sur
l’évaluation jusqu’au moment de l’analyse. À ce stade, une base régulière.
il est trop tard pour remédier à des problèmes fréquents
tels que des questions mal interprétées, des formulaires
incomplets ou l’omission de fournir les renseignements de base qui relient les résultats des
prétests et des post-tests. Assurez-vous de tester vos instruments de collecte des données
auprès d’un petit groupe avant d’entreprendre la collecte des données officielle. Examinez
régulièrement les instruments remplis pour vous assurer que les questions ont été bien
interprétées et que l’information est complète. Vous éviterez ainsi les surprises au moment de
l’analyse.
Quatrième défi : Des résultats réalistes

Succès = réduction du crime et de la victimisation
Cette équation peut paraître évidente. La meilleure façon d’évaluer le succès des projets de
prévention du crime consiste à examiner la mesure dans laquelle ils préviennent le crime et la
victimisation dans leurs collectivités.
Il peut cependant être difficile d’établir un lien entre la réduction de la criminalité et de la

victimisation et un projet particulier. De nombreux facteurs touchant les taux de criminalité et
de victimisation échappent au contrôle d’un projet communautaire :
Les facteurs sociaux – Les taux de chômage et de pauvreté et la mesure dans laquelle
cohésion sociale existe dans une collectivité peuvent influencer l’ampleur de la
criminalité.
171
La législation – Il est possible que des activités qui sont des actes criminels à ce jour ne
soient plus considérées comme tels à l’avenir. D’autres gestes qui ne font pas
nécessairement l’objet de poursuites aujourd’hui peuvent être davantage ciblés à l’avenir.
Vous avez peut-être entendu parler de la décriminalisation possible de la possession de la
marijuana, par exemple. Bien qu’elle paraisse dans les statistiques sur la criminalité
contemporaine, elle ne figurera peut-être pas dans ces statistiques à l’avenir. Par ailleurs,
la négligence à l’égard des enfants est plus susceptible d’être signalée et soumise aux
tribunaux de nos jours qu’elle ne l’était par le passé.
Vous pourriez trouver de nombreux autres exemples de la difficulté de relier la prévention du

crime à certaines activités du projet.
Par conséquent, si les taux de criminalité et de victimisation dans la collectivité ne sont pas
des résultats réalistes, comment définir ces derniers? Vous pourriez conclure que vous avez au
moins davantage de contrôle sur la réduction du crime chez les gens directement impliqués
dans vos activités de projet.
Donc, le succès = réduction du crime chez les participants au projet.
Vous pouvez demander l’accès aux dossiers du tribunal et de la police pour déterminer si
l’implication des participants dans des actes criminels change au fil du temps (avec le
consentement écrit des participants, bien sûr). De nombreux projets de prévention du crime
par le développement social utilisent cette méthode comme résultat. Elle pourrait s’avérer être
une façon très utile de déterminer quels changements résultent d’un projet. Encore une fois, la
prudence est de rigueur. Examinons certaines des difficultés associées à différentes sources
d’information portant sur l’implication des participants dans la criminalité.
L’autoévaluation peut susciter des réponses socialement désirables.

Les contacts avec la police – Il est peut-être plus probable que les participants connus des
services policiers aient d’autres contacts avec ces derniers même s’ils n’ont pas récidivé.
Et bien sûr, il peut y avoir de la criminalité et de la victimisation sans contact avec la
police.
Les arrestations et les accusations peuvent varier sous l’influence des politiques des
services policiers (p. ex., la répression de certaines activités, l’accent mis sur certaines
zones géographiques, etc.). Et, comme dans le cas du problème associé aux données sur le
contact avec la police, la criminalité et la victimisation peuvent survenir sans
nécessairement entraîner une arrestation.
Les condamnations – Même les condamnations peuvent varier en fonction de facteurs non
liés à la perpétration réelle de l’infraction. Vous pouvez trouver des exemples de
condamnations injustes ou encore, à l’inverse, des cas d’acquittements injustifiés.
172
Les solutions
Premièrement, rappelez-vous que vous devez décider dès le
Considérez ce qui suit :
début de votre projet de quels renseignements (indicateurs)
vous vous servirez pour évaluer son succès. Si vous attendez 9 Existe-t-il des solutions de
que le projet soit en cours, vous pourriez conclure qu’il est rechange à l’utilisation de la
trop tard pour obtenir certains des renseignements dont vous participation à des actes
auriez eu besoin. criminels comme mesure du
succès?
Si votre projet est fondé sur un modèle logique solide, vous 9 Utiliser plus d’une mesure
n’aurez peut-être pas besoin de mesurer les changements de participation au crime
réels à la criminalité ou à la victimisation. Vous pourriez pour contrôler les
plutôt mesurer les changements apportés à certains résultats à
problèmes avec n’importe
court terme qui, à la suggestion du modèle logique, mèneront
à un moment donné à des changements à la criminalité et à la quelle mesure
victimisation. 9 Signaler le type
d’infractions pour éviter un
Voici des solutions de rechange aux mesures de lutte contre résultat de succès/d’échec
la criminalité et la victimisation, mais elles seront fonction du basé sur la seule infraction.
genre d’intervention que vous avez prévue. Nous avons
également fourni des suggestions pour vous aider dans votre
choix d’utiliser des mesures d’évaluation de la participation réduite à la criminalité et à la
victimisation.
Les mesures de rechange visant à évaluer les changements chez les participants ou dans la
collectivité pourraient inclure :
les attitudes envers l’autorité;
les opinions au sujet de la responsabilité;
les perceptions qu’ont les participants de leur rôle dans la collectivité;
la gestion de la colère;
l’emploi/le bénévolat;
les perceptions au sujet de l’ampleur de la criminalité et de la crainte de la victimisation
dans la collectivité;
le nombre d’appels aux services policiers ou aux lignes d’écoute téléphonique;
les changements apportés au système qui résultent des activités du projet (p. ex., la
réceptivité des services locaux aux besoins des jeunes, les changements aux approches de
maintien de l’ordre, etc.).
Plus d’une mesure – Imaginez que vous planifiez d’étudier les changements au nombre de
contacts avec les services policiers chez les jeunes participant à votre programme sur la
cessation de la fréquentation des gangs et dans un groupe témoin. Vous croyez que les jeunes
de votre projet qui avaient précédemment des contacts avec les services policiers pourraient
être plus susceptibles
d’attiser l’intérêt de la police à plus long terme, ce qui pourrait mener à des contacts continus
avec les services policiers, peu importe que ces jeunes aient perpétré des infractions ou non.
La collecte d’information au sujet du nombre de condamnations et les contacts avec les
173
services policiers aidera à déterminer si les jeunes participant au projet ont été jugés par un
tribunal parce qu’ils étaient impliqués dans un acte criminel ou qu’ils suscitaient simplement
l’intérêt continu des services policiers.
Autre exemple : vous craignez peut-être que des participants à un programme de lutte contre
l’intimidation fournissent des réponses socialement désirables aux prétest et post-test
concernant leur participation à des activités d’intimidation. Vous pourriez vous servir des
registres scolaires traitant du comportement à l’école et des suspensions ou des expulsions de
l’école pour confirmer les résultats du sondage.
Les mesures que vous choisissez n’ont pas à être liées directement à l’acte criminel, mais
peuvent fournir de l’information au sujet des résultats comme la gestion de la colère ou les
relations avec les pairs qui sont liées au progrès vers le résultat à plus long terme de la
participation réduite à la criminalité ou de la réduction de la victimisation.
Recueillir de l’information au sujet du genre d’infraction – L’idée est particulièrement

utile si vous voulez vous pencher sur la question de la récidive. Même si les participants
récidivent, ces infractions ne sont peut-être pas aussi graves que les précédentes, ce qui
suggère un certain progrès vers le changement.
Autres considérations importantes – Lorsque vous utilisez l’implication criminelle comme

indicateur de succès, considérez les recommandations suivantes :
Utiliser la même période de suivi pour tous les participants. Ainsi, vous vous assurerez
que certains participants ne seront pas évalués, en ce qui concerne la récidive, sur une
période plus courte que d’autres.
Recueillir de l’information au sujet de l’incarcération pendant les périodes de suivi. Les
contrevenants qui sont incarcérés sont évidemment moins en mesure de récidiver que ceux
qui sont libres. C’est donc un facteur important lorsque l’on se penche sur les données
relatives à la récidive.
Cinquième défi : L’analyse des données

L’analyse de l’information que vous recueillez dans votre évaluation pourrait sembler être une
tâche insurmontable. Si tel est le cas, rassurez-vous, car vous n’êtes pas seul dans cette
situation. Les travailleurs des services communautaires et des services sociaux ne possèdent
souvent aucune formation ou expérience en analyse de données, qualitatives ou quantitatives.
Qui ne serait pas intimidé lorsqu’on lui demande de faire une chose pour laquelle il ou elle ne
se sent pas compétente?
Les solutions
En premier lieu, dès le début de votre projet, vous devriez décider quels indicateurs vous
utiliserez pour en évaluer les résultats, tout comme vous déciderez, dès le début du projet, des
méthodes d’analyse que vous utiliserez pour évaluer les données que vous planifiez obtenir.
174
Si vous avez choisi de recruter un évaluateur externe, vous pourriez lui demander d’analyser
les données recueillies. Si vous effectuez votre évaluation vous-même, voici des ressources
qui pourraient vous aider à analyser vos données.
Les collèges et les universités ont peut-être un corps 9 N’oubliez pas de planifier
professoral ou des étudiants qui s’intéressent à la prévention du dès le début du projet
crime par le développement social et qui pourraient vous aider quelles données vous
à planifier et à mettre en œuvre votre projet d’évaluation. Les analyserez et comment
étudiants pourraient analyser les résultats dans le cadre d’un vous le ferez.
projet d’été ou de leurs travaux de cours. Communiquez avec 9 Demandez conseil au corps
des établissements d’enseignement locaux avant professoral ou aux
d’entreprendre votre évaluation pour voir comment ils étudiants des universités
pourraient vous aider. Ne reportez pas ce travail jusqu’à ce que et des collèges locaux.
vous ayez accumulé une grande quantité de données dont vous 9 Demandez l’aide d’autres
ne savez que faire! projets qui font des
évaluations.
Le personnel du CNPC peut être en mesure de vous mettre en 9 Participez à une séance de
rapport avec d’autres responsables de projets qui font des formation du CNPC sur
travaux semblables. Il peut vous faire des suggestions au sujet l’analyse de données.
des données qu’il convient de recueillir et de la façon de les 9 Assurez-vous de ne pas
analyser. recueillir plus de données
Cette séance de formation fait partie d’une série. Le module 6 que vous pouvez en réalité
de la série traite de la manière d’effectuer une analyse de bases analyser.
de données. Demandez aux employés régionaux du CNPC s’ils entendent offrir cette
séance de formation à l’avenir. Dans la négative, demandez un exemplaire du manuel qui
accompagne ce module. Vous obtiendrez ainsi des renseignements de base sur l’analyse
de données et un guide des sites Web et d’autres ressources qui pourraient vous orienter
tout au long de l’analyse.
Enfin, un dernier conseil : Il peut être lourd de recueillir trop de données, en particulier
une grande quantité de données qualitatives. Assurez-vous que vous avez la capacité
d’analyser les données avant de les recueillir. Il importe de se montrer sélectif lorsque l’on
décide des données à recueillir. Concentrez-vous sur ce que vous avez besoin de savoir
par opposition à ce qu’il serait bien de savoir.
Sixième défi : Le choix d’un évaluateur

Vous ne disposez peut-être pas des ressources financières pour payer un évaluateur externe.
Mais, même si vous avez la chance d’avoir l’argent nécessaire pour recruter un évaluateur,
vous conviendrez que le fait de trouver, pour votre projet d’évaluation, la bonne personne qui
offrira de plus du travail de qualité peut constituer un réel défi. Cette situation est
particulièrement problématique dans les collectivités rurales et éloignées.
175
Les solutions
Même si votre budget ne vous permet pas d’embaucher un évaluateur externe, ne baissez pas
les bras. Les organisations partenaires et les universités ou les collèges locaux pourraient
compter du personnel ou des étudiants qui sont intéressés au travail que vous faites et qui
pourraient vous aider à effectuer l’évaluation.
Voici quelques pistes qui vous aideront à trouver des évaluateurs externes, rémunérés ou non
rémunérés.
9 Demandez à la Société canadienne d’évaluation une liste des évaluateurs de votre région
(http://www.evaluationcanada.ca).
9 Demandez des références auprès de groupes avec lesquels vous avez travaillé.
9 Communiquez avec les départements de criminologie, de psychologie appliquée ou de
sociologie des universités.
9 Cherchez quelqu’un qui possède :
des compétences en méthodologie de la recherche, en collecte de données, en
conception de bases de données et en analyse statistique;
une connaissance des normes juridiques et professionnelles de recherche;
une connaissance de la documentation pertinente aux travaux de votre projet;
de bonnes compétences en gestion, en relations publiques, en rédaction et en relations
interpersonnelles;
et qui utilise une approche axée sur l’action.
9 Les évaluateurs ayant une formation en recherche axée sur l’action seront plus
susceptibles de proposer des solutions pratiques aux problèmes et aux défis que présente
l’évaluation.
Septième défi : Les considérations d’ordre éthique

Des questions d’ordre éthique peuvent être soulevées au cours de la recherche. Nous avons
relevé certaines d’entre elles. Vous en connaissez peut-être d’autres propres à la population
que vous desservez.
Les limites de la confidentialité – Il existe certaines limites à la confidentialité de

l’information. Les tribunaux peuvent par exemple exiger une assignation à produire les
dossiers du projet et le personnel du projet doit signaler aux bureaux de la protection de
l’enfance toute information qui peut les amener à croire qu’un enfant risque de subir de
mauvais traitements ou d’être victime de négligence.
La vie privée – Certaines informations qui ne sont pas considérées comme étant privées
pour une culture peuvent être estimées privées dans une autre. Dans certaines cultures, on
pourrait considérer qu’il est inapproprié de discuter avec des étrangers de sujets ou de
renseignements que d’autres cultures sont prêtes à aborder.
L’observation des participants – Il arrive que des évaluateurs aient recours à

l’observation des participants pour recueillir de l’information sur la manière dont un projet
est mis en œuvre et sur les réactions des participants aux activités du projet. Le personnel
176
du projet et les participants au projet ne sont peut-être pas à l’aise avec ce mode de
collecte d’information.
Dans la même veine, vous pourriez décider d’observer les participants sans les en
informer pour que leur comportement ne soit pas influencé. Ces situations sont
particulièrement préoccupantes d’un point de vue éthique.
La sélection aléatoire – La sélection au hasard consiste à choisir des membres du groupe

témoin et du groupe de « traitement » ou d’intervention de manière à garantir à tous une
chance égale d’être référés vers un groupe ou l’autre. Les membres du personnel du projet
s’inquiètent souvent du recours à la sélection aléatoire pour la constitution de groupes de
« traitement » et de groupes « témoins ». Ils ne sont pas à l’aise de priver de services les
participants d’un groupe témoin et préfèrent choisir les participants au projet en fonction
des besoins ou sur la base du premier arrivé, premier servi.
Le langage utilisé dans les rapports – Les évaluateurs et les membres du personnel du
projet utilisent parfois des termes comme « vulnérable », « risque élevé », « défavorisé »
et « pauvreté transgénérationnelle ». Ce langage peut offenser les participants au projet.
Travailler avec des jeunes et des groupes marginalisés – Des précautions

supplémentaires devraient être prises lorsque vous travaillez avec des jeunes ou des
groupes marginalisés. Les parents doivent donner leur consentement pour que des jeunes
puissent participer à des recherches évaluatives. Ce consentement est parfois difficile à
obtenir lorsque les parents ne sont pas directement concernés par le projet. Lorsque les
chercheurs travaillent avec des populations marginalisées, ils doivent accorder une
attention spéciale à la protection des droits des répondants.
Les solutions
Il existe de nombreuses ressources qui peuvent vous aider à effectuer votre évaluation de
manière à respecter les participants et les lignes directrices de l’éthique en matière de
recherche. Assurez-vous de suivre les principes de base de l’éthique en recherche :
9 la participation volontaire,
9 le consentement éclairé,
9 la confidentialité.
Des comités d’éthique de la recherche (CÉR) communautaire ont été créés dans certaines
provinces pour aider les groupes communautaires à effectuer une évaluation éthique des
projets de recherche. Le fait de vous assurer que votre projet ait été soumis à une évaluation
éthique effectuée par un CÉR peut contribuer à éliminer les préoccupations en matière
d’éthique. Par exemple, alors que le personnel chargé du projet peut avoir certaines
préoccupations au sujet de la sélection aléatoire, les comités d’éthique ne partagent peut-être
pas leurs préoccupations. Lorsque l’efficacité d’une intervention est inconnue, la sélection
aléatoire peut être considérée comme la façon la plus respectueuse de l’éthique pour
déterminer qui reçoit le service et qui est placé sur une liste d’attente ou dans un groupe
177
témoin. Il convient de garder à l’esprit que puisque nous ne pouvons pas présumer que les
activités du projet sont efficaces, il peut être moins préjudiciable de ne pas offrir le service que
de l’offrir. Même dans le cadre de l’évaluation de nouveaux médicaments qui peuvent
contribuer à sauver des vies, la sélection aléatoire est utilisée pour déterminer si le
médicament est efficace.
Les comités d’éthique en matière de recherche respectent l’Énoncé de politique des trois
Conseils : Éthique de la recherche avec des êtres humains dans leur examen des études de
recherche. Cet énoncé inclut des lignes directrices sur le traitement de situations comme
l’observation naturaliste, l’un des défis mentionnés précédemment. S’il n’y a pas de CÉR dans
votre collectivité, vous devriez revoir votre plan d’évaluation à la lumière de l’Énoncé de
politique des trois Conseils pour vous assurer que vous suivez les lignes directrices
normalisées suivantes en matière d’éthique de recherche (voir
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm pour consulter
l’Énoncé de politique des trois Conseils).
Les groupes de recherche des universités peuvent 9 Faire étudier votre plan
fournir des exemples de ressources liées à l’éthique en d’évaluation par un comité
recherche telles que des formulaires de consentement et d’éthique en recherche.
des scénarios de recrutement de participants à la
9 Utiliser les lignes directrices et
recherche qui respectent l’éthique. Le site Web du bureau
les ressources existantes sur
de la recherche de l’Université de Waterloo est un bon
exemple (voir http://www.research.uwaterloo.ca). l’éthique en recherche pour
orienter votre plan.
La participation volontaire est l’une des pierres 9 Vous assurer que la participation à
d’assise de la recherche en matière d’évaluation. l’évaluation est volontaire.
Expliquez toujours aux participants qu’ils peuvent choisir 9 Obtenir des formulaires
de ne pas participer à l’évaluation, refuser de répondre à d’autorisation signés qui indiquent
des questions auxquelles ils ne souhaitent pas répondre et que les participants ont donné leur
retirer leur consentement de participer en tout temps.
consentement éclairé.
Rassurez les participants en leur disant que s’ils décident
9 Garantir la confidentialité dans la
de ne pas participer à l’évaluation ou de cesser d’y
participer à n’importe quel moment, cela n’aura aucune mesure du possible.
influence sur leur participation aux activités du projet. 9 Respecter et connaître les
différences culturelles.
Informez pleinement les participants quant à ce dont 9 Rédiger des rapports en fonction
on s’attend d’eux dans le cadre de l’évaluation. des participants au projet.
Précisez si l’évaluation inclura des sondages, des
observations, des demandes pour obtenir des relevés des établissements scolaires ou des
tribunaux, des entrevues avec des sources de référence ou tout autre renseignement personnel.
Dites-leur comment ces renseignements seront utilisés. Lorsque vous informez les participants au
sujet des activités d’évaluation, soulignez le rôle de l’évaluation dans l’amélioration du projet.
Assurez-vous que les participants comprennent que l’intention est d’évaluer le programme, et non
eux.
178
Obtenez un consentement écrit. Le consentement parental est exigé lorsque des enfants ou
des adolescents de moins de 17 ans sont en cause.
Tous les renseignements personnels devraient demeurer confidentiels. Les conclusions quant
à l’évaluation devraient toujours être communiquées de manière à ne pas révéler l’identité des
personnes concernées. Soyez toutefois clair en ce qui concerne les limites à la confidentialité
et expliquez ces limites aux participants du projet. Cette précaution s’applique non seulement
à l’information obtenue au moyen d’une évaluation, mais également à l’information obtenue
pendant les activités du projet. Les provinces et les territoires ont adopté une loi qui exige que
les membres du personnel des services sociaux ou communautaires communiquent aux
bureaux de protection de l’enfance toute information qui laisse croire qu’un enfant est
vulnérable aux mauvais traitements et (ou) à la négligence. Examinez la législation sur la
protection de l’enfance de votre province ou de votre territoire.
Lorsque des participants sont aux prises avec le système judiciaire, les tribunaux peuvent
appliquer une assignation à produire des documents qui pourraient fournir d’autres
renseignements au sujet de la situation personnelle du défendeur. Les participants à
l’évaluation (et au projet) devraient être informés de ces limites à la confidentialité.
Assurez-vous que vous êtes informé des pratiques culturelles et des traditions qui devront
être respectées tant dans l’évaluation que dans les activités du projet. L’Énoncé de politique
des trois Conseils : Éthique de la recherche avec des êtres humains inclut un chapitre de
pratiques recommandées en matière de recherche touchant les Autochtones (voir
http://www.pre.ethics.gc.ca/francais/policystatement/section6.cfm).
Utilisez un langage qui est respectueux des participants au projet dans vos rapports
d’évaluation. Les résultats d’évaluation devraient être rédigés ou présentés de manière à être
accessibles aux participants au projet.
Huitième défi : Les différences culturelles et

communautaires
Certaines collectivités ou certains groupes culturels ont une histoire ou une situation unique
qui peut présenter des défis additionnels aux responsables de l’évaluation.
La méfiance à l’égard de la tenue de dossiers par le gouvernement – Les collectivités

autochtones ont longtemps été victimes d’abus et d’oppression de la part des
fonctionnaires, y compris ceux qui sont associés aux pensionnats, au gouvernement et aux
églises. Les immigrants et les réfugiés viennent parfois au Canada en provenance d’États
totalitaires où les gouvernements font couramment un mauvais usage des renseignements
personnels pour maintenir leur emprise sur le pouvoir. Ces groupes peuvent tout
naturellement se méfier des demandes de renseignements personnels.
Les traditions orales – Les peuples autochtones et certaines autres cultures ont des
traditions orales plutôt que des traditions écrites. Ces traditions ont des répercussions sur
179
l’utilisation de questionnaires autoadministrés en vue de la collecte des données et sur les
rapports écrits pour le partage des résultats.
Les différences culturelles – Des instruments normalisés ont généralement été testés
auprès de populations de la classe moyenne d’origine européenne. Certains des concepts
qu’ils évaluent pourraient être étrangers aux gens dont les antécédents sont différents, ce
qui fait diminuer leur validité lorsqu’ils sont appliqués à ces groupes.
Les petits groupes de participants – Les projets axés sur les petites collectivités ou sur
les collectivités éloignées peuvent toucher de petits groupes de participants, ce qui fait
qu’il est difficile de trouver des résultats statistiquement significatifs à l’aide de données
quantitatives tirées des prétests et des post-tests.
L’expérience en gestion de projets – Certains groupes locaux, en particulier ceux qui se

trouvent dans des collectivités éloignées ou qui sont nouvellement arrivés au Canada,
peuvent avoir acquis une certaine expérience de la planification de projets qui les rendrait
aptes à effectuer l’évaluation des résultats.
La confidentialité – Dans les petites collectivités, il importe d’accorder une attention

spéciale à la confidentialité des renseignements personnels. Lorsque les membres du
personnel du projet peuvent être des parents ou des voisins des participants au projet, ces
derniers hésiteront peut-être à partager des renseignements personnels. Une telle situation
peut se produire même quand les projets sont réalisés dans de grandes régions urbaines. À
titre d’exemple, dans les groupes d’immigrants nouvellement arrivés au Canada, le
nombre de personnes qui parlent l’anglais ou le français et la langue maternelle des
participants est plutôt restreint. En raison de la petite taille de ces collectivités, les
membres hésitent parfois à partager des renseignements personnels avec les traducteurs ou
les interprètes.
La langue – Les immigrants nouvellement arrivés au Canada peuvent avoir une

connaissance limitée de l’anglais ou du français parlé ou écrit.
Les solutions
Les méthodes participatives – La participation des membres de la collectivité à la
planification de l’évaluation peut contribuer largement à surmonter la résistance à
l’évaluation. Si des participants prennent part à la planification du projet et à la
détermination des indicateurs de succès, ils sont plus susceptibles de vouloir participer à la
collecte des données. Les méthodes participatives ont l’avantage de solliciter l’apport des
participants éventuels à la sélection des mesures d’évaluation.
Les mesures qualitatives – Les mesures qualitatives sont bien adaptées aux contes et à la
tradition orale. À ce titre, elles conviennent particulièrement aux cultures autochtones.
Bien que des mesures quantitatives puissent encore être nécessaires pour raconter
l’histoire complète de la capacité d’un projet d’obtenir ses résultats, l’utilisation de
mesures qualitatives ajoutera de la profondeur et de la richesse au contexte de l’évaluation.
180
Mesures culturellement appropriées – Bien que de nombreuses mesures normalisées ne
conviennent pas à certaines cultures, un certain nombre de mesures ont été testées auprès
de diverses cultures. D’autres, comme celles qui ont été créées pour les programmes
d’aide préscolaire aux autochtones (PAPA) au Canada et aux États-Unis, ont été mises en
place en visant des groupes en particulier. Les programmes PAPA constitueraient de bons
points de départ pour des mesures culturellement appropriées utilisées auprès des enfants
autochtones. S’il est impossible de trouver des mesures spécialement élaborées pour une
population en particulier, demandez aux représentants des groupes culturels que vous
desservez de revoir les questions de sondage afin de vous assurer qu’elles sont
culturellement appropriées.
Les mesures multiples – Lorsque la taille des

9 Utiliser des méthodes
échantillons est petite, il convient d’utiliser plus
participatives d’évaluation
d’une méthode de collecte des données. Vous
pouvez utiliser les résultats de diverses méthodes à 9 Inclure des mesures
des fins de corroboration. qualitatives
9 Utiliser des mesures
La formation – Les collectivités éloignées et les culturellement appropriées
groupes nouvellement arrivés au Canada possèdent 9 Employer plusieurs mesures
peut-être une certaine expérience, non seulement en 9 Former le personnel en
matière d’évaluation, mais également dans le gestion et en évaluation de
domaine de l’élaboration de projets projet au besoin
communautaires. Dans de tels cas, il convient de
9 Traduire des mesures
chercher des façons d’obtenir de la formation en
planification et en conception de projets. Les d’évaluation dans la langue
modules d’évaluation élaborés par le CNPC des participants ou recruter
pourraient constituer un bon point de départ. Les des traducteurs chargés des
modules 2 et 3 mettent l’accent sur des techniques services d’interprétation.
qui sont utiles tant pour planifier les évaluations
que les projets.
Les interprètes – Si votre projet s’adresse aux nouveaux immigrants et (ou) à des réfugiés
qui ont une connaissance limitée de l’anglais ou du français, réservez une partie de votre
budget pour les services de traducteurs/interprètes ou prévoyez la participation de
bénévoles qui peuvent aider à accomplir ces tâches. Cela est important non seulement
pour votre évaluation, mais également pour les activités du projet. Comme il n’est pas
toujours possible d’évaluer l’exactitude de la traduction lorsque des services
d’interprétation sont utilisés, veillez à ce que les interprètes que vous recrutez aient une
connaissance approfondie des deux langues.
La traduction – Les traductions utilisées à des fins d’évaluation devraient idéalement être
effectuées dans la langue devant être utilisée, puis être retraduites dans la langue de départ.
Ainsi, vous pourrez évaluer l’exactitude de la traduction. Nous savons toutefois que peu
de projets disposent des ressources nécessaires pour effectuer ce travail. Il faudrait à tout
le moins s’assurer que plus d’une personne revoit la traduction pour en établir l’exactitude.
181
D’autres défis en matière d’évaluation vous viennent-ils à
l’esprit?
Vous pouvez imaginer ou vous avez peut-être même déjà dû faire face à d’autres défis en matière d’évaluation de
projets communautaires de développement social. Prenez quelques minutes pour réfléchir à ce sujet. Y voyez-
vous des solutions possibles? Utilisez l’espace ci-dessous pour les décrire.
Ressources et appuis
9 Les conseils de prévention du crime/de sécurité communautaire peuvent compiler de l’information sur
des questions de criminalité et de sécurité et sur les perceptions du public quant à la criminalité dans votre
collectivité.
9 Les conseils de planification sociale font souvent des études sur les tendances dans la collectivité, les
besoins en matière de services et d’autres sujets qui peuvent être utiles.
9 Les départements de santé publique/communautaire disposent de personnel d’évaluation qui peut être en
mesure de vous aider à élaborer un plan d’évaluation.
9 Les détachements de la police locale, provinciale ou de la GRC disposent de renseignements au sujet du

crime dans votre collectivité.
9 Les fondations locales – Certains secteurs de Centraide et des fondations communautaires fournissent du
soutien à l’évaluation.
9 Les collèges et universités – Des membres du corps professoral et des étudiants des départements de
criminologie, de psychologie appliquée, de travail social et de sociologie pourraient être en mesure de vous
aider dans votre plan d’évaluation et dans vos méthodes de recherche.
9 Les sites Web – Voir la liste de ressources fournie à la fin de cette partie de votre manuel.
Comme les ressources accessibles dans les différentes régions du Canada peuvent varier énormément, cette liste
n’est pas exhaustive. Vous connaissez peut-être d’autres ressources propres à votre province ou à votre
collectivité qui pourraient vous aider dans différents aspects de votre évaluation. Adressez-vous à vos partenaires
et à d’autres intervenants pour en apprendre davantage au sujet des sources de soutien dans votre collectivité.
Glossaire
Fatigue du répondant
Il peut y avoir fatigue du répondant quand les participants à une évaluation se font demander
de répondre à un trop grand nombre de questions à la fois. Le questionnaire d’enquête,
182
l’entrevue ou le groupe de discussion devient fastidieux et les répondants accordent moins
d’attention à leurs réponses parce qu’ils tentent de terminer le questionnaire ou de mettre fin à
l’entrevue ou au groupe de discussion.
Indicateur
Un indicateur est une variable (ou une information) qui mesure un aspect d’un programme ou
d’un projet. Il indique si un projet a atteint un objectif en particulier. Il devrait y avoir au
moins un indicateur pour chaque élément du projet (c.-à-d. au moins un pour chaque résultat
identifié dans le modèle logique).
Mesures normalisées
Une mesure normalisée est appliquée à un très grand groupe de gens semblables à ceux avec
lesquels la mesure sera utilisée. Les données recueillies auprès de ce groupe tiennent lieu
d’éléments de comparaison pour interpréter les résultats des mesures applicables aux
personnes, aux petits groupes ou aux programmes. Les tests normalisés vous permettent de
déterminer si le score d’une personne est élevé, moyen ou faible comparativement à la norme
(Ogden/Boyes Associates Ltd., 2001).
Modèle logique
planifier et à évaluer le projet. Un modèle logique décrit les ressources et les activités qui
contribuent à un projet et les liens logiques qui relient les activités du projet aux résultats
prévus de celui-ci. Les modèles logiques sont souvent représentés par un diagramme qui inclut
les intrants, les activités, les extrants et les résultats du projet.
Observation naturaliste
L’observation naturaliste est une méthode de collecte des données dans le cadre de laquelle le
chercheur ou l’évaluateur observe les activités du projet et consigne l’information à leur sujet
d’une manière structurée et systématique. L’observation en tant que méthode de collecte des
données fait l’objet du module 4 du présent manuel.
Socialement désirable
Il arrive que des répondants fournissent des réponses à un questionnaire d’enquête ou à une
mesure qu’ils croient être plus favorables à leur estime de soi, davantage en accord avec les
normes sociales apparentes (Polland, 1998) ou que le chercheur souhaite entendre. Ces
réponses sont considérées comme socialement désirables.
Références
Groupe consultatif interagences en éthique de la recherche. (1998). Énoncé de politique des trois Conseils :
Éthique de la recherche avec des êtres humains (Avec les mises à jour de 2000 et 2002). Extrait le 19
avril 2005 de http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm
Ogden/Boyes Associates Ltd. (1991). CAPC program evaluation tool kit: Tools and strategies for monitoring and
evaluating programs involving children, families and communities. Rapport inédit produit pour Santé
Canada, Direction générale de la santé de la population et de la santé publique, région de l’Alberta et des
Territoires du Nord-Ouest, Calgary (Alberta).
183
Polland, R.J. (1998). Essentials of survey research and analysis: A workbook for community researchers. Extrait
le 4 novembre 2004 de http://www.tfn.net/%7Epolland/quest.htm
Sites Web
American Evaluation Society
Guiding Principles for Evaluators
http://www.eval.org/Guiding%20Principles.htm
Ce document a été élaboré par l’American Evaluation Society, un organisme professionnel qui représente les
évaluateurs aux États-Unis. Il fournit de l’information sur l’éthique professionnelle dans l’évaluation de
programmes.
Société canadienne d’évaluation

Lignes directrices de la SCÉ en matière d’éthique
http://www.evaluationcanada.ca//site.cgi?s=5&ss=4&_lang=fr
Ce document décrit les lignes directrices en matière d’éthique à l’intention des membres de la Société canadienne
d’évaluation (SCÉ), l’organisme professionnel des évaluateurs au Canada.
Groupe consultatif interagences en éthique de la recherche

Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains
http://www.pre.ethics.gc.ca/francais/policystatement/policystatement.cfm
L’Énoncé de politique des trois Conseils donne des lignes directrices en matière d’éthique de la recherche
subventionnée par trois organismes fédéraux de subvention : le Conseil de recherches en sciences naturelles et en
génie, le Conseil de recherches en sciences humaines du Canada et les Instituts de recherche en santé du Canada.
Gouvernement du Canada – Évaluation et élaboration de données

Bulletin du forum sur l’évaluation
http://www11.hrdc-drhc.gc.ca/pls/edd/evalfornews.main_fr
Le Bulletin du forum sur l’évaluation traite de questions comme la sensibilité culturelle à l’évaluation et la
réalisation d’évaluations avec les collectivités autochtones.
Conseil national d’éthique en recherche chez l’humain

http://www.ncehr.medical.org/francais/accueil.php
Ce site Web fournit différentes ressources sur les questions d’éthique en recherche.
University of Michigan
Program Evaluation Standards
http://www.eval.org/EvaluationDocuments/progeval.html
Les normes de déontologie des personnes qui font de la recherche en évaluation sont présentées sur ce site.
184
Manuel et Guides
Holt, J.D. (1993).
« Et si on faisait… une évaluation : Manuel sur l’autoévaluation des programmes à l’intention des collectivités
des Premières nations et des collectivités inuites ». Ministère de la Santé nationale et du Bien-être social,
Direction générale des services médicaux.
Ce guide est orienté vers les collectivités des Premières nations et les collectivités inuites qui évaluent les projets
et les programmes.
Ministère du Solliciteur général du Canada. (1998).

La prévention du crime dans les collectivités des Premières nations – Manuel d’autoévaluation
http://www.psepc-sppcc.gc.ca/publications/abor_policing/pdf/first_nations_crime_prevention_f.pdf
Ce manuel est utile non seulement pour les collectivités des Premières nations qui se consacrent à la recherche en
évaluation, mais également pour toute personne qui souhaite évaluer un projet de prévention du crime. Le manuel
d’autoévaluation mène le lecteur tout au long des étapes de l’évaluation.
National Evaluation of Sure Start

Conducting Ethical Research
http://www.ness.bbk.ac.uk/documents/GuidanceReports/165.pdf
Ce guide comporte des conseils sur la réalisation d’une recherche d’une façon qui reflète l’éthique en recherche.
University of Victoria
Protocols and Principles for Conducting Research in an Indigenous Context
http://web.uvic.ca/igov/programs/masters/igov_598/protocol.pdf
Ce guide fournit des renseignements sur l’éthique en matière de recherche concernant les collectivités
autochtones.
Document
Trochim, W. (2000).
Ce document en ligne donne un aperçu simple des facteurs éthiques de la recherche en évaluation.
185
186
Manuel pour les organismes financés par la SNPC – Module 7 – Feuilles de
travail
Module 7
Feuilles de travail
187
188
Premier défi : L’engagement du
personnel et des partenaires
Solutions :
189
190
Deuxième défi : La mobilisation des
participants
Solutions :
191
192
Troisième défi : La collecte des
données
Solutions :
193
194
Quatrième défi : Les résultats réalistes
Solutions :
195
196
Cinquième défi : L’analyse des données
Solutions :
197
198
Sixième défi : Le choix d’un évaluateur
Solutions :
199
200
Septième défi : Les considérations
d’ordre éthique
Solutions :
201
202
Huitième défi : Les différences
culturelles et communautaires
Solutions :
203
Liste de ressources générales
Sites Web
American Evaluation Association

http://www.eval.org/
Ce site est le site Web de l’American Evaluation Association dont l’équivalent au Canada est la Société
canadienne d’évaluation. Il fournit de l’information, des liens utiles et différentes ressources sur l’évaluation.

Ce réseau présente des guides généraux dans le domaine de l’évaluation et un éventail de ressources ayant trait
aux modèles logiques.

Ce site Web fournit de l’information qui aide à établir un plan d’évaluation. On y trouve aussi des facteurs clés
à prendre en considération au moment de la planification d’une évaluation.
Société canadienne d’évaluation

http://www.evaluationcanada.ca
Il s’agit du site Web de l’organisme national qui regroupe les évaluateurs canadiens.
United Way of America
Outcome Measurement Resource Network

http://www.unitedway.com
Ce site Web est un point de départ pour apprendre les rudiments de la mesure des résultats. Il inclut une
introduction à la mesure des résultats et explique pourquoi ce genre d’évaluation est important.
United Way of Toronto

PEOD Evaluation Clearinghouse
http://www.unitedwaytoronto.com/PEOD/index.html
Ce site est fortement recommandé car il constitue un centre de ressources qui fournit des guides et autres outils
utilisés en recherche évaluative.
Ce site Web convivial comporte de nombreux liens qui donnent accès à de l’information au sujet de tous les
aspects de la collecte des données.
Trousse d’outils d’évaluation

http://www.wkkf.org/Programming/Resources.aspx?CID=281
Ce site Web propose des ressources pour la création de modèles logiques et des ressources générales facilitant
l’évaluation des programmes.
Guides et manuels
Santé Canada
Guide d’évaluation de projet : Une démarche participative
http://www.phac-aspc.gc.ca/ph-sp/ddsp/ressources/guide/presentation.htm
Les deux premiers chapitres de ce guide présentent une introduction de base à l’évaluation. Dans le reste du
guide, on trouve des conseils utiles concernant la collecte, l’analyse et la présentation des données.

Basic Guide to Outcome Evaluation for Non-profit Organizations with Very Limited Resources
http://www.mapnp.org/library/evaluatn/outcomes.htm
Ce guide fournit une vue d’ensemble des étapes à franchir dans l’évaluation des résultats. Il est destiné aux
organismes qui ont des moyens limités.

User Friendly Handbook for Project Evaluation
http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf
Ce guide présente de l’information détaillée sur différentes méthodes de collecte de données, en plus de fournir
des conseils et des exemples utiles.
Horizon Research, Inc.

Taking Stock: A practical guide to evaluating your own programs.
http://www.horizon-research.com/reports/1997/stock.pdf
Ce guide pratique représente une excellente source d’information sur la façon de recueillir des données
qualitatives et quantitatives. Il propose plusieurs stratégies de collecte des données.
Revues
Canadian Journal of Program Evaluation
c/o Canadian Evaluation Society,1485 Laperriere Ave., Ottawa, ON K1Z 7S8
http://www.evaluationcanada.ca/site.cgi?s=4&_lang=fr
Cette revue couvre un large éventail de sujets relatifs à l’évaluation. L’accès en ligne est limité aux membres de
la Société canadienne d’évaluation (SCE). Les non-membres peuvent se procurer la revue dans les
bibliothèques. Vous pouvez vous abonner via le site Web de la SCE.
Practical Assessment, Research and Evaluation (Pare)

http://pareonline.net
Cette revue spécialisée en ligne fournit des articles sur différentes recherches évaluatives.
Traités
Trochim, W.M. (2002).

Research Methods Knowledge Base, 2e édition
Ce traité en ligne initie l’utilisateur à l’évaluation et renferme des définitions de base, des objectifs, des
méthodes et des descriptions du processus d’évaluation globale. Il inclut des réponses à des questions
fréquemment posées au sujet de l’évaluation.
Bulletins
Harvard Family Research Project
The evaluation exchange: Emerging strategies in Evaluating Child and Family Services
http://gseweb.harvard.edu/
Ce bulletin gratuit fournit un aperçu des enjeux et des sujets relatifs à la recherche évaluative
Liste de ressources communautaires/prévention du crime

Sites Web
Stratégie nationale pour la prévention du crime
http://www.securitepublique.gc.ca/cnpc
Le site Web de la Stratégie nationale pour la prévention du crime offre de l’information qui a trait aux
programmes de financement et à l’évaluation des projets financés, et présente des exemples de programmes de
prévention qui ont fait l’objet d’une évaluation.
Guides et manuels
Centre International de prévention du crime
De la connaissance aux politiques de prévention de la criminalité et de sécurité collective : Quel rôle pour
l’évaluation?
http://www.crime-prevention-intl.org/publications/pub_58_2.pdf
Ce document de réflexion explore l’évaluation dans le contexte de la prévention. Il présente de plus différents
cadres de référence gouvernementaux en évaluation et en prévention.
Stratégie nationale sur la sécurité communautaire et la prévention du crime

Vous pouvez y arriver : Une trousse d’outils pratiques pour l’évaluation des programmes d’intervention
policière et de prévention de la criminalité dans la collectivité
http://dsp-psd.pwgsc.gc.ca/Collection/J2-180-2001F.pdf
Cet outil élaboré par les Services de police d’Ottawa fournit une vue d’ensemble de l’évaluation et de
l’information pour préparer et réaliser une évaluation et pour communiquer les résultats.
Northern Territory Department of Justice, Office of Crime Prevention

Guide for Community Crime Prevention Partnerships
http://www.nt.gov.au/justice/ocp/docs/guide.pdf
Ce guide nous donne un aperçu de la façon d’évaluer les besoins en prévention du crime, de créer des
partenariats et de mettre en œuvre un plan d’action.

HNDBK Cmmnty Grps Fra

Transféré par

Droits d'auteur :

Formats disponibles

HNDBK Cmmnty Grps Fra

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

HNDBK Cmmnty Grps Fra

Transféré par

Droits d'auteur :

Formats disponibles

Évaluation des projets

de prévention du crime par

Manuel pour les

Module 1 : Un aperçu de l’évaluation

Module 2 : Préparation du terrain – Élaboration d’un modèle logique

Module 3 : Élaboration d’un plan d’évaluation

Module 4 : Méthodes de collecte des données

Module 5: Modèles d’évaluation

Module 6 : Analyse des données et communication des résultats

Module 7 : Défis et solutions en matière d’évaluation

Liste de ressources générales …………………………… ……………….. 204

Linda Casson Hare, agente principale de programmes – Yukon

Le Centre national de prévention du crime (CNPC) voit l’évaluation

On s’attend à ce que les groupes communautaires qui sont intéressés

Les projets financés dans le cadre du Fonds d’action en prévention

suivre le déroulement du projet au jour le jour (suivi continu);

Le Fonds pour la mobilisation communautaire des secteurs policier et correctionnel

Le Fonds pour la recherche et le développement des connaissances (FRDC) appuie un large

Pour obtenir de plus amples renseignements au sujet des programmes de financement du

Pourquoi se soucier de l’évaluation?

Nous savons déjà que le projet est efficace

Bien comprendre la complexité

Le changement à long terme par opposition au financement à court terme

Pourquoi effectuer une évaluation?

Vous effectuez probablement déjà une certaine forme d’évaluation,

L’évaluation vous fournit l’occasion de poser les questions qui

Atteignons-nous les personnes que nous voulions atteindre, celles

Les résultats imprévus

Les relations publiques et le financement

Qu’est-ce que l’évaluation?

L’évaluation des ressources

L’évaluation des résultats

Quelques-unes des principales méthodes

L’évaluation axée sur l’application concrète

La méthode d’évaluation que vous choisirez dépendra du but de l’évaluation. Si vous

Étapes Projet NON à la fraude contre

9 Définir les sources de données et les Mener un sondage auprès des

Quand faire appel à des spécialistes de l’évaluation

Évaluation des besoins

Évaluation des ressources

Évaluation des résultats

Fetterman, D. (2002). Collaborative, participatory, and empowerment evaluation, 2002. Téléchargé le

Bureau of Justice Assistance Evaluation

Centre for Substance Abuse Prevention

United Way of America

Annie E. Casey Foundation

W.K. Kellogg Foundation

Research Methods Knowledge Base

Centre for Community Enterprise

normes donnée besoin

Pourquoi devrions-nous nous en

Étape 1 : Définir les objectifs ou résultats du projet et les

9 Objectifs (résultats prévus) – Ce Réduire l’incidence du crime perpétré

9 Groupe prioritaire – À qui votre Les personnes âgées qui habitent

La définition des objectifs ou résultats prévus représente la première étape de l’élaboration

Si vous représentez un organisme ou un service chargé de la planification d’un projet,

Quels sont leurs objectifs en matière de prévention du crime?

Conseils pratiques sur la façon de définir des objectifs de

En précisant que ces possibilités de loisirs renforceront le travail en équipe et les