Evaluat Rendmt Formation
Evaluat Rendmt Formation
Evaluat Rendmt Formation
1. Le concept de rendement
Le concept de rendement couvre alors un spectre assez large, qui va de la perception des
retombées jusqu’au calcul du retour sur l’investissement.
Nous rejoignons ici la distinction faite par Dunberry (2006) entre « rendement
financier », pour désigner la mesure ou le calcul de ce que la formation rapporte à
l’organisation, et « résultats de la formation » pour indiquer les impacts ou retombées qui
ne sont pas d’ordre financier.
2. Le modèle de Kirkpatrick
Ce modèle précise que toute évaluation devrait impliquer une analyse rigoureuse du
niveau 1 (satisfaction) et se poursuivre aux niveaux 2 (apprentissage), 3 (comportement)
puis 4 (résultats), dès que le temps et les moyens financiers le permettent. Notons
également que, pour déterminer la valeur des investissements en formation, il faut
procéder à l’évaluation complète de ces quatre niveaux.
4
Le modèle du retour sur l’investissement (ROI model) est présenté par Phillips comme
une amélioration du modèle de Kirkpatrick, par l’ajout d’un 5e niveau d’évaluation de la
formation en termes de retour sur l’investissement (ROI). Avant de présenter plus en
détail ce modèle, voici une présentation du concept de ROI.
1
Gosselin, 2006.
2
Holton, 1996; Lewis, 1996; Lyau et Pucel, 1995; Kaufman, 1994 et Phillips, 1994 in Munoz et
Munoz, 2000.
3
Goldwasser, 2001.
6
Durant les années 1920, les premiers numéros du Harvard Business Review (HBR)
présentent le ROI comme un outil émergent permettant d’obtenir une valeur des résultats
des investissements. Plus récemment, le concept a été appliqué à tous les types
d’investissement, dont la formation et l’éducation4.
Tableau 3.1.
Niveaux de mesure et données associées
Niveau de Types de données
mesure
Niveau 1 Les réactions, la satisfaction et les actions planifiées
Niveau 2 Le perfectionnement au niveau des qualités, connaissances et
perceptions
Niveau 3 Les changements et progrès dans l’application des nouvelles qualités,
etc.
Niveau 4 L’impact organisationnel (résultat, conséquence) correspondant,
directement lié au projet de formation ou à la solution
Niveau 5 Le calcul du ROI : valeur concrète élaborée à l’aide de la comparaison
entre les coûts de l’intervention de formation et les bénéfices qui en
découlent7
+ 6e type de données = bénéfices intangibles
4
Phillips et Whalem, 2000.
5
Phillips et Stone, 2002
6
Données qui ne peuvent, ou ne doivent, être converties en valeur pécuniaire (en raison de leur
manque d’objectivité, du coût trop élevé de la conversion, etc. Exemple : l’amélioration dans la
résolution des conflits, augmentation de la morale des employés, etc.)
7
Phillips et Stone, 2002
7
Identifier
les coûts
(7)
Niveau 1 : Niveau 3 :
Réaction Application et
Satisfaction et exécution
actions planifiées
Dévelop Développer Collecter les Collecter les Isoler Convertir Calculer Fournir
per les les plans données données après les données le ROI l’étude
objectifs d’action et durant l’implantation effets en valeur d’impact
les données l’implantation pécuniaire
de
références (10)
Niveau 2 : Niveau 4 :
Apprentissage Impacts
organisationnels
(1) (2) (3) (5) (6) (8)
(4)
Identifier
les mesures
(9) intangibles
8
Repris par Phillips et Phillips, 2003.
8
c. Au niveau de l’analyse des données se trouvent les étapes cruciales pour l’analyse du
ROI, soit :
- Les effets de la formation sont isolés des autres facteurs d’influence (utilisation
d’une ou plusieurs méthodes pour séparer l’influence du projet de formation des
autres facteurs qui agissent sur la mesure des résultats organisationnels);
- Les données concernant les impacts organisationnels sont converties en valeur
pécuniaire et annualisées pour développer une valeur annuelle du projet;
- Les bénéfices et les coûts sont combinés dans le calcul du ROI;
- Les bénéfices intangibles sont identifiés à travers le processus (ils ne joignent cette
catégorie qu’au moment où la tentative de les convertir en valeurs pécuniaires a été
effectuée).
Le détail des étapes de ce processus est développé plus avant dans l’Annexe 3.
Selon Munoz et Munoz (2000), la méthode du retour sur l’investissement tire sa force des
actions entreprises par les organisations qui tentent d’évaluer le rendement de la
formation à l’aide du calcul du ROI. Ces actions sont les suivantes :
Selon Barrett et Hövels (1998), la recherche d’un mode de calcul établissant un lien entre
l’investissement initial dans la formation et le flux des avantages dans la durée, mode qui
permettrait de produire une estimation d’un taux de rentabilité comme on le fait pour
l’investissement en capital, est incertaine à cause de la disponibilité limitée des données,
de la dépréciation des qualifications acquises et des changements d’emploi des salariés.
Dunberry va dans le même sens et rapporte que de nombreux auteurs vont dans le sens de
la promotion des pratiques d’évaluation simples et adaptées, propres à renseigner
l’entreprise sur ses programmes de formation en vue d’en accroître l’efficience et
l’efficacité.
En ce sens, ces critiques mettent en relief les défis qui attendent les professionnels
utilisant la mesure du ROI pour leurs programmes de formation.
11
Nous avons vu les concepts et modèles de base sur l’évaluation de la formation et nous
avons cerné plus particulièrement ce qui avait trait à l’évaluation du rendement. En
conclusion, nous avons souhaité présenter l’articulation (Voir tableau 4.1.) de ces
modèles de l’évaluation du rendement de la formation, et ce, en termes d’impact, de
retombée et de résultat pour le modèle à 4 niveaux de Kirkpatrick et en termes de retour
sur l’investissement en ce qui concerne le modèle du ROI de Phillips. Le tableau 4.1.
présente ces deux modèles prédominants d’évaluation de la formation en faisant état du
questionnement pour chacun des niveaux et de la méthodologie pour y répondre.
12
Tableau 4.1.
Tableau inspiré de Deeny (2003), p. 71, Phillips et Stone (2002), Phillips (1996).
Niveau Question Mesure
I Quelle est la réaction des Étude(s) ou questionnaire(s) de satisfaction qui
Réaction et/ou participants face à la mesurent si la formation était agréable, incluant
satisfaction et formation? une section sur la manière dont les participants à
planification de Que pensent-ils faire avec la formation pensent appliquer les leçons
l’action les éléments appris? apprises (actions planifiées).
II Quelles qualités, Les tests d’aptitudes mesurent les changements
Apprentissage compétences ou attitudes dans le comportement, les capacités et les
ont été changées ou attitudes de l’employé, afin de vérifier s’il a
acquises? bien assimilé l’information ou la compétence
Dans quelle mesure? présentée.
III Est-ce que les participants Mesure les changements au niveau du poste de
Application au à la formation appliquent travail.
travail et/ou ce qu’ils ont appris en Les observateurs (habituellement les
exécution. milieu de travail? gestionnaires ou superviseurs) doivent être
Changement au complètement formés au système d’évaluation.
niveau du Les gestionnaires ont besoin d’établir un
comportement système pour niveler les inconsistances entre les
différents observateurs.
IV Cette application au poste Cette évaluation détermine l’influence ou les
Impact de travail a-t-elle produit retombées de la formation au niveau des
organisationnel des résultats mesurables? variables d’impact organisationnel (ex. : sur
l’amélioration de la performance
organisationnelle).
L’accent est mis sur l’impact du processus de
formation sur les résultats spécifiques de
l’organisation. Ces résultats doivent inclure :
L’évaluation augmentation de la productivité et de
du l’efficacité, diminution de l’absentéisme et des
rendement accidents, diminution des plaintes des clients,
de la etc.
formation Isoler les effets de la formation des autres
s’intéresse à variables produisant un effet dans ces domaines
ces deux est vital pour avoir une vue transparente de la
niveaux. formation.
V Est-ce que la valeur Compare les bénéfices de la formation avec les
Retour sur pécuniaire des résultats coûts.
l’investissement excède les coûts de la L’accent est mis sur les bénéfices monétaires
formation? comme résultats de la formation.
Différentes méthodes de calcul du ROI.
Phillips ajoute Bénéfices Identifie l’application et l’impact des mesures non converties en valeur
ces deux étapes intangibles pécuniaire
Æ et inclut une technique pour isoler les effets du programme ou de la solution Å
13
La présentation des modèles de base sous forme de tableau précise un point souvent
négligé dans la littérature, et que Deeny (2003) rapporte comme critique principale à ces
deux modèles : celle des réactions en chaîne (chain of effect) qui lient les niveaux de
bénéfices de la formation entre eux. L’idée soulevée ici est que chaque niveau de mesure
influence le précédent et le suivant. Sans tenir compte de ces liens, il est difficile
d’affirmer que l’augmentation de la performance dépend de la formation. C’est pourquoi
une organisation ne peut mesurer le ROI de manière isolée. La mesure doit être basée sur
les mesures colligées aux 4 niveaux précédents. Il faut en effet passer par le niveau 1
d’évaluation (satisfaction/réactions) avant de s’intéresser au niveau 2 (comportement), et
ainsi de suite jusqu’au niveau le plus poussé d’évaluation qui est la mesure du ROI.
Comme le souligne Gosselin (2006), l’évaluation globale de l’efficacité d’un programme
de formation est une étape essentielle et préalable à un bon calcul du rendement.
Comme nous le verrons dans les articles suivants, la plupart des approches, méthodes et
outils d’évaluation du rendement de la formation suivent un plan qui s’apparente à cette
stratification en 4 ou 5 niveaux, voire en 6 niveaux.
14
RÉFÉRENCES
Deeny, E. 2003. « Calculating the real value of e-learning ». Industrial and Commercial
Training, vol. 35, no. 2, p. 70-72.
Dion, Gérard. 1986. Dictionnaire des relations du travail. 2e éd. Québec, Les presses de
l’université Laval, 993 p.
Kirpatrick, D. L. 1998. Evaluating training programs: the four levels. 2ème ed. Berrett-
Koehler, 289 p.
Kirkpatrick, D. 2006. « Seven keys to unlock the four levels of evaluation ». Performance
Improvement, vol. 45, no. 7, p. 5-8.
Lachnit, C. 2001. « Training proves its worth ». Workforce, vol. 80, no. 9, p.52-56.
Munoz, M., D. et M., A. Munoz. 2000. « Evaluating training : return on investment and
cost-benefit analysis ». Educational Resources Information Center (ERIC), 24 p.
15
Phillips, J. 1996. « ROI : the search for best practices ». Training and Development, vol.
50, no. 2, p. 42-47.
Phillips, J. 1996. « Was it the training? » Training and Development, vol. 50, no. 3, p. 28-
32.
Phillips, J. 1996. « How much is the training worth? » Training and Development, vol.
50, no. 4, p. 20-24.
Willyerd, K. A. 1997. « Balancing your evaluation act ». Training, vol.34, no. 3, p. 52-
58.
16
Le tableau ci-dessous illustre les résultats de plusieurs études menées entre 1990 et 2002
par différents chercheurs qui se sont intéressés aux avantages et aux coûts de la
formation. Bien qu’il y ait 3 intervenants dans le processus de formation, à savoir les
entreprises, les salariés et la société, nous avons choisi de ne présenter que les coûts et
avantages qui concernent l’entreprise. Selon Gosselin (2006) p. ii « les avantages de la
formation sont plus ardus à déterminer que les coûts puisqu’ils vont au-delà de l’emploi
et sont souvent intangibles. De plus, les avantages sont souvent plus perceptibles à long
terme et difficiles à relier directement à la formation. » Ce portrait se veut non exhaustif
(pour de plus amples détails, se rapporter au document de travail de Gosselin, 2006).
Tableau A1. 9
Avantages et coûts de la formation.
9
Tiré du document de travail 2006-2009 de Gosselin « Le rendement de la formation de la main-
d’œuvre en entreprise : une recension des écrits ».
17
Kirkpatrick (2006) présente 7 points clés pour appliquer les 4 niveaux d’évaluation de la
formation. Les 3 premiers points posent les grandes lignes à mettre en place de manière
générale. Pour ce qui est des points 4 à 6 qui correspondent respectivement aux niveaux 1
(réaction/satisfaction), 2 (apprentissage) et 3 (comportement), nous n’en exposerons pas
les détails car ils ne sont pas en lien direct avec l’objectif de recherche qui est d’étudier
l’évaluation du rendement de la formation. Pour finir, le septième et dernier point clé
montre comment effectuer la mesure des résultats.
(2) Développer les plans d’action et les données de référence. C’est l’étape qui
permet de compléter la planification du processus par la finalisation des différentes étapes
(3 à 10). Ex. : le plan de collecte des données est développé et les 4 niveaux d’évaluation,
méthodes d’évaluation de collecte des données, sources de données et planification du
timing sont identifiés pour collecter les données de références, et ainsi de suite pour les
étapes suivantes.
(3) Collecter les données durant l’implantation. La formation est implantée et les
données sont collectées aux niveaux 1 (réactions/satisfaction) et 2 (apprentissage).
(4) Collecter les données après l’implantation selon le plan de collecte des données
déterminé précédemment (temps, méthodes, etc.).
(5) Isoler les effets de la formation. Une ou plusieurs stratégies sont utilisées pour
isoler les effets de la formation, soit : l’utilisation d’un groupe contrôle, l’analyse des
courbes de tendance, prévisions budgétaires des participants, des gestionnaires, des
experts.
(6) Convertir les données en valeur pécuniaire. Certaines données sur les impacts
organisationnels dus à la formation vont être converties en valeur pécuniaire.
(7) Identifier les coûts. Les coûts de la formation sont catalogués en fonction des
normes du plan d’analyse du ROI et seront utilisés au moment du calcul du ROI.
(9) Identifier les mesures intangibles. Toutes les données qui ne peuvent être
converties en valeur pécuniaire sont soit rapportées comme impacts organisationnels
(ex. : satisfaction des employés, etc.), soit comme bénéfices intangibles dès lors qu’elles
ne peuvent être exprimées comme une valeur dure.
(10) Fournir l’étude des impacts. Deux rapports sont produits à la fin de l’étude : 1.
un rapport bref, destiné à la présentation aux cadres exécutifs, et 2. un rapport plus
détaillé destiné aux différentes parties prenante.
19
Parmi eux, Lachnit (2001) (qui souhaite convaincre du bien fondé et plus encore, de
l’importance pour les entreprises de l’importance de mesurer le retour sur
l’investissement de la formation) propose une série d’étapes pour effectuer ce calcul.
- Cataloguer les coûts du programme, soit la valeur des coûts des salariés
non présents sur leur poste de travail pour cause de formation (salaire,
bénéfice…)
- Calculer le ROI, soit les bénéfices nets divisés par les coûts x 100 %