Eval en SHS Baslé version courte mars 2013

Emiettement et besoin de pluralisme dans l’activité d’’EVALUATION EN SCIENCES SOCIALES. Où sont les principes a minima ? Maurice Baslé Mars 2013. Une réflexion sur les piliers du développement durable devrait faire apparaitre le quatrième pilier, le développement des cultures. Si les cultures et les sciences sociales sont utiles, il reste à justifier un peu plus précisément que par une rhétorique générale, ses fins et sa logique de moyens nécessaires. Les coûts sont à peu près appréciables par des méthodes de contrôle de gestion. Par contre, il ne s’agit pas de considérer ici des rendements faciles à estimer, les « résultats » ou l’impact de la recherche en SHS sont difficilement monétarisables. Au total, l’évaluation de la recherche en sciences sociales est donc un domaine où l’on rencontre toutes les controverses habituelles sur l’évaluation (évaluation des institutions ou autres) et sur l’évaluation des politiques publiques, des programmes publics, des services collectifs publics et des services publics rendus par des individus fournisseurs. Le domaine de l’évaluation de la recherche est donc controversé et il l’est d’autant plus qu’il s’agit de la recherche, de l’effort de recherche, de résultat de la recherche dans les sciences sociales (même si toutes les sciences sont « sociales », la spécificité du domaine restreint par exemple de la sono-économie n’a échappé à personne depuis au moins trois siècles !). La référence est presque uniquement ici faite au cas français même si ce sont les communautés internationales des chercheurs qui sont confrontées aux « filtres » des évaluations1. Sans souci d’exhaustivité, après avoir rappelé quelques généralités pour ce domaine controversé, l’article présente les questions vraiment urgentes dans le cas de la France. 1) Généralités sur les biais et controverses dans les évaluations de la recherche en sciences sociales. Biais communs à toutes les sciences. Biais plus spécifiques aux SHS. - 1 Controverses générales sur l’évaluation de la recherche. Recherche fondamentale sans temporalité figée. Recherche sans finalité prévisible (comme innovation). Recherche avec des actions de recherche mais sans résultat. Résultats et impact comme bien commun. Voir par exemple aux pays bas, Netherland organisation for scientific research (2009). Standard evaluation protocol 2009-2015. Protocol for research assessment in the Netherlands. VSNU, KNAW and N WO Académie des sciences et AERES. - Controverses sur les « peer reviews », la démarche « scientométrique » et les biais des éditeurs scientifiques, des citations et des indices d’impact. Peer reviews et chercheurs concurrents. Mauvais referees. Stratégies éditoriales des revues, biais de prestige. Flou dans les plateformes de science ouverte. Biais de genre, de langue. Auto-citations et citations dans les journaux « amis ». - Evaluation des grands équipements. Méthodes standards de calcul « avantagescoûts ». Possibilités de classements des options concurrentes. Valorisation pas impossible des retombées. - Problèmes d’évaluation des chercheurs et des équipes en SHS. En SHS, peu d’inputs, des outputs surtout textuels, des résultats problématiques. Distinction plus compliquée entre Evaluation individuelle et travail en équipe. Difficulté à enlever la part des Stratégies individuelles de prédation des ressources de laboratoires. Ressources du laboratoire et productivité individuelle du chercheur. - Evaluations des établissements ambidextres avec composantes recherche. Evaluation des Universités comprenant des SHS. Faut-il les considérer comme un tout ? Comme servant des objectifs plutôt indépendants ou même contradictoires ? Evaluation des enseignants-chercheurs par des enseignants-chercheurs ou par des experts externes. - Rédactions des Standards et référentiels. Question des hautes autorités. Question des agences indépendantes. Déontologie, respect des règles. Conflits d’intérêt, transparence. - Charte de l’évaluateur scientifique. Déclaration de Singapour et adoption par le comité d’éthique du CNRS. Compétence, impartialité, confidentialité, « redevabilité » (« accountability ») des argumentations. Responsabilité dans l’utilisation des résultats de l’évaluation. Adaptabilité complète ou pas aux SHS ? 2) Les éléments de consensus faible en SHS. La construction d’une stratégie d’évaluation repose sur l’évaluabilité » de la recherche en sciences sociales. Cette évaluabilité existera lorsque trois conditions seront réunies : la convention autour des objectifs et des priorités d’objectifs de la recherche (convention d’arborescence des objectifs) ; la convention autour des parties prenantes (sociogramme des acteurs, choix des instances d’évaluation, sélection des agents de renseignements) ; les conventions décrivant la logique de l’action de recherche (chaines de valeur ayant du sens depuis les intentions d’actions, les efforts (« inputs »), les réalisations (« outputs ») jusqu’aux résultats (« outcomes ») et à l’impact sociétal (« impact »)) 2. La connaissance de l’organisation du milieu de la recherche est évidemment un préalable3. Concernant les conventions d’objectifs, il faut les regarder comme gouvernées à plusieurs niveaux : européen, national, régional et établissement. Les objectifs considérés ne sont pas seulement les résultats scientifiques ou l’impact sociétal. Des objectifs de performance, d’efficience sont également posés. La spécificité du domaine des SHS est ici l’importance de l’activité individuelle de recherche. Le chercheur individuel échappe au contrôle de gestion. Concernant les sociogrammes des acteurs, la question reste compliquée : les instances sont multiples avec des protocoles pas toujours officiels et affichés (OPECST, CSRT, conseil national de la science, comité national du développement des sciences humaines en 1998, conseil de coordination des SHS en 2001, « advisory board » pour les SHS à la commission européenne pour chaque PCRD, CNE en 1994, CNESER depuis 1985, MST depuis 1994, MSU puis MSTP depuis 2 Comité National d’ Evaluation de la recherche (2006). Pour une meilleure évaluation de la recherche publique en SHS. Tome 2. Linda HANTRAIS. La documentation française. 352 pages. 3 Le CNRS distinguait, en 2006, 11 sections tandis que le CNU en comptait 30. 2003, CNU, AERES, ANR.)4. On pourrait aussi réfléchir sérieusement au couplage de l’auto-évaluation et de l’évaluation externe.5 Le résultat et l’impact en sciences sociales sont généralement non mesurables. Le sous-objectif à atteindre est alors seulement la gestion de la carrière par les conseils scientifiques locaux ou nationaux (CNU, jurys de concours). La caractéristique commune qui semble faire consensus a minima est cependant le « consentement » d’universitaires pour évaluer plus ou moins bénévolement les travaux des collègues. Les organismes de recherche ont poussé plus loin la réflexion sur les instances d’évaluation (conseils scientifiques des départements du CNRS)6 avec des mécanismes électoraux à faible participation et le principe du contradictoire7. 3. Moins d’émiettement mais du pluralisme . CNRS, AERES, CNU, MSTP, ANR, Comités de programmes spécifiques, comités de lecture, instances internes, instances externes aux Universités, chaque angle d’attaque est un regard d’ « autrui » sur le travail du chercheur. On pourrait demander a minima le respect de la charte de la société française d’évaluation, avec application au secteur de la recherche en SHS8. Plus précisément, en SHS, il importerait de souscrire aux principes de pluralité, fiabilité, objectivité, transparence, utilité ou pertinence au sens large de l’apport aux cultures dans une vision de développement durable. Pluralité. 4 Sur les faiblesses de ces démarches, voir jean-Luc Gaffard. « Il arrive certes que la MSTP parvienne à obtenir qu’il soit effectivement tenu compte de son travail d’expertise et d’évaluation, mais cela résulte avant tout de l’opiniâtreté et de l’autorité scientifique de ses membres. D’une manière générale, la multiplicité des échelons et l’opacité qui en résulte ne peuvent que favoriser des comportements opportunistes jouant sur les défauts d’information. La conséquence de cette organisation de l’évaluation est triple. Il existe une forte inertie des décisions qui tendent à reproduire l’existant en termes de reconnaissance et de financement modulo des changements ponctuels qui peuvent être le fruit d’interventions parallèles (en dehors des règles) auprès des instances d’évaluation ou de décision correspondant à des réseaux politiques, corporatistes, voire simplement personnels. Il arrive, en effet, que des écarts de dotation injustifiés apparaissent qui traduisent ce type d’interventions. Il est certes possible de les corriger, mais ce ne peut être que de manière brutale et souvent conflictuelle compte tenu du rythme quadriennal des contrats. L’inertie qui prévaut généralement conforte la formation et la pérennité de rentes de situation, petites ou grandes, dont bénéficient des laboratoires ou des unités de formation dont le résultat est une allocation inefficace des ressources financières et humaines. Finalement, l’évaluation est sans conséquences, positives ou négatives, pour les évalués ». Rap. CAE 66 Ref. de l'Etat.pmd 81 15/05/2007, 12:358 2 CONSEIL D’ANALYSE ÉCONOMIQUE 5 Voir par exemple, AERES. http://www.aeres-evaluation.fr/Evaluation/Evaluation-desetablissements/Principes-d-evaluation : l’autoévaluation et l’évaluation externe intégrée 6 Pour les SHS, voir rapport GRUNBERG. 2003. Document interne au CNRS Voir les cas spécifiques de l’INED ou du CEMAGREF ou de l’INRA ou des EPA 8 Les principes SFE sont : Pluralité. Distanciation. Compétence. Respect des personnes. Transparence. Opportunité. Responsabilité. Voir aussi AERES : http://www.aeres-evaluation.fr/Agence/Organisation/Experts-de-l-AERES 7 Vu l’état nécessairement controversé de la connaissance en sciences sociales, la pluralité des points de vue est nécessaire. Ce qui est probablement le plus en cause est l’émiettement des démarches, l’absence de bases de connaissances, de documents ouverts sur l’activité de recherche tant en inputs qu’en outputs ou en outcomes, et l’impression de double ou triple ou quadruple saisie qui en résulte dès qu’un chercheur a à présenter ses références et son projet de recherche ou de publication. Des documents pro-format sont en cours de constitution9. D’une manière générale, il importerait de se référer, pour l’analyse de ces documents moins éparpillés et plus utilisables, aux grands principes des évaluations. C'est par rapport aux trois dimensions (dimensions cognitive, normative et instrumentale) que doit être appréciée la qualité d'une évaluation. Fiabilité : l'évaluation doit être "digne de confiance" (« trustworthiness »). Cela renvoie à l'exactitude des informations collectées et à la valeur scientifique des imputations causales sur lesquelles se fonde le jugement évaluatif. Il convient en particulier d'être attentif aux biais que les techniques de collecte et de traitement des informations peuvent introduire dans la production des conclusions. Objectivité : l'objectivité s'entend comme le fait que les conclusions de l'évaluation n'ont pas été influencées par les préférences personnelles ou les positions institutionnelles des responsables de l'évaluation (évaluateurs experts ou membres de l'instance), ou du moins que ces préférences ont été suffisamment explicitées ou contrôlées pour que l'on puisse supposer qu'une autre évaluation répondant aux mêmes questions et utilisant les mêmes méthodes conduirait aux mêmes conclusions. Il s'agit notamment d'apprécier la rigueur et l'honnêteté du travail de qualification et d'interprétation des données qui permet de passer de l'observation au jugement. Transparence : outre l'exigence d'un exposé complet et rigoureux des méthodes mises en œuvre, ce critère inclut l'idée que l'évaluation doit expliciter son propre "mode d'emploi" et ses limites : positionnement par rapport à d'autres évaluations possibles sur le même sujet, rappel des questions auxquelles il n'est pas ou incomplètement répondu, anticipation des objections possibles, etc . Cet effort de lucidité et de réflexivité est d'autant plus nécessaire que les évaluations sont généralement imparfaites, qu'elles laissent de nombreuses 9 Ceci est une condition sine qua non. Dans un autre domaine, l’évaluation de l’aide au développement, les engagements de Busan prévoient un signal de respect mutuel : « Depuis quelques années, les demandes de meilleures informations sur les résultats se multiplient, dans un souci d’évaluation plus précise de l’impact de la coopération pour le développement et de ses impacts sur la croissance inclusive et sur la lutte contre la pauvreté. Des éléments anecdotiques montrent que cette situation génère une demande de données telle que les systèmes statistiques nationaux ne sont plus en mesure de la satisfaire. Cela débouche sur de nombreux exemples de par le monde où la collecte de données ad hoc se passe des systèmes nationaux et affaiblit ainsi les capacités nationales, ce qui suscite des interrogations sur la qualité et l’intégrité des données ». http://www.afd.fr/home/AFD/L-AFD-s-engage/efficacite-aide/mise-en-oeuvre/forum-de-busan questions dans l'ombre, et que les résultats auxquels elles parviennent n'ont pas tous la même portée ni la même robustesse. Utilité-pertinence : c'est le fait que l'évaluation produise de l'information compréhensible et utile pour la recherche évaluée, non seulement pour les chercheurs mais aussi pour les autres protagonistes de la politique de recherche. Les réflexions produites par l'évaluation peuvent en effet contribuer de manière diffuse à former le jugement de l'opinion publique sur la recherche évaluée et à son information sur les problèmes de société. La réforme en cours ne saurait se dispenser du respect de tous ces principes. La culture de l’évaluation devrait pouvoir se diffuser largement sans engendrer l’image ou l’effet bureaucratique déresponsabilisant, sans consommer non plus trop d’énergie en temps d’analyse, réunions d’instances, rédactions de rapports. L’évaluation de la recherche en Sciences sociales devrait donc être le produit d’une volonté et d’une activité principalement orientées vers la livraison de connaissances potentiellement utilisables et utiles tant aux financeurs qu’aux managers et à toutes les parties prenantes des politiques publiques de la recherche et des programmes (autres scientifiques, bénéficiaires, citoyens, co-financeurs), bref à tous ceux qui se questionnent à propos de la valeur publique ajoutée par ces politiques et ces programmes de recherche 10. Bibliographie - - 10 AERES. Charte de l’évaluation. Principes de Compétence, professionnalisme, d’impartialité (équité de traitement, indépendance, intégrité des experts, collégialité, prise en compte de la diversité, respect de l’autonomie, transparence et publicité, confidentialité). En 2010, l'AERES est entrée dans un processus d'évaluation externe mené par des pairs et a obtenu le renouvellement de son adhésion comme membre de plein droit de l'ENQA (European Association for Quality Assurance in Higher Education). Elle a également été évaluée, en 2011, pour son inscription à l'EQAR (European Quality Assurance Register for Higher Education), lui permettant d'asseoir sa crédibilité à l'étranger http://www.aeres-evaluation.fr/Agence/Organisation/Experts-de-l-AERES Comité National d’ Evaluation de la recherche (2006). Pour une meilleure évaluation de la recherche publique en SHS. Tome 2. Linda HANTRAIS. La documentation française. 352 pages. Baslé, M. (2010). Connaissance et action territoriale. Editions Économica. Paris. - Netherland organisation for scientific research (2009). Standard evaluation protocol 2009-2015. Protocol for research assessment in the Netherlands. VSNU, KNAW and N WO. - Evaluation : practical guidelines. A guide for evaluating public engagement activities research councils UK. - Gaffard, J.L. 2007. L’évaluation de l’enseignement supérieur et de la recherche : un éclairage à partir du cas d’école de la réforme des études de licence, master et doctorat », in Performance, incitations et gestion publique, Rapport du CAE 66, D. Bureau et M. Mougeot. - Reid, A, cough, S. (2000). Guidelines for reporting and evaluating qualitative research : what are the alternatives. Environmental education research vol. 6 n°1. - Société française de l’évaluation. Charte de l’évaluation des politiques publiques et des programmes. Site internet : www.sfe.asso.fr