Aller au contenu

Biais d'automatisation

Un article de Wikipédia, l'encyclopédie libre.

Le biais d'automatisation est la tendance des humains à privilégier les suggestions provenant de systèmes automatisés d’aide à la décision, et à ignorer les informations contradictoires provenant d'autres sources, même lorsque ces dernières sont correctes[1]. Ce biais trouve son origine dans la psychologie sociale, où il a été observé que les individus attribuent des évaluations plus positives aux décisions prises par des humains qu'à celles provenant d'objets neutres[2]. Un biais similaire a été identifié dans les interactions entre humains et systèmes automatisés, où les décisions automatisées sont souvent perçues de manière plus favorable qu'une évaluation neutre[3],[4].

Ce problème est de plus en plus préoccupant, notamment dans des environnements critiques comme les unités de soins intensifs, les centrales nucléaires et les cockpits d’avions, où des systèmes automatisés sont largement utilisés pour limiter les erreurs humaines. Les erreurs liées au biais d'automatisation se produisent souvent lorsque les décisions reposent sur des systèmes automatisés, et que l'humain se trouve en position d'observateur avec la possibilité de prendre des décisions[5]. Les exemples varient des situations urgentes, comme le pilotage d’un avion en pilotage automatique, à des tâches plus banales, telles que l’utilisation de programmes de correction orthographique.

Sous-utilisation et mauvaise utilisation

[modifier | modifier le code]

La confiance dans un système automatisé peut conduire à différentes formes d’interactions, notamment son utilisation correcte, sa mauvaise utilisation, sa sous-utilisation ou son abus[6].

La mauvaise utilisation survient lorsque l'utilisateur s'appuie excessivement sur l'automatisation, au point de ne plus surveiller son fonctionnement, ou lorsque le système est utilisé dans des situations où il ne devrait pas l'être. À l'inverse, la sous-utilisation implique que l'utilisateur ignore ou désactive l'automatisation, même lorsque son utilisation serait bénéfique. Le biais d'automatisation est directement lié à la mauvaise utilisation, souvent due à une confiance excessive ou à l'application d’heuristiques.

Erreurs de commission et d'omission

[modifier | modifier le code]

Le biais d’automatisation peut se manifester par deux types d’erreurs :

  • Erreurs de commission : elles se produisent lorsque l'utilisateur suit aveuglément une directive automatisée, même si d'autres informations contredisent cette directive.
  • Erreurs d'omission : elles se produisent lorsque le système automatisé échoue à signaler un problème et que l'utilisateur ne s'en rend pas compte en raison d'une vigilance réduite ou d'une confiance excessive[7].

Facteurs contribuant au biais d'automatisation

[modifier | modifier le code]

Plusieurs facteurs favorisent le biais d'automatisation, notamment :

  • Hypothèse du « radin cognitif » : la tendance humaine à privilégier les approches demandant le moins d’effort cognitif.
  • Confiance excessive dans les systèmes automatisés : les humains supposent souvent que les systèmes automatisés possèdent des capacités analytiques supérieures aux leurs.
  • Réduction de l'effort personnel : lorsqu'une tâche est partagée avec un système automatisé, les humains ont tendance à réduire leur niveau d’effort[8].

Formation et sensibilisation

[modifier | modifier le code]

Des formations spécifiques pour réduire le biais d’automatisation ont montré des résultats mitigés : elles peuvent diminuer les erreurs de commission, mais ont un impact limité sur les erreurs d’omission[5]. L’entraînement peut inclure des exercices de responsabilisation, où les utilisateurs sont rendus responsables de leurs décisions, ou des explications sur les processus de raisonnement des systèmes automatisés.

Complaisance induite par l’automatisation

[modifier | modifier le code]

Le concept de biais d'automatisation est souvent perçu comme se chevauchant avec celui de la complaisance induite par l’automatisation, également appelée plus simplement complaisance vis-à-vis de l’automatisation. Tout comme le biais d'automatisation, cette complaisance découle d’une mauvaise utilisation de l’automatisation et implique des problèmes liés à l’attention. Alors que le biais d'automatisation reflète une tendance à faire trop confiance aux systèmes d’aide à la décision, la complaisance vis-à-vis de l’automatisation se manifeste par une surveillance insuffisante des résultats automatisés, souvent parce que ces derniers sont perçus comme fiables[9].

« Bien que les concepts de complaisance et de biais d’automatisation aient été discutés séparément comme s’ils étaient indépendants, » écrit un expert, « ils partagent plusieurs points communs, suggérant qu’ils reflètent différents aspects d’un même type de mauvaise utilisation de l’automatisation. » Il a ainsi été proposé de regrouper ces deux concepts en une seule notion intégrative, car ils pourraient représenter différentes manifestations de phénomènes induits par l’automatisation qui se chevauchent largement[10].

La complaisance induite par l’automatisation a été définie comme une « capacité réduite à détecter les dysfonctionnements du système automatisé par rapport à une situation de contrôle manuel ». Le système de rapports sur la sécurité aérienne (ASRS) de la NASA définit cette complaisance comme une « autosatisfaction pouvant conduire à un manque de vigilance fondé sur une hypothèse injustifiée de bon fonctionnement du système ».

Facteurs contributifs et manifestations

[modifier | modifier le code]

Des études ont montré que cette complaisance survient le plus souvent lorsque les opérateurs jonglent entre des tâches manuelles et automatisées. La perception qu’ont les opérateurs de la fiabilité d’un système automatisé influence leur manière d’interagir avec celui-ci. Par exemple, Endsley (2017) décrit comment une « grande fiabilité perçue » des systèmes automatisés peut inciter les utilisateurs à se désengager de leur surveillance active, augmentant ainsi les erreurs de suivi, réduisant leur conscience situationnelle et entravant leur capacité à reprendre le contrôle du système en cas de dépassement de ses limites[11].

Cette complaisance peut être réduite lorsque la fiabilité de l’automatisation varie dans le temps, mais elle n’est pas atténuée par l’expérience ou la pratique. Tant les participants experts qu’inexpérimentés peuvent présenter un biais d’automatisation ainsi qu’une complaisance vis-à-vis de l’automatisation. Ces problèmes ne peuvent généralement pas être surmontés par un simple entraînement[10].

Exemples et impacts

[modifier | modifier le code]

Le terme « complaisance vis-à-vis de l’automatisation » a d'abord été utilisé dans le domaine de l’aviation pour décrire des incidents où des pilotes, des contrôleurs aériens ou d'autres professionnels n’ont pas vérifié correctement leurs systèmes, supposant à tort que tout fonctionnait normalement alors qu’un accident se préparait. La complaisance des opérateurs, qu’elle soit liée ou non à l’automatisation, est depuis longtemps reconnue comme un facteur majeur dans les accidents aériens[10].

En général, la perception de fiabilité peut entraîner une forme d'« ironie de l'automatisation », où une automatisation accrue diminue la charge cognitive mais augmente les risques d'erreurs de surveillance. À l'inverse, une automatisation faible peut accroître la charge cognitive tout en réduisant les risques d’erreurs de suivi[12].

Un exemple notable est le phénomène de « mort par GPS » où des individus se sont retrouvés en danger ou sont décédés en suivant aveuglément des instructions incorrectes fournies par des systèmes GPS.

Solutions

[modifier | modifier le code]

Le biais et la complaisance induite par l'automatisation peuvent être atténués en :

  • Redessinant les systèmes automatisés pour réduire la complexité de l’information ou pour présenter les données comme un soutien, plutôt qu’une directive autoritaire[9] ;
  • Entraînant les utilisateurs à reconnaître les erreurs potentielles, par exemple en introduisant délibérément des erreurs dans les systèmes d'entraînement, ce qui s’avère plus efficace que de simplement avertir que des erreurs peuvent survenir[13].

Cependant, un excès de vérifications ou de remise en question des systèmes automatisés peut augmenter la pression temporelle et la complexité des tâches, réduisant ainsi les avantages de l'automatisation. Les systèmes de soutien automatisés doivent donc trouver un équilibre entre les effets positifs et négatifs, plutôt que de chercher à éliminer complètement ces derniers[14].

Conclusion

[modifier | modifier le code]

Malgré les recherches approfondies sur le sujet, des critiques subsistent quant à la définition précise du biais d'automatisation et au manque de systématisation dans le signalement des incidents qui en découlent[15]. Une meilleure compréhension des mécanismes sous-jacents et des moyens d'atténuer ce biais reste essentielle, en particulier dans les environnements où des décisions critiques sont prises.

Références

[modifier | modifier le code]
  1. ↑ Cummings, Mary, AIAA 1st Intelligent Systems Technical Conference, (ISBN 978-1-62410-080-2, lire en ligne [archive du ]), « Biais d'automatisation dans les systèmes intelligents d’aide à la décision en situation critique »
  2. ↑ Bruner, J. S., & Tagiuri, R. (1954). "The perception of people". In G. Lindzey (Ed.), Handbook of social psychology (vol. 2): 634-654. Reading, MA: Addison-Wesley.
  3. ↑ Madhavan, P. et Wiegmann, D. A., « Similarities and differences between human–human and human–automation trust: an integrative review », Theoretical Issues in Ergonomics Science, vol. 8, no 4,‎ , p. 277–301 (DOI 10.1080/14639220500337708)
  4. ↑ Dzindolet, Mary T., Peterson, Scott A., Pomranky, Regina A., Pierce, Linda G. et Beck, Hall P., « The role of trust in automation reliance », International Journal of Human-Computer Studies, vol. 58, no 6,‎ , p. 697–718 (DOI 10.1016/S1071-5819(03)00038-7)
  5. ↑ a et b Linda Skitka, Biais d’automatisation, University of Illinois at Chicago (lire en ligne)
  6. ↑ Parasuraman, Raja et Riley, Victor, « Humans and Automation: Use, Misuse, Disuse, Abuse », Human Factors: The Journal of the Human Factors and Ergonomics Society, vol. 39, no 2,‎ , p. 230–253 (DOI 10.1518/001872097778543886)
  7. ↑ Parasuraman, Raja et Manzey, Dietrich, « Complacency and Bias in Human Use of Automation: An Attentional Integration », The Journal of the Human Factors and Ergonomics Society, vol. 52, no 3,‎ , p. 381–410 (DOI 10.1177/0018720810376055)
  8. ↑ Goddard, K., Roudsari, A. et Wyatt, J. C., « Automation bias: a systematic review of frequency, effect mediators, and mitigators », Journal of the American Medical Informatics Association, vol. 19, no 1,‎ , p. 121–127 (DOI 10.1136/amiajnl-2011-000089)
  9. ↑ a et b K. Goddard, A. Roudsari et J. C. Wyatt, « Automation bias: a systematic review of frequency, effect mediators, and mitigators », Journal of the American Medical Informatics Association, vol. 19, no 1,‎ , p. 121–127 (PMID 21685142, PMCID 3240751, DOI 10.1136/amiajnl-2011-000089)
  10. ↑ a b et c Raja Parasuraman et Dietrich Manzey, « Complacency and Bias in Human Use of Automation: An Attentional Integration », The Journal of the Human Factors and Ergonomics Society, vol. 52, no 3,‎ , p. 381–410 (PMID 21077562, DOI 10.1177/0018720810376055, S2CID 2279803, lire en ligne, consulté le )
  11. ↑ Mica Endsley, « From Here to Autonomy Lessons Learned From Human–Automation Research », Human Factors, vol. 59, no 1,‎ , p. 5–27 (PMID 28146676, DOI 10.1177/0018720816681350 Accès libre, S2CID 3771328)
  12. ↑ Lisanne Bainbridge, « Ironies of automation », Automatica, vol. 19, no 6,‎ , p. 775–779 (DOI 10.1016/0005-1098(83)90046-8, S2CID 12667742, lire en ligne [archive du ], consulté le )
  13. ↑ J. Elin Bahner, Anke-Dorothea Hüper et Dietrich Manzey, « Misuse of automated decision aids: Complacency, automation bias and the impact of training experience », International Journal of Human-Computer Studies, vol. 66, no 9,‎ , p. 688–699 (DOI 10.1016/j.ijhcs.2008.06.001)
  14. ↑ Eugenio Alberdi, Lorenzo Strigini, Andrey A. Povyakalo et Peter Ayton, Computer Safety, Reliability, and Security, vol. 5775, Springer Berlin Heidelberg, coll. « Lecture Notes in Computer Science », , 18–31 p. (ISBN 978-3-642-04467-0, DOI 10.1007/978-3-642-04468-7_3), « Why Are People's Decisions Sometimes Worse with Computer Support? »
  15. ↑ Lyell, David et Coiera, Enrico, « Automation bias and verification complexity: a systematic review », Journal of the American Medical Informatics Association, vol. 24, no 2,‎ , p. 424–431 (DOI 10.1093/jamia/ocw105)

Articles connexes

[modifier | modifier le code]
v · m
Biais mnésique
Biais de jugement
Biais de raisonnement
Biais liés à la personnalité
Autres
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Biais_d%27automatisation&oldid=220530831 ».