Les états mentaux humains chez le personnel militaire pour détecter les biais dans l’équipe humain-autonomie

Possibilité de financement

Les états mentaux humains chez le personnel militaire pour détecter les biais dans l’équipe humain-autonomie.

Échéances et budget prévus

Contexte

Les systèmes de plateforme sur les navires, les aéronefs et les chars des Forces armées canadiennes (FAC) deviennent de plus en plus automatisés. La gestion de ces systèmes de plateforme automatisés exige que les opérateurs développent les compétences, les connaissances et les capacités nécessaires pour savoir quand faire confiance aux systèmes automatisés contre, par exemple, les cyberattaques. La confiance dans l’automatisation est influencée par des biais. Les biais peuvent être, par exemple, encodés dans les algorithmes d’intelligence artificielle (IA) ou appris à partir des ensembles de données utilisés pour les entraîner sans que les concepteurs, les développeurs ou les responsables des essais en soient conscients. Les biais peuvent également émerger de petits ensembles de données et de données éparses. Ces limitations exigent que les systèmes d’IA soient soigneusement conçus par les humains pour atteindre l’utilité souhaitée pour les opérations militaires. Il est crucial de déterminer si de multiples signaux psychophysiologiques et comportementaux peuvent déduire des états mentaux ou psychologiques dans la prise de décision humaine pour détecter les modèles d’apprentissage automatique et humain, et comment les adversaires peuvent exploiter ces biais.

Les chercheurs sont invités à présenter une demande pour entreprendre une analyse de l’environnement et fournir des recommandations pour une expérience de suivi sur la recherche émergente, les pratiques exemplaires et les attributs clés des états mentaux qui entrent en jeu dans la détection des biais pour aider le personnel militaire à améliorer la prise de décision humaine lors de l’interaction avec des agents autonomes dans des environnements en lien avec l’armée.

Objectifs de la recherche

La présente possibilité de financement vise à obtenir des soumissions pour effectuer une analyse de l’environnement de la littérature universitaire, des documents publics concernant les tendances, les pratiques exemplaires et les défis émergents relatifs aux états mentaux humains afin de détecter les préjugés dans la prise de décision humaine, y compris des recommandations pour une expérience examinant ces caractéristiques dans les FAC.

Le rapport final doit comprendre ce qui suit :

• Décrire les recherches, les pratiques exemplaires et les approches nouvelles et émergentes concernant les signaux psychophysiologiques et comportementaux permettant de déduire les états mentaux ou psychologiques (p. ex. stress, fatigue, charge de travail mentale, confiance, conscience de la situation et modèles mentaux communs) dans la prise de décision humaine;
• Fournir des exemples d’encodage de biais dans les modèles d’apprentissage automatique et humains pour obtenir un avantage dans la prise de décision humaine;
• Décrire la recherche, les pratiques exemplaires et les approches nouvelles et émergentes pour optimiser le rendement, assurer la résilience et la stabilité des États membres de l’équipe et soutenir la capacité de bâtir, d’ajuster et de maintenir de manière appropriée la confiance dans les modèles d’apprentissage automatique et humain;
• Comparer les états psychologiques qui ont une incidence sur la prise de décision biaisée et exposer les différences entre ceux-ci, et résumer les relations connues qu’ils ont avec les mesures physiologiques et comportementales qui peuvent être prises en temps réel avec des technologies non invasives ou portables;
• Décrire les recherches, les pratiques exemplaires et les approches nouvelles et émergentes sur la meilleure façon de traiter les biais qui se dégagent de petits ensembles de données et de données éparses;
• Formuler des recommandations pour l’Analyse comparative entre les sexes Plus en ce qui concerne la compréhension de l’effet de la confiance qui tient compte de divers groupes de personnes, en tenant compte du sexe (biologique et genre attribué à la naissance), du genre (c.-à-d. la façon dont une personne s’identifie), ainsi que des facteurs identitaires croisés qui comprennent la race et le fait d’être une personne LGBTQ+ (lesbienne, gaie, bisexuelle, transgenre, queer et autres minorités sexuelles ou de genre), noire, autochtone ou de couleur;
• Des recommandations pour la conception expérimentale d’une étude de suivi du point de vue de l’utilisateur final et des dirigeants en fonction des attributs et des caractéristiques relevés dans le cadre de l’analyse de l’environnement;
• Fournir une bibliographie des documents utilisés pour produire le rapport final.

Jalons/phases d’avancemen

Voir le tableau ci-dessous.

Extrants attendus

Extrants attendus

Numéro	Description du jalon	Quantité et format	Date de livraison
1	Soumettre un rapport de recherche décrivant les attributs et les caractéristiques clés pour tromper les modèles d’apprentissage automatique et humains afin d’obtenir un avantage au moyen des biais de l’association humains-IA mettant en jeu des états mentaux relevés dans l’analyse de l’environnement et des recommandations sur la façon d’évaluer systématiquement les systèmes d’IA pour atteindre leur utilité souhaitée et de déterminer comment les défenseurs peuvent exploiter ces biais.	Présenté en anglais par téléconférence avec RDDC et sous format électronique, en document Word.	31 décembre 2024
2	Soumettre la conception d’une expérience de suivi des principales caractéristiques de la détection des biais mettant en jeu des états mentaux dans la prise de décision humaine lors de l’interaction avec des agents autonomes pouvant être publiée dans la littérature ouverte.	Présenté en anglais par téléconférence avec RDDC et sous format électronique, en document Word.	1er mars 2025
3	Assister à une réunion initiale du projet et à des réunions mensuelles de mise à jour pour faire rapport sur les progrès réalisés jusqu’à présent sur les ébauches de documentation dans les tâches 1 et 2, ainsi qu’à une réunion de clôture.	Téléconférence avec RDDC	28 mars 2025

Qualifications des demandeurs et conditions de sélection

• Les propositions doivent être dirigées par un chercheur principal titulaire d’un doctorat en génie informatique ou dans un domaine pertinent, en particulier en psychologie de la santé/médecine comportementale, en interactions homme-machine et en facteurs humains;
• Le demandeur possède une expérience antérieure et des connaissances approfondies sur la fiabilité de la modélisation humaine et de l’IA/apprentissage automatique dans les FAC;
• Le demandeur a de nombreuses publications en littérature ouverte de recherches originales sur la façon dont les biais de l’IA influencent les biais humains et vice versa, et sur la façon de s’assurer que les interdépendances entre les humains et l’IA sont comprises pour des résultats éthiques et sûrs des cyberattaques, par exemple;
• Le demandeur a une connaissance détaillée des biais potentiels dans les opérations militaires et des faiblesses que ces biais représentent pour la défense;
• Le demandeur a au moins une publication utilisant une méthodologie expérimentale;
• Le demandeur a au moins l’un des éléments suivants : publications, subventions, bourses ou projets de recherche, pour prouver son expérience en matière de recherche sur la modélisation de l’IA/apprentissage automatique dans les FAC qui utilise de multiples signaux physiologiques et comportementaux pour déduire des états mentaux ou psychologiques (p. ex. stress, fatigue, charge de travail mentale, confiance, conscience de la situation et modèles mentaux communs) dans la prise de décision humaine;
• Le demandeur a accès à une variété de bases de données en ligne;
• Le demandeur a une forte expertise en conception expérimentale, comme le démontrent des publications évaluées par des pairs.

Date limite de présentation des demandes

Veuillez télécharger et soumettre le formulaire de demande de financement de la recherche.

Demandes de renseignements

Si vous avez des questions sur cette possibilité de financement, envoyez un courriel au bureau de recherche d’ACC à l’adresse research-recherche@veterans.gc.ca.

Références

Amanat, H. (2023). « Cyberattacks increased 20 per cent in Canada last year: IT security company », CTV News. https://www.ctvnews.ca/sci-tech/cyberattacks-increased-20-per-cent-in-canada-last-year-it-security-company-1.6224097 (consulté le 9 janvier 2023).

Ministère de la Défense nationale (2019). Stratégie cybernétique 2020-2025 de la Marine royale canadienne, SGDDI n^o 436259, Ottawa, Directeur – Guerre de l’information navale.

Madhavan, P., et D. A. Wiegmann (2007). « Similarities and differences between human-human and human-automation trust: An integrative review », Theoretical Issues in Ergonomics Science, vol. 8, p. 277-301.

National Academies of Sciences, Engineering, and Medicine (2021). Human-AI Teaming: State-of-the-Art and Research Needs, Washington (D.C.), The National Academies Press.