2.1 Objectif et portée de l’évaluation
Cette évaluation a été menée conformément au plan d’évaluation ministériel 2022-2023 à 2026-2027 d’ACC, qui a été élaboré pour s’harmoniser avec la Politique sur les résultats du Secrétariat du Conseil du Trésor (SCT) du Canada. Selon la politique, les évaluations de tous les programmes de subventions et de contributions en cours qui ont une dépense moyenne sur cinq ans de cinq millions de dollars par an doivent être évaluées tous les cinq ans. Elle indique également que toutes les dépenses et tous les programmes organisationnels du Répertoire des programmes doivent être pris en compte dans la planification de l’évaluation ministérielle en fonction des risques et des besoins.
Le rendement passé du Fonds a été examiné ainsi que les activités en cours afin de déterminer la pertinence, l’efficacité et l’économie du programme. L’évaluation a été menée d’avril 2022 à mars 2023. Elle couvre la période allant du 1er avril 2018 au 31 mars 2022. Lorsqu’ils étaient disponibles et applicables, des renseignements plus à jour ont été intégrés à l’évaluation (p. ex. les observations de l’appel de demandes du Fonds à l’automne 2022 et le processus d’évaluation des demandes et de décision de financement connexe).
Étant donné que la Vérification du Fonds pour le bien-être des vétérans et de leur famille d’ACC en 2021 se concentrait sur la gouvernance, la documentation, les processus et les outils, l’évaluation a mis moins l’accent sur l’efficacité du Fonds, alors que le personnel poursuit la mise en œuvre des changements résultant des recommandations de la vérification. De nombreuses recommandations dans le domaine de l’efficacité ont été faites dans le cadre de la vérification, y compris la mise à jour des processus, des outils et des soutiens pour le Fonds. Le cas échéant, l’évaluation a mis en évidence les premières constatations concernant les changements survenus à la suite de la mise en œuvre des recommandations de la vérification.
2.2 Questions d’évaluation
À la fin d’un examen initial (entrevues, examen des documents et analyse des données), des questions d’évaluation ont été élaborées pour aider à évaluer la pertinence et le rendement du Programme (en particulier dans les domaines de l’efficacité). Une liste de questions d’évaluation, soulignant les principaux champs d’enquête, se trouve dans le tableau 1 ci-dessous.
Tableau 1 : Questions de l’évaluation
2.3 Méthodologie de l’évaluation
L’évaluation était de nature sommativeFootnote4 et reposait sur une combinaison de sources de données qualitatives et quantitatives. La méthodologie intégrait plusieurs sources de données pour assurer la fiabilité des renseignements recueillis et des résultats rapportés. Ces renseignements sont décrits plus en détail dans le tableau 2 ci-dessous.
Tableau 2 : Liste des méthodologies et sources d’évaluation
2.4 Considérations et limites
L’évaluation a déterminé les considérations et limites suivantes :
- L’équipe d’évaluation a consulté divers secteurs du Ministère pour acquérir une compréhension approfondie du Fonds, de son intention initiale, de son fonctionnement, de ce qui fonctionne bien et des points à améliorer.
- L’équipe d’évaluation a pu visiter certains bénéficiaires du Fonds en Nouvelle-Écosse et à l’Île-du-Prince-Édouard, puis a mené des entrevues virtuelles avec d’autres organisations, car la planification de la logistique et des voyages aériens ainsi que la COVID-19 ont continué à présenter des risques et des défis liés aux déplacements.
- L’analyse comparative entre les sexes plus (ACS Plus) a été intégrée à l’évaluation en fonction du thème général du projet.
- Le niveau d’information incohérent a empêché d’évaluer pleinement le succès du Fonds. Il y avait un ensemble limité de résultats de projets achevés. De nombreux projets sont des projets pluriannuels, avec seulement le tiers des projets considérés comme achevés. De plus, la portée, la taille et les thèmes des projets variaient considérablement. La nature du programme de financement (recherche et innovation) a également présenté des défis dans la définition et la mesure du « succès » (p. ex. ce qui est considéré comme innovant/comment mesurer le succès de l’innovation). En vue d’atténuer ce défi, l’évaluation a examiné plusieurs sources d’information (p. ex. examen des dossiers, entrevues avec divers employés du Ministère et bénéficiaires de financement et examen des documents). L’équipe d’évaluation a noté toutes les indications observables disponibles à court terme de succès.
- Les rapports concernant le Fonds sont essentiellement manuels. Tout au long de l’évaluation, l’équipe a constaté un manque de données statistiques documentées. Dans la mesure du possible, les données ont été créées par le secteur du programme. L’équipe d’évaluation a noté des divergences dans certains cas, qui ont été signalées au secteur de programme.
- Le Fonds est encore en phase de maturation et a connu de nombreux changements dans les niveaux de financement, les processus et la gestion depuis sa création en 2018. Ce point a été pris en compte lors de l’évaluation de l’efficacité et de l’efficience du Fonds à ce jour.
- Le Programme de financement de la recherche d’ACC a été lancé par le Ministère en avril 2020 et est décrit plus en détail à la section 3.2.1 du document sur l’harmonisation des priorités du gouvernement du Canada. Ce nouveau programme est distinct du Fonds pour le bien-être des vétérans et de leur famille et n’a pas été pris en compte dans la portée de cette évaluation. Il sera évalué à une date ultérieure. Certaines constatations de cette évaluation peuvent être liées au Programme de financement de la recherche ou avoir une incidence sur ce dernier, car il existe certaines similitudes entre les deux programmes de financement.
Les renseignements susmentionnés doivent être pris en compte durant la lecture du présent rapport d’évaluation.