2.1 Objectif et portée de l’évaluation
Cette évaluation a été menée conformément au plan d’évaluation ministériel 2022-2023 à 2026-2027 d’ACC, qui a été élaboré pour s’harmoniser avec la Politique sur les résultats du Secrétariat du Conseil du Trésor (SCT) du Canada. Selon la politique, les évaluations de tous les programmes de subventions et de contributions en cours qui ont une dépense moyenne sur cinq ans de cinq millions de dollars par an doivent être évaluées tous les cinq ans. Elle indique également que toutes les dépenses et tous les programmes organisationnels du Répertoire des programmes doivent être pris en compte dans la planification de l’évaluation ministérielle en fonction des risques et des besoins.
Le rendement passé du Fonds a été examiné ainsi que les activités en cours afin de déterminer la pertinence, l’efficacité et l’économie du programme. L’évaluation a été menée d’avril 2022 à mars 2023. Elle couvre la période allant du 1er avril 2018 au 31 mars 2022. Lorsqu’ils étaient disponibles et applicables, des renseignements plus à jour ont été intégrés à l’évaluation (p. ex. les observations de l’appel de demandes du Fonds à l’automne 2022 et le processus d’évaluation des demandes et de décision de financement connexe).
Étant donné que la Vérification du Fonds pour le bien-être des vétérans et de leur famille d’ACC en 2021 se concentrait sur la gouvernance, la documentation, les processus et les outils, l’évaluation a mis moins l’accent sur l’efficacité du Fonds, alors que le personnel poursuit la mise en œuvre des changements résultant des recommandations de la vérification. De nombreuses recommandations dans le domaine de l’efficacité ont été faites dans le cadre de la vérification, y compris la mise à jour des processus, des outils et des soutiens pour le Fonds. Le cas échéant, l’évaluation a mis en évidence les premières constatations concernant les changements survenus à la suite de la mise en œuvre des recommandations de la vérification.
2.2 Questions d’évaluation
À la fin d’un examen initial (entrevues, examen des documents et analyse des données), des questions d’évaluation ont été élaborées pour aider à évaluer la pertinence et le rendement du Programme (en particulier dans les domaines de l’efficacité). Une liste de questions d’évaluation, soulignant les principaux champs d’enquête, se trouve dans le tableau 1 ci-dessous.
Tableau 1 : Questions de l’évaluation
| Pertinence |
| Dans quelle mesure le Fonds répond-il à un besoin, aujourd’hui et demain? |
| Dans quelle mesure le Fonds s’harmonise-t-il avec les priorités du gouvernement du Canada ainsi que les rôles et responsabilités ministériels? |
| Rendement |
| Les résultats ont-ils été déterminés et mesurés pour définir le succès du Fonds et soutenir la gestion du Programme? |
| Y a-t-il des incidences imprévues résultant du Fonds (positives ou négatives)? |
| Existe-t-il des possibilités d’améliorer l’efficacité du Fonds? |
| Dans quelle mesure les ressources du Fonds sont-elles utilisées de manière efficace et économique? |
2.3 Méthodologie de l’évaluation
L’évaluation était de nature sommativeFootnote4 et reposait sur une combinaison de sources de données qualitatives et quantitatives. La méthodologie intégrait plusieurs sources de données pour assurer la fiabilité des renseignements recueillis et des résultats rapportés. Ces renseignements sont décrits plus en détail dans le tableau 2 ci-dessous.
Tableau 2 : Liste des méthodologies et sources d’évaluation
| Méthodologie | Source |
|---|---|
| Examen des documents ministériels et de la recherche secondaire | Les documents/renseignements ministériels suivants ont été examinés pour mieux comprendre les objectifs/l’intention du Programme, ses autorités et ses exigences, sa complexité, son contexte et tout domaine clé : documents de planification ministériels, présentations aux organismes centraux, vérifications antérieures, modalités, processus opérationnels, lignes directrices, documents stratégiques, rapports sur le rendement et documents de suivi interne. |
| Examen des documents non ministériels | Divers documents non ministériels tels que des rapports et des transcriptions parlementaires, des lois, des discours sur le budget, des documents médiatiques et des discours du Trône ont été examinés à des fins contextuelles. |
| Entrevues | Au total, 42 entrevues (19 entrevues de planification et 23 entrevues sur le terrain) ont été menées auprès du personnel d’ACC (y compris la haute direction, les gestionnaires de programme actuels et passés, les employés de l’Administration centrale ainsi que d’autres experts en la matière au sein du Ministère) et un échantillon de représentants d’organisations qui soumis des demandes de financement acceptées. |
| Analyse des données | Analyse des données financières et opérationnelles disponibles recueillies concernant le Fonds depuis le 1er avril 2018. |
| Observation | L’observation du processus d’évaluation des projets de 2022 a été menée avec le personnel du Programme. Dans la mesure où les restrictions de déplacement le permettaient, des visites sur place ont eu lieu à Halifax (Nouvelle-Écosse), à Stratford (Île-du-Prince-Édouard) et à Summerside (Île-du-Prince-Édouard). Les visites sur place ont permis de rencontrer les bénéficiaires du Fonds, de recueillir des renseignements, d’observer les projets bénéficiaires, de discuter du processus de demande de financement, du processus de distribution du financement ainsi que des processus liés à la production de rapports et à la communication avec le Fonds. |
| Examen des dossiers | Un examen du dossier des initiatives financées par et achevées par (35 projets) a été effectué pour aider à évaluer l’efficacité du Fonds. Les conclusions de l’examen ont été utilisées pour évaluer le succès des projets financés achevés à ce jour, aider à déterminer si le Fonds atteint ses objectifs tels qu’énoncés dans les modalités d’origine, et mesurer les progrès vers la réalisation des résultats du Programme. |
2.4 Considérations et limites
L’évaluation a déterminé les considérations et limites suivantes :
- L’équipe d’évaluation a consulté divers secteurs du Ministère pour acquérir une compréhension approfondie du Fonds, de son intention initiale, de son fonctionnement, de ce qui fonctionne bien et des points à améliorer.
- L’équipe d’évaluation a pu visiter certains bénéficiaires du Fonds en Nouvelle-Écosse et à l’Île-du-Prince-Édouard, puis a mené des entrevues virtuelles avec d’autres organisations, car la planification de la logistique et des voyages aériens ainsi que la COVID-19 ont continué à présenter des risques et des défis liés aux déplacements.
- L’analyse comparative entre les sexes plus (ACS Plus) a été intégrée à l’évaluation en fonction du thème général du projet.
- Le niveau d’information incohérent a empêché d’évaluer pleinement le succès du Fonds. Il y avait un ensemble limité de résultats de projets achevés. De nombreux projets sont des projets pluriannuels, avec seulement le tiers des projets considérés comme achevés. De plus, la portée, la taille et les thèmes des projets variaient considérablement. La nature du programme de financement (recherche et innovation) a également présenté des défis dans la définition et la mesure du « succès » (p. ex. ce qui est considéré comme innovant/comment mesurer le succès de l’innovation). En vue d’atténuer ce défi, l’évaluation a examiné plusieurs sources d’information (p. ex. examen des dossiers, entrevues avec divers employés du Ministère et bénéficiaires de financement et examen des documents). L’équipe d’évaluation a noté toutes les indications observables disponibles à court terme de succès.
- Les rapports concernant le Fonds sont essentiellement manuels. Tout au long de l’évaluation, l’équipe a constaté un manque de données statistiques documentées. Dans la mesure du possible, les données ont été créées par le secteur du programme. L’équipe d’évaluation a noté des divergences dans certains cas, qui ont été signalées au secteur de programme.
- Le Fonds est encore en phase de maturation et a connu de nombreux changements dans les niveaux de financement, les processus et la gestion depuis sa création en 2018. Ce point a été pris en compte lors de l’évaluation de l’efficacité et de l’efficience du Fonds à ce jour.
- Le Programme de financement de la recherche d’ACC a été lancé par le Ministère en avril 2020 et est décrit plus en détail à la section 3.2.1 du document sur l’harmonisation des priorités du gouvernement du Canada. Ce nouveau programme est distinct du Fonds pour le bien-être des vétérans et de leur famille et n’a pas été pris en compte dans la portée de cette évaluation. Il sera évalué à une date ultérieure. Certaines constatations de cette évaluation peuvent être liées au Programme de financement de la recherche ou avoir une incidence sur ce dernier, car il existe certaines similitudes entre les deux programmes de financement.
Les renseignements susmentionnés doivent être pris en compte durant la lecture du présent rapport d’évaluation.