Sommaire de l'évaluation du Fonds pour le bien-être des vétérans et de leur famille

Sommaire de l'évaluation du Fonds pour le bien-être des vétérans et de leur famille

Direction générale de la vérification et de l’évaluation – Anciens Combattants Canada – juin 2023

Résultats de l’évaluation

Pertinence et besoin

L’évaluation a révélé qu’il existe une demande continue de financement de la part d’organismes pour des initiatives ciblant le bien-être des vétérans et de leur famille. La demande du Fonds pour le bien-être des vétérans et de leur famille est évidente selon le nombre de demandes soumises par année (entre 98 et 155). Pendant la période visée par l’évaluation, 102 projets ont été approuvés pour un financement, avec du soutien financier accordé à 68 organismes uniques. Un certain nombre d’organismes a reçu des fonds plus d’une fois et certains ont reçu des fonds de façon continue depuis la création du Fonds. À ce jour, Anciens Combattants Canada (ACC) a pu financer 10 % des demandes de projet. On s’attend à ce que le besoin de financement se poursuive, environ 90 % des bénéficiaires de financement étant des organismes à but non lucratif qui dépendent du financement externe.

Le Fonds correspond grandement à l’orientation du gouvernement et aux rôles et responsabilités du Ministère. Bien que les objectifs du Fonds sont larges et que divers organismes y sont admissibles, l’admissibilité est limitée aux projets d’une durée limitée et ne vise pas à fournir un soutien pour des programmes continus. Puisque le Fonds vise à renforcer la capacité dans le secteur à but non lucratif, il pourrait être possible de réexaminer les besoins des organismes demandeurs. De plus, en avril 2020, ACC a lancé son Programme de financement de la recherche. Ce programme fournit un financement à des organismes similaires pour entreprendre des projets ayant des objectifs similaires. Il est possible de confirmer à nouveau l’intention du Fonds et de déterminer si les objectifs actuels demeurent pertinents.

Efficacité

Depuis sa création en 2018, le Fonds a continué de croître et de s’adapter. Un profil d’information sur le rendement avec des résultats énoncés est en place. Les renseignements à l’appui des indicateurs de rendement sont communiqués dans une certaine mesure. L’évaluation indique qu’il existe des possibilités d’améliorer les rapports sur la mesure du rendement du Fonds, grâce à l’efficacité des rapports internes et à la documentation, ainsi qu’en travaillant avec les demandeurs/bénéficiaires pour développer davantage les résultats des projets et le niveau d’information à l’appui saisi dans le dossier. En général, il y avait relativement peu de projets achevés à examiner au moment de l’évaluation (35 sur 102 projets financés). Avec un nombre de projets achevés peu élevé et des renseignements sur le rendement incohérents, il a été difficile de formuler des observations générales sur l’incidence des projets individuels. Le Fonds a réussi à aider de nombreux organismes ciblant une variété de domaines thématiques des vétérans et du bien-être, tels que l’itinérance, la santé mentale, l’emploi et les vétérans autochtones.

Efficience et économie

À la suite des recommandations découlant de la vérification du Fonds faite par ACC en 2021, des modifications ont été apportées pour renforcer la rigueur du processus d’évaluation des demandes et la surveillance des projets en cours. À mesure que le Fonds continue de croître et d’évoluer, l’évaluation révèle qu’il y a d’autres domaines à envisager d’améliorer comme les documents d’orientation, les rapports internes et les protocoles de production de rapports de projet. Une rigueur accrue dans l’évaluation et la surveillance des projets exige des efforts. Le Fonds comprend actuellement quatre employés à temps plein (notamment un gestionnaire et un analyste temporaire). L’effort nécessaire pour soutenir chaque série de demandes de plus de 100 demandes et bien surveiller 60 projets en cours ou plus dépasse probablement la capacité de l’effectif permanent actuel de deux analystes.

Le Fonds n’a fonctionné qu’un an dans le cadre de son financement de base annuel (3 millions de dollars), et chaque année par la suite, il a été temporairement complété par des fonds du Ministère ou par le biais du budget de 2021 (15 millions de dollars de 2021-2022 à 2023-2024). Le Fonds a continuellement dépensé la totalité du budget alloué chaque année et engagé des fonds pour les budgets futurs. Cette approche a une incidence sur le montant pouvant être accordé aux projets au cours des années subséquentes. À ce stade, il conviendrait que le Ministère examine s’il est possible de poursuivre l’intention et les objectifs actuels du Fonds en fonction du niveau des fonds de base disponibles, ou si des modifications de l’intention/des objectifs ou des niveaux de financement de base devraient avoir lieu.

Recommandation Réponse et plan d’action de la direction

Recommandation 1

On recommande que le sous-ministre adjoint, Politiques stratégiques, planification et rendement détermine si des changements sont nécessaires à l’intention et aux objectifs du Fonds pour s’harmoniser avec son évolution et les priorités ministérielles. Le cas échéant, prendre les mesures nécessaires pour :

  1. modifier les objectifs déclarés du Fonds;
  2. rechercher des occasions d’augmenter les niveaux de financement de base ou l’effectif pour atteindre les objectifs du Fonds et maintenir la charge de travail cumulative.

Le Fonds pour le bien-être des vétérans et de leur famille a initialement été créé pour combler une lacune dans le soutien de l’innovation et de la recherche en matière de santé et de bien-être des vétérans. Il y a maintenant eu un certain nombre de séries de demandes, ce qui fournit des renseignements de base supplémentaires sur les types de projets financés et les besoins des organismes consacrés au bien-être des vétérans et de leur famille. Dans un effort pour assurer l’harmonisation continue avec les priorités et les besoins du Ministère, ACC déterminera si des modifications de l’intention et des objectifs du Fonds sont nécessaires et prendra les mesures requises pour obtenir les approbations nécessaires afin de modifier les documents liés au programme ainsi que les demandes de ressources connexes.

Recommandation 2

On recommande que le directeur général, Politiques et recherche, donne des conseils aux demandeurs/bénéficiaires de financement concernant :

  1. l’élaboration de résultats de projet mesurables;
  2. la suggestion de données qui seraient utiles pour appuyer les progrès vers la réalisation des résultats de projet.

La Direction générale de la politique et de la recherche (DGPR) a entrepris un examen du formulaire de demande actuel du Fonds pour le bien-être des vétérans et de leur famille et elle cherche des options pour incorporer une composante supplémentaire liée à la gestion de projet au cycle de financement de 2023-2024 à venir. Pour veiller à ce que les demandeurs aient une orientation suffisante sur la planification de projet afin d’élaborer des résultats de projet mesurables, ACC ajoutera une section sur la planification de projet mieux structurée à la demande ainsi qu’un guide du demandeur amélioré pour aider les demandeurs à préparer leur demande. Le guide du demandeur abordera des éléments de planification de projet, notamment les objectifs du projet, les activités, les résultats escomptés et la mesure des résultats. La DGPR fournira également au personnel du Fonds des outils de soutien de projet pour veiller à ce que les bénéficiaires soient outillés pour mesurer et atteindre les résultats escomptés du projet.

Recommandation 3

On recommande que le directeur général, Politiques et recherche, améliore le suivi des données du Fonds dans le but d’optimiser l’efficacité de la production de rapports internes et d’appuyer la mesure du rendement ainsi que la prise de décisions concernant le Programme.

Depuis sa création en 2018, le Fonds pour le bien-être des vétérans et de leur famille a continuellement amélioré les processus d’évaluation des demandes et les exigences en matière de rapports. Tandis que le Fonds continue de s’améliorer, ACC se concentra davantage sur le renforcement de la capacité de production de rapports internes du Fonds pour s’assurer que les renseignements nécessaires sont disponibles afin d’appuyer la mesure du rendement, les exigences en matière de rapports internes et la prise de décisions concernant le Programme.

Description du programme

  • Le Fonds fournit une aide financière à divers organismes (à but non lucratif, à but lucratif, établissements de recherche et d’enseignement, organismes autochtones et établissements de santé publique et de services sociaux) qui effectuent de la recherche ou élaborent et mettent en œuvre des programmes innovateurs pour le bien-être des vétérans et de leur famille.
  • Le Fonds a été créé en 2018 pour combler une lacune perçue dans le soutien de l’innovation et de la recherche en matière de santé et de bien-être des vétérans et de leur famille. ACC recevait régulièrement des demandes d’organismes cherchant à obtenir un financement pour de telles initiatives, mais le Ministère n’avait pas de moyen de contribuer financièrement à celles-ci avant la création du Fonds.
  • Le Fonds est structuré de manière à fournir à la fois des subventions et des contributions. Les projets de subvention approuvés peuvent recevoir jusqu’à 500 000 $ par exercice pendant un maximum de trois ans, et les projets de contribution approuvés peuvent recevoir jusqu’à un million de dollars par exercice pendant un maximum de cinq ans.
  • Le Fonds se voit allouer trois millions de dollars par an. Le Fonds reçoit un montant complémentaire depuis 2019-2020, notamment 15 millions de dollars sur trois ans dans le cadre du Budget de 2021.
  • Entre 2018-2019 et 2021-2022, ACC a reçu 509 demandes de projets pour un montant total de 350 millions de dollars. Durant la même période, 102 projets ont été approuvés et 36,6 millions de dollars ont été accordés à diverses initiatives.
  • La gestion du Fonds est passée entre plusieurs mains au sein du Ministère et est actuellement la responsabilité de la Direction de la recherche.

À propos de l’évaluation

Portée et méthodologie

  • L’évaluation a été effectuée conformément aux directives et aux normes indiquées dans la politique du Conseil du Trésor sur les résultats de 2016 et le Plan d’évaluation ministériel de 2022‑2023 à 2026-2027 d’ACC.
  • Elle vise la période d’avril 2018 à mars 2022.
  • Elle a été effectuée entre avril 2022 et mars 2023.
  • Plusieurs sources de données ont été utilisées, notamment des examens de documents, des analyses de données, des observations, des examens de dossiers et des entrevues réalisées auprès des informateurs clés.
  • L’objectif de l’évaluation était de nous assurer que le Fonds est pertinent et qu’il répond aux besoins et de déterminer s’il est possible d’améliorer son efficacité ou son efficience. Les résultats de l’évaluation devraient aider la Direction de la recherche à gérer le Fonds et à rendre des décisions.
  • L’évaluation s’est moins concentrée sur l’efficacité du Fonds, car le personnel continue d’apporter des changements à la suite de la vérification effectuée par ACC en 2021.

Contraintes et limites

  • L’équipe d’évaluation a pu visiter certains bénéficiaires du Fonds en Nouvelle-Écosse et à l’Île-du-Prince-Édouard, puis a mené des entrevues virtuelles avec d’autres organismes, car la planification de la logistique et des voyages aériens ainsi que la COVID-19 ont continué à présenter des risques et des défis liés aux déplacements.
  • La production de rapports concernant le Fonds est principalement de nature manuelle. Tout au long de l’évaluation, l’équipe a constaté un manque de renseignements statistiques documentés. Dans la mesure du possible, des renseignements ont été générés par le secteur de programme. L’équipe d’évaluation a également constaté des écarts dans certains cas, ce qui a été signalé au secteur de programme.
  • Le niveau d’information sur le rendement disponible incohérent a empêché d’évaluer pleinement le succès du Fonds. Il y avait un ensemble limité de résultats de projets achevés. De nombreux projets sont des projets pluriannuels, avec seulement le tiers des projets considérés comme achevés. La nature du programme de financement (recherche et innovation) a également présenté des défis dans la définition et la mesure du « succès » (p. ex. ce qui est considéré comme innovant/comment mesurer le succès de l’innovation). En vue d’atténuer ce défi, l’évaluation a examiné plusieurs sources d’information (p. ex. examen des dossiers, entrevues avec divers employés du Ministère et bénéficiaires de financement et examen des documents). Lorsqu’il était possible de le faire, l’équipe d’évaluation a noté toutes les indications observables disponibles à court terme de succès.
  • L’analyse comparative entre les sexes plus (ACS Plus) a été intégrée à l’évaluation en fonction du thème général du projet.
  • Le Fonds est encore en phase de maturation et a connu de nombreux changements dans les niveaux de financement, les processus et la gestion depuis sa création en 2018. Ce point a été pris en compte lors de l’évaluation de l’efficacité et de l’efficience du Fonds à ce jour.
  • Le Programme de financement de la recherche d’ACC a été lancé par le ministère en avril. Ce nouveau programme est distinct du Fonds pour le bien-être des vétérans et de leur famille et n’a pas été pris en compte dans la portée de cette évaluation. Certaines constatations de cette évaluation peuvent être liées au Programme de financement de la recherche ou avoir une incidence sur ce dernier, car il existe certaines similitudes entre les deux programmes de financement.

Rapport d’évaluation

Évaluation du Fonds pour le bien-être des vétérans et de leur famille - juin 2023

Date modifiée