Le FUV a été mis en œuvre avec un financement approuvé pour trois exercices (de 2018 2019 à 2020-2021). Pour avoir accès au financement continu du FUV, le ministre des Anciens Combattants devait retourner aux organismes centraux en 2020 2021 pour leur donner de l’information sur la nécessité du programme et son niveau de financement continu; le rendement, l’utilisation et les résultats du programme au cours des trois premières années; et une gouvernance renforcée fondée sur l’expérience acquise au cours des trois premières années du programme.
Compte tenu des risques et des besoins, il a été déterminé que le FUV tirerait profit d’une évaluation. Mentionnée initialement dans le Plan de vérification axé sur les risques 2018-2023 d’Anciens Combattants Canada, l’évaluation a été menée conformément à la Politique sur les résultats du Conseil du Trésor du Canada.
2.1 Portée et questions de l’évaluation
L’évaluation a été menée entre février et octobre 2020. Elle portait principalement sur la période du 1er avril 2018 au 30 août 2020.
L’objectif de l’évaluation consistait à juger de la pertinence, du rendement, de l’efficacité, de l’économie et de l’efficience du FUV. Les résultats de l’évaluation serviront à appuyer la prise de décisions, la planification et la mise en œuvre d’initiatives ministérielles futures pour le programme. Les résultats de l’évaluation serviront également à déterminer la nécessité d’un financement continu du programme.
Les discussions préliminaires, l’examen des documents et l’analyse des données ont permis de cerner les secteurs de risque potentiels du programme et de déterminer les secteurs prioritaires et ciblés pour la présente évaluation. Une fois l’examen initial terminé, des questions d’évaluation ont été élaborées pour aider à évaluer la pertinence, le rendement, l’efficience et l’économie du programme, ainsi que son efficacité, afin d’atteindre l’objectif de l’évaluation. Le tableau 1 ci-dessous contient une liste de questions d’évaluation qui mettent en évidence les principaux champs d’enquête. Pour plus de détails et la méthodologie, voir l’annexe A – Matrice d’évaluation.
Tableau 1 : Questions de l’évaluation
Dans quelle mesure le programme continue-t-il de répondre à un besoin démontrable, à l’heure actuelle et à l’avenir? (Pertinence)
Dans quelle mesure le programme est-il conforme aux priorités du gouvernement du Canada ainsi qu’aux rôles et responsabilités du gouvernement fédéral? (Pertinence)
Dans quelle mesure le programme répond-il aux besoins des bénéficiaires et des publics cibles? (Pertinence)
Des processus sont-ils en place pour veiller à ce que l’administration du programme soit conforme aux directives ministérielles? (Rendement)
Dans quelle mesure le programme a-t-il atteint ses résultats? (Rendement)
- Immédiats
- Intermédiaires
- Finaux
Y a-t-il des possibilités d’améliorer l’efficience et l’économie du programme ou des façons d’améliorer l’efficacité du programme? (Efficience/économie/efficacité)
Le programme a-t-il des effets imprévus (positifs ou négatifs)? (Efficience/économie/efficacité)
2.2 Multiples sources de données
Des sources de données multiples ont servi à étayer les constatations de l’évaluation. Les méthodes utilisées pour appuyer ces sources de données sont présentées dans le tableau 2.
2.3 Facteurs à considérer et limites
- Le FUV est un avantage relativement nouveau mis en œuvre en avril 2018. Les données de référence ont été recueillies, mais il est encore tôt dans le cycle de vie du programme, ce qui limite l’analyse des tendances d’une année à l’autre.
- Le Réseau de prestation des services aux clients (RPSC) d’ACC a limité la capacité de l’équipe d’évaluation à accéder aux données historiques. Bien que le RPSC puisse fournir un portrait ponctuel de la clientèle du programme à la date à laquelle les données sont demandées, les données n’indiquent pas les montants des paiements que chaque vétéran recevait à la date de la demande dans le cadre du FUV. De plus, les données n’indiquent pas quels indicateurs du système auraient pu être actifs à la date de la demande, mais ils ont peut-être été supprimés depuis (p. ex. un indicateur de sans-abri peut être actif à la date de la demande de FUV, mais il n’apparaîtra pas dans les données du RPSC s’il a été retiré depuis parce que le vétéran a trouvé un logement permanent).
- Les données sur les paiements du RPSC ne sont pas entièrement exactes, car elles ne reflètent souvent pas les changements dans le montant déboursé lorsque le montant requis était supérieur ou inférieur à celui indiqué au moment de la décision, ou lorsqu’un paiement du FUV est remis à ACC. Pour atténuer les risques, l’équipe d’évaluation a examiné les données financières recueillies par le secteur de programme, avec les chiffres supplémentaires fournis par la Direction générale des finances d’ACC.
- Les registres de décision ne sont disponibles que dans le carnet du vétéran dans le RPSC et les membres de la famille qui présentent une demande dans le cadre du FUV sont liés au registre de décision du vétéran. Les demandes de données ne renvoient que des renseignements pour le vétéran, peu importe qui a reçu les fonds dans le cadre du FUV. Par conséquent, il n’est pas possible de déterminer avec exactitude s’il s’agit du vétéran, du conjoint, d’un enfant ou d’un survivant qui a présenté une demande de soutien du FUV.
- L’utilisation de registres de décision liés uniquement au vétéran rend également difficile la détermination du nombre de demandes par vétéran. Dans certains cas où les données montrent qu’un vétéran a présenté plusieurs demandes, ce dernier a peut-être présenté une demande alors qu’une autre a été présentée par un conjoint, un enfant ou un survivant.
- À l’étape initiale du travail sur le terrain de l’évaluation, l’équipe d’évaluation a consulté divers secteurs de l’organisation afin d’acquérir une compréhension approfondie du FUV et de la façon dont le programme est administré. Les restrictions imposées à mi-parcours en raison de la pandémie de COVID-19 ont eu une incidence sur la capacité de l’équipe d’évaluation de mener des entrevues et d’effectuer une observation sur place du traitement et du paiement des demandes de soutien du FUV. À titre de stratégie d’atténuation, on a mené un sondage auprès des employés de première ligne pour tirer parti de l’information recueillie lors des premières entrevues.
- Les bénéficiaires du FUV n’ont pas été contactés dans le cadre de l’évaluation. Toutefois, les résultats des entrevues menées auprès des bénéficiaires du FUV par l’Unité des renseignements opérationnels d’ACC et de l’analyse subséquente ont été examinés dans le cadre de l’évaluation.
- L’équipe d’évaluation n’a pas évalué complètement d’autres mesures d’intervention dont pourraient disposer les vétérans en crise. Un sondage mené auprès du personnel de première ligne a permis de cerner de nombreuses ressources fédérales, provinciales et communautaires qui peuvent aider les vétérans en situation de crise, selon leurs besoins. Voir à l’annexe C la liste des ressources que le personnel de première ligne d’ACC a identifiées dans le sondage auprès des décideurs.