Le FUV a été mis en œuvre avec un financement approuvé pour trois exercices (de 2018 2019 à 2020-2021). Pour avoir accès au financement continu du FUV, le ministre des Anciens Combattants devait retourner aux organismes centraux en 2020 2021 pour leur donner de l’information sur la nécessité du programme et son niveau de financement continu; le rendement, l’utilisation et les résultats du programme au cours des trois premières années; et une gouvernance renforcée fondée sur l’expérience acquise au cours des trois premières années du programme.
Compte tenu des risques et des besoins, il a été déterminé que le FUV tirerait profit d’une évaluation. Mentionnée initialement dans le Plan de vérification axé sur les risques 2018-2023 d’Anciens Combattants Canada, l’évaluation a été menée conformément à la Politique sur les résultats du Conseil du Trésor du Canada.
2.1 Portée et questions de l’évaluation
L’évaluation a été menée entre février et octobre 2020. Elle portait principalement sur la période du 1er avril 2018 au 30 août 2020.
L’objectif de l’évaluation consistait à juger de la pertinence, du rendement, de l’efficacité, de l’économie et de l’efficience du FUV. Les résultats de l’évaluation serviront à appuyer la prise de décisions, la planification et la mise en œuvre d’initiatives ministérielles futures pour le programme. Les résultats de l’évaluation serviront également à déterminer la nécessité d’un financement continu du programme.
Les discussions préliminaires, l’examen des documents et l’analyse des données ont permis de cerner les secteurs de risque potentiels du programme et de déterminer les secteurs prioritaires et ciblés pour la présente évaluation. Une fois l’examen initial terminé, des questions d’évaluation ont été élaborées pour aider à évaluer la pertinence, le rendement, l’efficience et l’économie du programme, ainsi que son efficacité, afin d’atteindre l’objectif de l’évaluation. Le tableau 1 ci-dessous contient une liste de questions d’évaluation qui mettent en évidence les principaux champs d’enquête. Pour plus de détails et la méthodologie, voir l’annexe A – Matrice d’évaluation.
Tableau 1 : Questions de l’évaluation
Dans quelle mesure le programme continue-t-il de répondre à un besoin démontrable, à l’heure actuelle et à l’avenir? (Pertinence)
Dans quelle mesure le programme est-il conforme aux priorités du gouvernement du Canada ainsi qu’aux rôles et responsabilités du gouvernement fédéral? (Pertinence)
Dans quelle mesure le programme répond-il aux besoins des bénéficiaires et des publics cibles? (Pertinence)
Des processus sont-ils en place pour veiller à ce que l’administration du programme soit conforme aux directives ministérielles? (Rendement)
Dans quelle mesure le programme a-t-il atteint ses résultats? (Rendement)
- Immédiats
- Intermédiaires
- Finaux
Y a-t-il des possibilités d’améliorer l’efficience et l’économie du programme ou des façons d’améliorer l’efficacité du programme? (Efficience/économie/efficacité)
Le programme a-t-il des effets imprévus (positifs ou négatifs)? (Efficience/économie/efficacité)
2.2 Multiples sources de données
Des sources de données multiples ont servi à étayer les constatations de l’évaluation. Les méthodes utilisées pour appuyer ces sources de données sont présentées dans le tableau 2.
| Méthodologie | Sources |
|---|---|
| Examen de la documentation ministérielle et de recherches secondaires | On a examiné les documents et les renseignements ministériels afin de comprendre les objectifs et l’intention du programme, les autorisations et exigences, sa complexité, le contexte et les principaux secteurs d’intérêt. Les documents comprenaient des documents de planification ministériels, des documents de base (décrets, modalités, etc.), des politiques, des lettres de mandat, des processus opérationnels, des comptes rendus de décisions, des documents stratégiques, des rapports sur le rendement, des documents de recherche, des résultats de sondages et de la correspondance. |
| Examen de documents non ministériels | Divers documents ne provenant pas du Ministère ont été examinés, notamment des rapports parlementaires, des discours du budget, des plans budgétaires et des discours du Trône. |
| Entrevues | On a mené des entrevues auprès du personnel d’ACC dans les domaines suivants : politique sur les programmes, politique stratégique, opérations en région, gestion de programmes (prestation de services), ainsi que d’autres experts en la matière du Ministère, y compris des membres de la haute direction. |
| Analyse statistique | L’analyse statistique comprenait un examen des faits et des chiffres d’ACC, un examen des données sur les clients stockées dans le Réseau de prestation des services aux clients (RPSC) d’ACC et une analyse des données financières et opérationnelles recueillies par la Direction générale des finances d’ACC et le secteur de programme. |
| Examen de dossiers | On a examiné certains dossiers pour mieux évaluer le rendement et l’efficacité du FUV. Toutes les demandes de soutien du FUV pour avril, mai et juin 2020 (405 demandes) ont été examinées afin de déterminer dans quelle mesure le programme était efficace pour fournir de l’aide pendant les trois premiers mois de la pandémie de COVID-19 (déclarée urgence de santé publique dans toutes les provinces). L’équipe d’évaluation a également examiné d’autres dossiers pour déterminer si les membres de la famille utilisent le FUV et si le FUV encourage les vétérans à communiquer avec le Ministère pour la première fois. |
| Sondage | Un sondage a été distribué à tous les décideurs de première ligne (agents des services aux vétérans, gestionnaires de cas et gestionnaires d’équipe des services aux vétérans). La rétroaction des bénéficiaires a servi de sources de données. Le sondage a été rempli par 286 membres du personnel de première ligne (sur les 715 personnes contactées, pour un taux de réponse de 40 %), ce qui donne un niveau de confiance de 95 % +/- 5 %. Voir les questions du sondage à l’annexe B. |
2.3 Facteurs à considérer et limites
- Le FUV est un avantage relativement nouveau mis en œuvre en avril 2018. Les données de référence ont été recueillies, mais il est encore tôt dans le cycle de vie du programme, ce qui limite l’analyse des tendances d’une année à l’autre.
- Le Réseau de prestation des services aux clients (RPSC) d’ACC a limité la capacité de l’équipe d’évaluation à accéder aux données historiques. Bien que le RPSC puisse fournir un portrait ponctuel de la clientèle du programme à la date à laquelle les données sont demandées, les données n’indiquent pas les montants des paiements que chaque vétéran recevait à la date de la demande dans le cadre du FUV. De plus, les données n’indiquent pas quels indicateurs du système auraient pu être actifs à la date de la demande, mais ils ont peut-être été supprimés depuis (p. ex. un indicateur de sans-abri peut être actif à la date de la demande de FUV, mais il n’apparaîtra pas dans les données du RPSC s’il a été retiré depuis parce que le vétéran a trouvé un logement permanent).
- Les données sur les paiements du RPSC ne sont pas entièrement exactes, car elles ne reflètent souvent pas les changements dans le montant déboursé lorsque le montant requis était supérieur ou inférieur à celui indiqué au moment de la décision, ou lorsqu’un paiement du FUV est remis à ACC. Pour atténuer les risques, l’équipe d’évaluation a examiné les données financières recueillies par le secteur de programme, avec les chiffres supplémentaires fournis par la Direction générale des finances d’ACC.
- Les registres de décision ne sont disponibles que dans le carnet du vétéran dans le RPSC et les membres de la famille qui présentent une demande dans le cadre du FUV sont liés au registre de décision du vétéran. Les demandes de données ne renvoient que des renseignements pour le vétéran, peu importe qui a reçu les fonds dans le cadre du FUV. Par conséquent, il n’est pas possible de déterminer avec exactitude s’il s’agit du vétéran, du conjoint, d’un enfant ou d’un survivant qui a présenté une demande de soutien du FUV.
- L’utilisation de registres de décision liés uniquement au vétéran rend également difficile la détermination du nombre de demandes par vétéran. Dans certains cas où les données montrent qu’un vétéran a présenté plusieurs demandes, ce dernier a peut-être présenté une demande alors qu’une autre a été présentée par un conjoint, un enfant ou un survivant.
- À l’étape initiale du travail sur le terrain de l’évaluation, l’équipe d’évaluation a consulté divers secteurs de l’organisation afin d’acquérir une compréhension approfondie du FUV et de la façon dont le programme est administré. Les restrictions imposées à mi-parcours en raison de la pandémie de COVID-19 ont eu une incidence sur la capacité de l’équipe d’évaluation de mener des entrevues et d’effectuer une observation sur place du traitement et du paiement des demandes de soutien du FUV. À titre de stratégie d’atténuation, on a mené un sondage auprès des employés de première ligne pour tirer parti de l’information recueillie lors des premières entrevues.
- Les bénéficiaires du FUV n’ont pas été contactés dans le cadre de l’évaluation. Toutefois, les résultats des entrevues menées auprès des bénéficiaires du FUV par l’Unité des renseignements opérationnels d’ACC et de l’analyse subséquente ont été examinés dans le cadre de l’évaluation.
- L’équipe d’évaluation n’a pas évalué complètement d’autres mesures d’intervention dont pourraient disposer les vétérans en crise. Un sondage mené auprès du personnel de première ligne a permis de cerner de nombreuses ressources fédérales, provinciales et communautaires qui peuvent aider les vétérans en situation de crise, selon leurs besoins. Voir à l’annexe C la liste des ressources que le personnel de première ligne d’ACC a identifiées dans le sondage auprès des décideurs.