Le Fonds a mis en place un profil d’information sur le rendement avec des résultats énoncés. Les renseignements à l’appui des indicateurs de rendement et des extrants sont communiqués dans une certaine mesure. Cependant, il existe des possibilités d’améliorer la mesure du rendement du Fonds.
Un profil d’information sur le rendement (PIR) est un document qui détermine les renseignements sur le rendement prévus pour chaque programme dans le répertoire des programmes du Ministère. Chaque PIR décrit les extrants et les résultats du programme, ainsi que les indicateurs de rendement, les cibles, les sources de données et les méthodologies connexes. L’Unité de planification intégrée et de rendement du Ministère est responsable du suivi et de la supervision des PIR, tandis que les responsables des programmes d’ACC sont chargés d’établir, de mettre en œuvre et de tenir à jour les renseignements des PIR à l’appui de leurs programmes. Des mises à jour de la situation par rapport aux PIR individuels sont périodiquement présentées au Comité de mesure et d’évaluation du rendement (CMER) d’ACC.
Le Fonds pour le bien-être des vétérans et de leur famille partage un PIR avec le Fonds de recherche et le Centre d’excellence sur le trouble de stress post-traumatique et les états de santé mentale connexes, dans le cadre du PIR Recherche et innovation. La version la plus récente du PIR Recherche et innovation date de 2021. Des résultats supplémentaires et des indicateurs de rendement connexes ont été ajoutés à l’appui du suivi des répercussions du budget de 2021. Ces renseignements devraient être disponibles pour 2024.
Dans l’ensemble, il y avait un nombre relativement faible de projets achevés (34 % de tous les projets financés, soit 35 sur 102) disponibles aux fins d’examen pendant la portée de l’évaluation. Avec un nombre limité de projets considérés comme achevés, dont la plupart proviennent des deux premières séries de demandes, il est difficile de faire des déclarations générales sur le succès du Fonds. Le Fonds a réussi à fournir un financement à de nombreuses organisations ciblant une variété de domaines thématiques des vétérans et du bien-être, tels que l’itinérance, la santé mentale, l’emploi et les vétérans autochtones.
4.1 Atteinte des résultats attendus
Les résultats pour les principaux résultats et indicateurs ont été documentés pour la période de l’évaluation. Les résultats ont été publiés dans le PIR; cependant, l’équipe d’évaluation n’a pas été en mesure de vérifier/localiser des renseignements ou des sources à l’appui pour certaines mesures du rendement. Au cours de la période couverte par la portée de l’évaluation, il y a eu un changement important du personnel du Programme ainsi que des changements continus apportés aux modèles et aux processus de demande et de production de rapports. L’équipe d’évaluation a rencontré des difficultés pour confirmer les données de mesure du rendement à l’appui en raison de ces changements, combinés à des pièces justificatives incohérentes. Un examen du PIR ainsi que des entrevues avec le secteur de programme ont révélé que les résultats et les indicateurs de rendement à l’appui fournissent des renseignements minimaux qui aident à la gestion du Fonds. Le succès du Fonds est actuellement lié au succès des projets individuels, ce qui pose également des problèmes de mesure du rendement. Ce sujet est développé plus en détail dans la section suivante du rapport.
4.1.1 Efficacité du Programme
Le Fonds vise à fournir un soutien financier aux organisations qui entreprennent des initiatives novatrices afin d’améliorer le bien-être des vétérans et de leur famille.
L’évaluation a mesuré les progrès vers la réalisation des résultats énoncés suivants du Fonds :
Résultat immédiat no 1 – « Engagement accru des organisations dans des projets visant à améliorer le bien-être des vétérans et de leur famille »
L’indicateur de rendement défini pour mesurer ce résultat est « l’augmentation en pourcentage des nouvelles demandes d’une année à l’autre ». Cet indicateur mesure l’évolution de la notoriété du Fonds en mesurant les nouvelles demandes. Il n’existe aucune mesure de référence pour savoir combien de projets axés sur le bien-être des vétérans et de leur famille étaient en cours au Canada avant le lancement du Fonds, ce qui rend difficile la mesure de l’efficacité du Programme à accroître les projets visant le bien-être des vétérans et de leur famille. Cependant, ACC était au courant de plus de 80 demandes de financement adressées au Ministère sur une période de trois ans (de 2012 à 2015). Le nombre de demandes reçues chaque année dépasse ce total sur trois ans.
Comme le montre le tableau 6, entre 42 % et 54 % des demandeurs de financement par an sont des demandeurs pour la première fois. Ce chiffre dépasse l’objectif initial de 10 % indiqué dans les PIR. L’engagement continu de nouvelles organisations indique que le Ministère a réussi à faire connaître le Fonds et qu’un objectif plus élevé serait approprié.
Tableau 6 : Nombre et pourcentage d’organisations présentant une première demande
| 2018-2019 | 2019-2020 | 2020-2021 | 2021-2022 | 2022-2023 | |
|---|---|---|---|---|---|
| Nombre total de demandes annuelles reçues | 155 | 114 | 142 | 98 | 118 |
| Nombre de nouveaux demandeurs | S. O. | 44 % (50) | 54 % (77) | 42 % (42) | 43 % (51) |
Remarque : En raison de la méthodologie manuelle utilisée pour calculer le nombre de demandes et de nouveaux demandeurs, l’équipe d’évaluation a noté des divergences dans les chiffres rapportés.
Un autre facteur à prendre en compte au cours de la mesure de l’efficacité de l’engagement est le nombre de nouvelles organisations demandeuses ayant obtenu un financement, ce qui fournirait des renseignements supplémentaires sur le nombre de projets lancés pour soutenir le bien-être des vétérans et de leur famille.
L’équipe d’évaluation indique que si les niveaux de budget annuel ne permettent pas un pourcentage raisonnable de projets approuvés, provenant de diverses organisations, il y a un risque que les futurs niveaux d’appels de demandes soient touchés (c.-à-d. il se peut que les organisations ne voient pas l’intérêt de remplir une demande après ne pas avoir réussi à obtenir un financement pendant plusieurs années). Le taux d’approbation moyen des projets financés est d’environ 20 %. Le budget du Fonds sera décrit plus en détail à la section 4.2, Efficacité et économie du Programme.
Bien que n’indiquant pas si une organisation soumet une demande, les visites sur la page Web du Fonds ont été régulières avec environ 9 000 à 10 000 visites par an. La page Web fournit des renseignements généraux sur le Fonds ainsi que le lien vers la demande en ligne. Comme on peut le voir dans le tableau 7, la première année du Fonds a reçu beaucoup plus de visites (plus de 30 000), ce qui est compréhensible, car on s’attendrait à un intérêt initial pour en savoir plus sur le Fonds. L’évaluation conclut que le site Web d’ACC a constitué un outil efficace pour faire connaître le Programme.
Tableau 7 : Vues de la page d’accueil du site Web du Fonds
| Exercice | Anglais | Français | Vues totales |
|---|---|---|---|
| 2018-2019 | 27 240 | 4 151 | 31 391 |
| 2019-2020 | 8 044 | 1 105 | 9 149 |
| 2020-2021 | 9 177 | 1 157 | 10 334 |
| 2021-2022 | 8 194 | 1 142 | 9 336 |
Au cours de la période couverte par la portée de l’évaluation, de nombreux messages ont été publiés sur la page Facebook et Twitter du Ministère concernant les cycles de demande ouverts pour le Fonds, ainsi que des messages sur des événements/annonces de projets financés. Il y a eu une présence limitée sur la chaîne YouTube d’ACC, et le compte Instagram du Ministère est réservé aux publications commémoratives. Le Programme a l’occasion d’examiner comment de nouveaux publics pourraient être atteints plus efficacement et économiquement à l’aide des médias sociaux, ainsi que de mettre en évidence les projets financés afin d’améliorer encore la visibilité. À l’heure actuelle, les projets qui ont reçu du financement sont souvent mis en évidence dans les reportages médiatiques, que la Direction de la recherche a commencé à suivre en 2022. De plus, ACC a lancé une initiative pour mettre en lumière les histoires de vétérans sur le site Web du Ministère ainsi que sur Salut!. Bien qu’ils ne fassent pas l’objet d’un suivi officiel, les projets financés par le Fonds pour le bien-être des vétérans et de leur famille ou les organisations qui ont reçu un financement font partie de ces histoires personnelles, démontrant l’implication évidente des vétérans dans ces organisations. Malheureusement, en raison du large éventail de sujets et d’organisations concernés, l’équipe d’évaluation n’a pas été en mesure d’attribuer l’incidence du Fonds à la portée des histoires personnelles de vétérans et à l’article de Salut!. Il est possible d’examiner plus en détail comment suivre de manière plus officielle les histoires d’incidence personnelle mettant en évidence des projets financés par le Fonds pour le bien-être des vétérans et de la famille.
Résultat immédiat no 2 – « Les organisations admissibles ont accès au Fonds »
Le résultat relatif à l’accès au Fonds est mesuré par le montant du budget de base annuel dépensé. Cette mesure continue d’être respectée chaque année, car le Fonds a continuellement dépensé la totalité de son allocation budgétaire et a reçu des fonds supplémentaires de 2019-2020 à au moins 2023-2024 (fin du financement temporaire du budget de 2021). Bien que le suivi du budget soit une activité essentielle, cet indicateur n’apporte pas beaucoup de valeur pour mesurer le succès de l’accès au Fonds. En réalité, selon le nombre de demandes approuvées par rapport au nombre de demandes soumises annuellement, l’indicateur de rendement documenté continuera d’être atteint. Une meilleure mesure pourrait être le pourcentage de demandes qualifiées dont le financement est approuvé.
L’approbation du financement est principalement liée à la disponibilité du budget annuel. L’équipe d’évaluation fait remarquer qu’il y a eu un écart dans la durée des projets financés. Par exemple, au cours de la première année de financement (2018-2019), les projets ont été principalement financés pendant un an (52 %), et en 2021-2022, la majorité des projets ont été financés pendant trois ans (67 %), et aucun projet n’a été approuvé pour un financement au-delà trois ansFootnote8. Le graphique 1 met en évidence la variabilité de la durée des projets financés par exercice d’approbation.
Graphique 1 : Nombre de projets par durée de projet (années financées) par exercice d’approbation
Graphique 1 : Nombre de projets par durée de projet (années financées) par exercice d’approbation
| Nombre de projets | durée de projet (années financées) |
|---|---|
| 2018-2019 | |
| 11 | un an |
| 2 | deux ans |
| 3 | trois ans |
| 1 | quartre ans |
| 4 | cinq ans |
| 2019-2020 | |
| 9 | un an |
| 2 | deux ans |
| 6 | trois ans |
| 1 | quartre ans |
| 4 | cinq ans |
| 2020-2021 | |
| 6 | un an |
| 3 | deux ans |
| 5 | trois ans |
| 2 | quartre ans |
| 7 | cinq ans |
| 2021-2022 | |
| 4 | un an |
| 8 | deux ans |
| 24 | trois ans |
| s. o. | quartre ans |
| s. o. | cinq ans |
Pour ce qui est de l’accès rapide aux fonds, la Vérification du Fonds pour le bien-être des vétérans et de leur famille de 2021 a révélé que les paiements aux bénéficiaires du Fonds ont été effectués en temps opportun. Les organisations bénéficiaires interrogées par l’équipe d’évaluation ont convenu que les paiements étaient effectués en temps opportun, une fois les accords amorcés, mais le délai pour les décisions/annonces de financement a parfois eu une incidence sur leur capacité à lancer un projet. Il existe un risque que les organisations bénéficiaires ne reçoivent pas le financement nécessaire à temps pour planifier et s’assurer que le personnel adéquat est en place pour exécuter efficacement les activités de projet prévues.
Résultat intermédiaire – « Projets/initiatives à l’appui du bien-être des vétérans et de leur famille »
L’indicateur de rendement lié à cette mesure des résultats est le pourcentage de bénéficiaires de financement qui ont atteint les résultats de leurs projets prévus avec une cible de 80 %. Les résultats du PIR montrent que presque tous les projets ont atteint les résultats prévus (94 % à 100 % de 2019 à 2021), ce qui indique apparemment que le Fonds a soutenu efficacement des projets visant le bien-être des vétérans et de leur famille. Cependant, les résultats de rendement tels que présentés dans le PIR n’étaient pas liés à des sources d’information ou à des documents d’analyse. Un examen des documents et des entrevues avec le personnel du Fonds à la Direction de la recherche d’ACC soulignent une approche incohérente et informelle pour mesurer l’atteinte des résultats des projets. Au moment de l’évaluation, il n’y avait pas de stratégie précise pour mesurer et documenter l’atteinte des résultats prévus pour les projets.
L’évaluation de la réalisation des résultats prévus du projet a représenté un défi pour l’équipe d’évaluation. En règle générale, un résultat est défini comme un changement ou une conséquence attribuable aux activités et aux extrantsFootnote9 menés par une initiative ou un programme. Les résultats peuvent être immédiats/à court terme, à moyen ou à plus long terme. Les projets financés par l’intermédiaire du Fonds pour le bien-être des vétérans et de leur famille ont duré d’un an à cinq ans et avaient divers degrés d’objectifs et de résultats définis dans la documentation du projet.
De plus, l’équipe d’évaluation a relevé les défis suivants lors de l’évaluation de la réalisation des résultats de projet :
- Dans certains cas, le résultat escompté du projet était un extrant tangible, qui était une mesure plus simple, mais qui n’est pas nécessairement un résultat (p. ex. l’élaboration d’un guide décrivant les services aux vétérans est un extrant, mais il ne mène à aucun résultat à moins que le guide ne soit utilisé et que le bien-être du vétéran ou de la famille ne soit amélioré).
- La fin d’un accord de financement de projet (lorsqu’un projet est considéré comme terminé par ACC) ne signifie pas toujours que le projet de l’organisation est terminé, et la disponibilité de données quantifiables sur le rendement peut ne pas encore être disponible.
- L’interprétation du « succès » des projets peut être subjective. En raison de la nature des projets innovants (p. ex. mettre à l’essai de nouveaux services thérapeutiques, mener des recherches), le succès n’est pas toujours une mesure linéaire, il peut y avoir quelques itérations ou changements, voire des échecs.
L’examen des dossiers de projet dans le cadre de l’évaluation a révélé divers degrés de résultats de projet indiqués dans les demandes ainsi que divers renseignements à l’appui disponibles pour mesurer l’atteinte et l’efficacité des résultats escomptés du projet. L’équipe d’évaluation a constaté que la majorité (86 %) des dossiers de projet achevés contenaient un certain degré d’information pour appuyer la mesure de l’atteinte des résultats escomptés du projet. Dans quelques dossiers de projet, aucune preuve n’était disponible pour l’équipe d’évaluation, ou la preuve n’était pas mesurable.
Les renseignements sur les résultats sont présentés dans un champ de paragraphe ouvert dans les modèles de demande et de rapport final. La spécificité de ce qui est requis pour justifier les résultats escomptés prévus (c.-à-d. le degré d’information à l’appui requis) n’est pas définie et, par conséquent, le niveau d’information varie selon le projet. L’examen des dossiers a mis en évidence que les objectifs du projet et les résultats prévus n’étaient pas présentés de façon uniforme au début du projet. Il semblerait que les organisations demandeuses aient parfois une interprétation différente des « résultats prévus ». Par exemple, la création d’un extrant (p. ex. un guide de référence) étant définie comme le résultat prévu, par opposition à la détermination du résultat attendu lié à la création d’un extrant (p. ex. le changement souhaité de comportement ou d’actions qui se produirait à la suite de la référence guide en cours de création).
Remarque : Le formulaire de demande du Fonds 2022-2023 ne comportait pas de question précise demandant les résultats prévus des projets. La raison de ce changement était liée à l’indication ci-dessus (les demandeurs n’étaient pas familiers avec la terminologie et le niveau d’information soumis variait). L’équipe chargée de l’évaluation constate que ce manque de renseignements entraînera très probablement des difficultés supplémentaires pour mesurer le succès des projets financés et fournir des renseignements complémentaires au PIR (à moins que ce qui est mesuré par le PIR ne soit modifié à la suite d’un examen potentiel de l’intention/des objectifs du Fonds). En guise de stratégie d’atténuation, des mesures de résultats pourraient être intégrées dans les accords de financement des projets.
Des entrevues individuelles avec des représentants d’organisations ont fourni à l’équipe d’évaluation un niveau supplémentaire d’information qui n’est pas toujours facile à saisir sous forme de texte dans un modèle de rapport. L’équipe d’évaluation reconnaît que ces renseignements peuvent être connus ou plus facilement interprétés par le personnel du Fonds, qui connaît mieux les projets individuels et les antécédents de l’organisation, mais ces renseignements n’ont pas toujours été facilement interprétés par l’équipe sur la base de la documentation disponible sur le réseau local au moment de l’évaluation.
Il existe une possibilité de saisir et d’utiliser davantage de renseignements qualitatifs, en conjonction avec l’auto déclaration du projet pour éclairer la mesure du rendement et la production de rapports sur la gestion du Programme. Les rapports de projet seront plus étayés dans la section 4.1.4, Possibilités d’améliorer l’efficacité.
De plus, il y a une possibilité de mener des études en vue de déterminer comment/si les organisations recueillent de la rétroaction des vétérans qui pourrait appuyer la mesure du résultat intermédiaire. Selon les renseignements que l’équipe d’évaluation a étudiés, il n’y a aucun mécanisme en place qui servirait au suivi de la rétroaction reçue des organisations ni à la communication de tels renseignements à ACC. Une telle démarche serait utile pour mesurer l’incidence sur les vétérans et leurs familles.
Des directives améliorées sur la mesure des résultats dans le dossier de demande et/ou un engagement accru entre le personnel du Fonds et les bénéficiaires pourraient aider à :
- clarifier les résultats attendus du projet;
- définir des indicateurs mesurables devant être disponibles pendant la durée de la portée du projet;
- décrire le niveau d’information à l’appui attendu dans les rapports de projet;
- conduire à l’amélioration des résultats du projet.
D’après le niveau d’information disponible dans les dossiers de projet à ce jour, l’équipe d’évaluation n’est pas en mesure de commenter l’efficacité des projets individuels sur le bien-être des participants.
Résultat ultime – « Les vétérans sont bien physiquement et mentalement »
L’indicateur de rendement pour le résultat ultime est le pourcentage de vétérans qui déclarent que leur santé est très bonne ou excellente. La source de données pour cet indicateur est celle des personnes qui déclarent leur santé comme étant excellente ou très bonne dans l’Enquête sur la vie après le service militaire. Étant donné que cette enquête n’a pas eu lieu depuis un certain nombre d’années, l’état de santé autodéclaré du Sondage national auprès des clients d’ACC (clients vétérans) et de l’Enquête sur la santé dans les collectivités canadiennes (population canadienne) est également utilisé pour mesurer ce résultat. Le tableau 8 met en évidence le pourcentage de vétérans déclarant que leur santé est très bonne ou excellente.
Tableau 8 : Pourcentage de vétérans qui déclarent que leur santé est très bonne/excellente
| Cible | 2018-2019 | 2019-2020 | 2020-2021 | 2021-2022 |
|---|---|---|---|---|
| 50 % | 46 % | 39 % | 39 % | 21 % |
Source : Sondage national auprès des clients d’ACC
Mesurer l’incidence sur le bien-être des vétérans du financement alloué par le Fonds est difficile, car il s’agit d’un résultat à long terme et le Fonds est un programme relativement nouveau. De plus, les bénéficiaires/participants aux programmes ou services financés ne sont pas tenus d’être des clients d’ACC.
Malgré les déclarations ci-dessus, en théorie, le Fonds devrait contribuer au bien-être des vétérans en finançant des organisations qui s’efforcent de soutenir les vétérans par le biais de programmes et de services directs, ou par le biais de recherches et d’initiatives novatrices visant à faire progresser les connaissances et la compréhension sur la santé et le bien-être des vétérans. Cependant, comme le Fonds ne dessert pas directement les vétérans et que les organisations recueillent divers niveaux de renseignements sur la participation/satisfaction pour évaluer l’efficacité de leurs initiatives, il n’existe aucune source directe d’information sur le rendement pour mesurer ce résultat.
4.1.1.1 Possibilités d’améliorer l’efficacité
Le Fonds continue d’apporter des ajustements pour améliorer la rigueur du processus d’évaluation des demandes et du suivi des projets en cours, ainsi que pour documenter les données à l’appui.
Depuis sa création en 2018, le Fonds a continué de croître et de s’adapter. L’approche d’évaluation des demandes en est un bon exemple. Le processus est passé :
- d’un examen effectué presque entièrement par le personnel du Fonds et présenté à un comité d’examen de la gestion pour formuler des recommandations,
- au Fonds à la recherche de bénévoles au sein du groupe Politiques et recherche pour examiner les demandes,
- à faire participer des experts en la matière en fonction du domaine.
Chacune de ces approches a permis de tirer des enseignements et le Fonds a continué d’ajuster les processus et les outils en conséquence. À la suite de ces modifications continuelles du formulaire de demande, l’infrastructure informatique de soutien est actuellement en cours de reconstruction.
La Vérification du Fonds pour le bien-être des vétérans et de leur famille effectuée par ACC en 2021 a révélé que le processus d’évaluation avait été précipité, avec peu de temps accordé aux entrevues avec les demandeurs et à la consultation d’experts en la matière. Dans le processus de demande 2022-2023, des experts internes en la matière liés aux domaines thématiques principaux ont été officiellement impliqués dans l’évaluation des demandesFootnote10. Au total, 118 candidatures et environ 20 ressources d’ACC ont participé à l’examen et à l’évaluation/la formulation de commentaires sur les demandes. Sur les 118 demandes de cette série, 21 projets ont été recommandés pour approbation. Il n’y a pas de norme de service établie pour évaluer les demandes et prendre des décisions de financement.
En réponse à une recommandation de la vérification de 2021, le Fonds a également amélioré les directives de suivi des projets et élaboré un processus de suivi renforcé pour les projets considérés comme à plus haut risque. Les principales activités d’atténuation constatées sont l’examen des médias, la demande de renseignements supplémentaires et la réalisation de vérifications des bénéficiaires. Une grande partie de la structure requise est en place pour soutenir le suivi du projet, mais la mise en œuvre des activités a été limitée à ce jour (remarque : la COVID-19 a eu des effets continus sur la capacité de visiter en personne les bénéficiaires entre mars 2020 et l’automne 2022).
Il est possible d’améliorer le protocole de production de rapports pour les projets et la relation globale avec les organisations bénéficiaires du financement.
Dans le cadre des accords de financement, les organisations bénéficiaires doivent fournir à ACC des rapports d’étape ainsi qu’un rapport final décrivant les détails de la réalisation des activités et des résultats du projet. On a constaté que tous les projets achevés avaient un rapport de projet final versé au dossier. Par ailleurs, ACC exige un rapport complet afin d’amorcer un paiement, qu’il s’agisse d’un rapport d’étape pour un versement annuel ou d’un rapport final pour un paiement final.
Comme mentionné, le niveau d’information inclus dans les rapports individuels des projets varie. Dans certaines situations, les organisations bénéficiaires ont communiqué la participation réelle des participants et/ou leurs commentaires à l’aide de rapports de projet, mais cette information n’est pas systématiquement incluse, et tous les projets n’auraient pas de participants comme mesure (p. ex. les projets de recherche). Dans certains cas, les problèmes de confidentialité peuvent avoir une incidence sur le niveau de renseignements communiqués à ACC (c.-à-d. histoires/détails personnels). La communication du succès ou de l’avancement d’un projet peut également se faire sous une forme moins quantifiable, par exemple en échangeant verbalement les commentaires généraux des participants ou les réussites ou en observant l’espace physique/les programmes de l’organisation. L’équipe d’évaluation fait remarquer que les rencontres individuelles avec les organisations bénéficiaires aux fins de l’évaluation ont fourni un avantage précieux pour mieux comprendre l’essence des projets individuels et leur influence sur la communauté des vétérans. Ce niveau d’impact personnel n’est pas toujours facilement perceptible à la lecture d’un rapport. Le personnel du Fonds a la possibilité d’intégrer davantage de discussions individuelles (en personne ou virtuellement) avec les bénéficiaires de financement afin d’améliorer le degré de renseignements qualitatifs recueillis à l’appui de la mesure de la réussite du projet.
Un certain nombre de représentants d’organisations bénéficiaires interrogés ont déclaré qu’ils disposaient de renseignements supplémentaires pouvant être échangés avec ACC au sujet de leurs projets, qui, de leur point de vue, ne semblaient pas correspondre aux sections prédéfinies du modèle. Les entrevues avec le personnel du Fonds ont indiqué que, dans certains cas, ils échangent leurs commentaires avec les organisations afin de clarifier les renseignements de notification ou de demander des renseignements supplémentaires. Il est possible d’améliorer la communication avec les bénéficiaires de financement concernant le niveau attendu d’information dans les rapports.
Comme indiqué à la section 4.1.1, Efficacité du Programme, les modèles de rapport de projet sont principalement de style paragraphe ouvert, ce qui offre aux bénéficiaires la possibilité de communiquer l’information. Cependant, il y a des situations où il serait avantageux d’avoir plus de directives concernant les renseignements ciblés sur la mesure du rendement pour appuyer la mesure de la façon dont les projets individuels contribuent au succès global du Fonds. Par exemple, on pourrait demander expressément des renseignements tels que des données sur la participation/l’assiduité (vétérans et familles), des citations/histoires ou photos d’impact personnel, tout engagement/partenariat avec des intervenants/organisations communautaires et des enseignements tirés. Ces renseignements ne sont actuellement pas demandés spécifiquement, mais peuvent être inclus dans les rapports de projet.
Les commentaires des demandeurs et des bénéficiaires sur le processus de demande ou l’expérience avec le Fonds n’ont pas été officiellement recueillis à ce jour. Comme il s’agit d’un nouveau programme, recevoir les commentaires des utilisateurs serait une mesure utile pour évaluer les domaines potentiels d’amélioration à mesure que le Fonds continue de croître et de mûrir.
L’équipe d’évaluation fait remarquer qu’il est possible d’améliorer le protocole de production de rapports afin d’optimiser la collecte de données sur le rendement, tout en donnant aux organisations la flexibilité de communiquer les preuves à l’appui jugées importantes de leur point de vue.
4.1.2 Considérations liées à l’analyse comparative entre les sexes plus :
L’analyse comparative entre les sexes plus (ACS Plus) est un processus analytique utilisé pour évaluer comment divers groupes de femmes, d’hommes et de personnes de diverses identités de genre font l’expérience des politiques, programmes et services en fonction de multiples facteurs, notamment la race, l’ethnicité, la religion, l’âge et le handicap mental ou physique. Selon le Secrétariat du Conseil du Trésor (SCT), les effets différentiels sur divers groupes de personnes doivent être pris en compte pour les politiques et les programmesFootnote11. Depuis 2020, le SCT exige que les indicateurs de l’ACS Plus soient intégrés aux PIR.
Grâce au financement dans le cadre du budget de 2021, des résultats ont été ajoutés au PIR du Fonds, notamment le pourcentage du budget annuel consacré à des projets axés sur les femmes et les personnes LGBTQ2+. Un objectif de 20 % des fonds destinés à ces projets a été établi. En 2021-2022 (lorsque la majeure partie du financement temporaire a été engagée), le Fonds rapporte qu’environ 30 % du financement accordé au cours de cet exercice est allé à des projets axés sur les vétéranes ou les vétérans LGBTQ2+. Au cours de la période couverte par l’évaluation, la répartition du financement pour les projets visant des femmes et des personnes LGBTQ2+ est légèrement inférieure à 14 %. D’après les rapports du secteur de programme, la grande majorité des demandes soumises qui se concentrent sur les femmes et/ou les personnes LGBTQ2+ ont reçu un financement.
Le suivi des projets axés sur les vétérans autochtones et leurs familles est plus difficile. De nombreux projets recoupent des thèmes et peuvent relever de multiples domaines d’intérêt (p. ex. la santé mentale et les vétérans autochtones). Entre 2018-2019 et 2021-2022, plus de 625 000 $ ont été accordés à des organisations autochtones par le biais du Fonds, ce qui a permis d’assurer 29 % du financement global demandé pour les demandes axées sur les vétérans autochtones.
Lors de l’examen des dossiers des projets achevés, l’équipe d’évaluation a constaté que peu de projets achevés à ce jour s’adressaient spécifiquement aux femmes (2), aux Autochtones (1) ou aux personnes LGBTQ2+ (0). De nombreuses demandes de projet déclaraient cibler ces populations, mais après un examen plus approfondi par l’équipe d’évaluation, cette dernière a déterminé que les projets n’étaient pas spécifiquement destinés à ces groupesFootnote12.
Pour la série de demandes 2022-2023, le secteur de programme a suivi les demandes soumises selon les domaines thématiques définis. Avant 2022, le suivi était effectué dans une perspective plus large. Continuer à suivre les demandes soumises et les demandes financées par thème, d’une année à l’autre, fournirait des renseignements supplémentaires pour aider à éclairer la mesure du rendement et la prise de décisions concernant les programmes dans une perspective d’ACS Plus.
Au cours de l’exercice 2021-2022, le formulaire de demande de financement a été mis à jour pour inclure des questions demandant comment le projet proposé pourrait soutenir les groupes en quête d’équité (comme les vétéranes, les vétérans LGBTQ2+, les vétérans autochtones et les vétérans sans abri), et comment le projet s’harmonise avec les facteurs à prendre en compte de l’ACS Plus. Les modèles de rapport de projet ont également été mis à jour afin que les organisations puissent expliquer comment leurs projets s’harmonisent avec les facteurs à prendre en compte de l’ACS Plus, ainsi que les demandes de données à l’appui pour les projets liés à l’itinérance. Le niveau d’information recueilli dépend du niveau d’information que les participants/clients individuels sont prêts à échanger.
4.1.3 Effets imprévus
Il y a un risque que certaines organisations comptent sur le financement d’ACC pour que leur projet/programme se poursuive.
Lors des entrevues avec des représentants d’organisations bénéficiaires, l’équipe d’évaluation a constaté que bon nombre d’entre eux démontraient une passion pour aider les vétérans et notaient la façon pertinente dont leurs programmes/services individuels appuient le bien-être des vétérans et de leur famille.
Plusieurs organisations ont reçu du financement à plusieurs reprises et/ou de façon continue au cours de la période visée par l’évaluation. Certaines organisations reçoivent un financement continu depuis 2018-2019. Bien qu’il soit possible de recevoir du financement à plusieurs reprises pour divers projets, certains des bénéficiaires interrogés ont affirmé se fier au financement pour continuer d’offrir leur projet ou programme.
L’examen des dossiers d’évaluation a permis de déterminer que plusieurs projets achevés (43 % ou 15 sur 35) présentaient un risque de dépendance au financement (p. ex. le financement était destiné à un projet qui ne semblait pas de nature limitée ou qui était déjà fourni, le projet identique ou similaire a été financé au cours des années précédentes ou le financement a été utilisé pour les coûts opérationnels courants). Comme mentionné dans la section 3.1, bon nombre des organisations financées sont des organisations à but non lucratif; il y a donc un besoin continu de fonds entrants pour soutenir les programmes et les opérations.
Les modalités du Fonds indiquent clairement que le financement doit être utilisé pour des activités/projets de nature limitée, et que les activités/projets qui « représentent ou établissent un besoin de financement continu ou créent une dépendance » ne sont pas admissibles. Certaines organisations ont créé des programmes bien établis qui desservent les populations vulnérables ou fournissent les services et soutiens nécessaires, ce qui représente un défi. Le soutien financier par l’intermédiaire du Fonds sert dans de nombreux cas à étendre la portée géographique ou à financer une participation accrue aux programmes/services.
Le Fonds offre au Ministère une visibilité et une couverture médiatique. Soutenir financièrement une variété de groupes/d’intervenants de vétérans offre une gamme d’occasions de mettre en lumière de bonnes nouvelles partout au pays.
En 2022-2023, le personnel du Fonds a commencé à suivre les reportages médiatiques mettant en lumière les organisations/projets bénéficiaires. En mars 2023, plus de 60 reportages médiatiques avaient été saisis concernant des projets financés par ACC. L’incidence ou la répartition des messages dans les reportages médiatiques n’est pas spécifiquement saisie, mais le personnel du Fonds indique qu’il utilise ces renseignements comme un mécanisme pour surveiller les projets et cerner les risques potentiels. Comme mentionné dans la section 4.1.1, Efficacité du Programme, il peut être possible d’améliorer le suivi des histoires de réussite des vétérans et des articles de Salut! mettant en évidence les projets/organisations qui ont reçu un financement par le biais du Fonds.
ACC continue de faire des progrès pour améliorer la mobilisation des intervenants et soutenir les organisations de vétérans. Le Fonds fournit un mécanisme pour soutenir financièrement diverses initiatives. Il existe peu de données disponibles pour indiquer l’influence du Fonds, mais les représentants d’organisations bénéficiaires interrogés ont déclaré qu’ils appréciaient le financement. De plus, le personnel d’ACC a indiqué que le Fonds offrait une visibilité positive par le biais d’un programme relativement petit d’Anciens Combattants Canada.
La capacité de financement peut limiter la possibilité de fournir un financement étendu et suffisant aux organisations ainsi qu’aux projets de vétérans afin d’atteindre les résultats prévus.
Le Fonds est limité dans sa capacité à avoir un effet sur plusieurs organisations. En 2024-2025, le Fonds reviendra à son budget de base de trois millions de dollars. Sur la base des fonds déjà engagés dans des projets approuvés (en avril 2022), environ la moitié du budget annuel sera disponible en 2024-2025 pour de nouveaux projets. Les niveaux de financement antérieurs et les montants moyens de financement des projets indiquent que le Fonds pour le bien-être des vétérans et de leur famille ne pourra soutenir que trois à quatre nouveaux projets au cours du prochain exercice.
Environ 40 % (41 sur 102) des projets dont le financement a été approuvé ont reçu moins d’argent que demandé dans leur demande. Des représentants d’organisations bénéficiaires interrogés par l’équipe d’évaluation ont indiqué que le fait de recevoir moins de financement que demandé avait une incidence sur leur capacité à atteindre leurs résultats ou objectifs initiaux. Dans de nombreux cas, ce manque de financement impliquait de réduire les projets ou d’en adapter la portée.
La section 4.2, Efficacité et économie, détaille les défis concernant le budget et la capacité de financement.
4.2 Efficacité et économie du Programme
Le Fonds a fait des progrès pour améliorer la gouvernance et la rigueur du processus d’évaluation des demandes et la fréquence des rapports d’étape. La rigueur accrue ainsi que le nombre croissant de projets suivis nécessitent un niveau de ressources qui ne pourra pas être maintenu si le Fonds revient à ses niveaux de financement liés au personnel de base.
4.2.1 Dans quelle mesure les ressources du Fonds sont-elles utilisées de manière efficace et économique?
À mesure que le Fonds continue de gagner en maturité, le secteur de programme a fait des progrès pour améliorer la gouvernance du Fonds. À la suite de laVérification du Fonds pour le bien-être des vétérans et de leur famille effectuée par ACC en 2021, le Fonds a apporté un certain nombre de changements, notamment : mises à jour du formulaire de demandeFootnote13, modèles d’avancement et de rapport, outil de notation des demandes, création d’un guide de demande ainsi que de processus et de lignes directrices pour les visites potentielles de sites. De plus, on a mis davantage l’accent sur la documentation des renseignements à l’appui pour l’examen de la demande et la prise de décision.
La vérification d’ACC de 2021 a révélé que le Fonds manquait de certains contrôles en ce qui concerne l’examen des déclarations de dépenses des projets de contribution. En outre, elle indique que les demandes de remboursement ont toujours été présentées; cependant, le Ministère n’a pas fait grand-chose pour valider les déclarations de dépenses, prenant souvent les renseignements pour argent comptant. En réponse à la recommandation de vérification connexe, un processus de surveillance des projets à risque élevé a été élaboré. La mise en œuvre de ce processus est nouvelle (février 2022) et l’équipe d’évaluation n’a pas évalué le degré de mise en œuvre de ce processus. Les déclarations de dépenses ne sont pas requises pour les subventions. Les subventions ont constitué la principale méthode de versement des fonds depuis la réalisation de la vérification, car le financement du budget de 2021 ne comprend que des subventions.
Chaque année, ACC reçoit plus de 100 demandes de financement par l’intermédiaire du Fonds pour le bien-être des vétérans et de leur famille. Chaque demande est examinée et classée en fonction de son mérite et évaluée en fonction de critères établis (qui ont évolué au fur et à mesure que le Fonds a mûri et à la suite de la vérification de 2021). La rigueur supplémentaire du processus d’évaluation des demandes ajoute des coûts d’administration supplémentaires au Fonds, y compris des ressources en nature provenant de la réorientation d’experts en la matière d’autres secteurs du Ministère pour une période de deux à quatre semaines.
Lors de la série de demandes 2022-2023, de nombreux secteurs de programme/politique d’ACC ont examiné 118 propositions de projets, et le personnel du Fonds les a notées et classées. Bien que la gouvernance solide du processus de demande comprenne plusieurs examinateurs, elle améliore l’objectivité du processus d’évaluation. Cependant, beaucoup de temps et d’efforts sont consacrés à l’évaluation de chaque projet individuel par rapport à de nombreux critères et à la documentation des justifications à l’appui. Ce temps peut être disproportionné par rapport au montant des fonds pouvant être alloués et au nombre de projets qui peuvent être approuvés chaque année (si les niveaux de financement reviennent au niveau de base, cela pourrait ne représenter que quelques projets dans les années à venir). Bien que la période d’évaluation des demandes s’étende généralement sur une période précise, des efforts importants en ressources s’avèrent nécessaires pour examiner, évaluer et noter les demandes, ainsi que pour déterminer globalement quels projets présenter comme recommandés aux fins d’approbation.
Au fur et à mesure que le Fonds continue d’évoluer et de tirer des enseignements des séries de demandes passées, il peut y avoir des occasions de trouver d’autres domaines pour améliorer l’efficacité et l’économie du processus d’examen des demandes, tout en maintenant une structure de gouvernance solide.
À mesure que de plus en plus de projets sont approuvés et financés pour plusieurs années, il y a un effet d’entraînement sur le suivi de tous les projets en cours et sur la gestion globale du Fonds. Dans le cycle de financement 2021-2022, 36 nouveaux projets ont été ajoutés à la liste des projets. Au cours du même exercice, 11 projets ont été achevés. En janvier 2023, le Fonds avait 67 projets en cours. D’après la durée actuelle des projets et la durée moyenne de financement des projets à ce jour (deux à trois ans), l’équipe d’évaluation estime qu’il y aura encore environ 60 projets qui devront être surveillés à tout moment au cours des prochaines années.
Le secteur de programme compte actuellement quatre employés à temps plein, soit deux analystes nommés pour une période indéterminée, un analyste temporaire et un gestionnaire de programme. L’effort nécessaire pour soutenir chaque série de demandes de plus de 100 demandes et bien surveiller 60 projets en cours ou plus dépasse probablement la capacité de l’effectif permanent actuel de deux analystes.
Les frais d’administration du Fonds ne sont pas actuellement comptabilisés comme une dépense distincte. Lorsque le Fonds a été intégré au PIR Recherche et innovation plus vaste en 2020-2021, les frais d’administration du Fonds ont également été inclus dans le cadre de ce programme-cadre plus vaste. Pour 2018-2019 et 2019-2020, les frais d’administration ont totalisé 430 539 $ et 460 703 $. Au vu de ce changement de stratégie d’établissement des coûts administratifs, l’équipe d’évaluation n’est en mesure de rendre compte que du budget réel global et des dépenses du Fonds. Le budget total et les dépenses du Fonds sont mis en évidence dans le tableau 9.
4.2.2 Capacité budgétaire
Le Fonds a continuellement dépensé la totalité du budget alloué chaque année et engagé des fonds pour les budgets futurs. La manière dont le Fonds compte répondre à la demande future n’est pas claire.
Le personnel du Fonds surveille en permanence les montants en dollars des engagements et les paiements tout au long de l’année par rapport aux projets individuels. Les discussions avec les représentants des Finances d’ACC indiquent que la surveillance et la gestion du budget du Fonds ont lieu et qu’il n’y a aucune inquiétude à avoir. Le personnel du Fonds utilise plusieurs documents de suivi pour s’assurer que le montant approprié des fonds est distribué chaque année et que les engagements pluriannuels des projets sont correctement pris en compte dans les années à venir.
Comme mentionné précédemment, le Fonds reçoit chaque année trois millions de dollars en tant que financement de base. Le Fonds n’a fonctionné qu’un an dans le cadre de son financement de base, et chaque année par la suite, son budget a été temporairement complété par des fonds provenant du Ministère ou par le biais du budget de 2021Footnote14. Voir le tableau 9 pour le budget du Fonds pour le bien-être des vétérans et de leur famille, le financement disponible et les dépenses. La totalité du budget alloué au Fonds a été dépensée chaque année.
Tableau 9 : Budget du Fonds pour le bien-être des vétérans et de leur famille, le financement disponible et les dépenses au 31 mars 2022Footnote15
| 2018-2019 | 2019-2020 | 2020-2021 | 2021-2022 | 2022-2023 | 2023-2024 | 2024-2025 | |
|---|---|---|---|---|---|---|---|
| Budget de 2017 | 3 000 000 $ | 3 000 000 $ | 3 000 000 $ | 3 000 000 $ | 3 000 000 $ | 3 000 000 $ | 3 000 000 $ |
| Budget de 2021 | 5 000 000 $ | 5 000 000 $ | 5 000 000 $ | ||||
| Transfert du crédit 1 | 1 830 000 $ | 4 000 000 $ | |||||
| Financement total | 3 000 000 $ | 4 830 000 $ | 7 000 000 $ | 8 000 000 $ | 8 000 000 $ | 8 000 000 $ | 3 000 000 $ |
| Budget disponible pour les cycles de demande par exercice financier | S. O. | 1 828 993 $ | 3 000 001 $ | 2 603 641 $ | 6 500 000 $ | 5 264 649 $ | 1 316 937 $ |
| Montant des fonds effectivement disponibles | 3 000 000 $ | 3 001 007 $ | 3 999 999 $ | 5 396 360 $ | 1 500 000 $ | 2 735 351 $ | 1 683 063 $ |
| Financement de base disponible par exercice financier | 3 000 000 $ | 0 $ | 0 $ | 0 $ | 0 $ | 535 350 $ | 1 683 063 $ |
| Dépenses | 3 000 000 $ | 4 830 000 $ | 7 000 000 $ | 8 000 000 $ |
Les 15 millions de dollars de fonds temporaires ont été presque entièrement alloués en 2021-2022 (la première année de la période d’allocation de trois ans), avec 11,3 millions de dollars engagés dans 36 projets au cours de la série de demandes de cet exercice. Le déblocage anticipé du financement temporaire a permis à de nombreux projets de démarrer immédiatement, avec la possibilité de voir les effets du financement temporaire plus tôt que prévu. Cette approche a eu une incidence sur le montant du financement disponible à accorder aux projets dans les années à venir, comme le montre le graphique 2, Disponibilité des fonds budgétaires futurs par rapport aux engagements.
Graphique 2 : Budget annuel et engagements par année financière (au 31 mars 2022)
Graphique 2 : Budget annuel et engagements par année financière (au 31 mars 2022)
| Année | Fonds temporaire | Financement de base | Budget disponible pour les cycles de demande par exercice financier |
|---|---|---|---|
| 2018-2019 | 0 $ | 3 000 000 $ | 0 $ |
| 2019-2020 | 1 830 000 $ | 3 000 000 $ | 1 828 992,68 $ |
| 2020-2021 | 4 000 000 $ | 3 000 000 $ | 3 000 001 $ |
| 2021-2022 | 5 000 000 $ | 3 000 000 $ | 2 603 640,50 $ |
| 2022-2023 | 5 000 000 $ | 3 000 000 $ | 6 500 000 $ |
| 2023-2024 (Estimation) | 5 000 000 $ | 3 000 000 $ | 5 264 649 $ |
| 2024-2025 (Estimation) | 0 $ | 3 000 000 $ | 1 316 963,52 $ |
Selon les fonds déjà engagés pour des projets approuvés (en avril 2022), environ la moitié du budget sera disponible en 2024-2025 pour de nouveaux projets lorsque le Fonds reviendra aux niveaux de financement de base. Si les niveaux de financement antérieurs et les montants moyens de financement des projets sont une indication de la capacité future, cela permettrait au Fonds de soutenir environ trois à quatre projets dans cette série de demandes annuelle. Au moment de l’évaluation, aucun plan précis n’était en place pour obtenir un financement de base supplémentaire.
Le nombre de demandes soumises chaque année démontre la forte demande de financement auprès d’ACC. Quant aux augmentations temporaires continues des fonds, elles prouvent l’importance que le Ministère accorde au Fonds. Le financement temporaire a permis de soutenir de nombreux projets supplémentaires pendant de nombreuses années.
À ce stade, il conviendrait que le Ministère examine s’il est possible de poursuivre l’intention et les objectifs actuels du Fonds en fonction du niveau des fonds de base disponibles, ou si des modifications de l’intention/des objectifs ou des niveaux de financement de base devraient avoir lieu.