4.1 Efficacité et mesure du rendement
En juillet 2016, on a mis en œuvre la Politique sur les résultats, laquelle a remplacé la Politique sur l’évaluation. Cette nouvelle politique met davantage l’accent sur la surveillance du rendement et la production de rapports de mesure du rendement connexes pour les ministères fédéraux, notamment les exigences en matière de déclaration et de consultation auprès du Secrétariat du Conseil du Trésor pour ce qui est du rendement des programmes (résultats, indicateurs et extrants).
La mesure du rendement est une fonction essentielle qui permet une gestion efficace des programmes. On décrit habituellement la mesure du rendement comme la mesure régulière des indicateurs et des extrants établis pour suivre les progrès réalisés en vue d'atteindre les résultats attendus d'un programme. Cette information sert à évaluer l'efficacité et l'efficience des programmes et à guider la prise de décisions quotidienne dans la gestion des programmes.
À l'heure actuelle, un ProfilNote de bas de page 7, d’information sur le rendement a été mis en place pour le Programme des allocations aux anciens combattants; ce profil énonce les résultats, les extrants ainsi que les indicateurs et cibles connexes du Programme. Le Profil’annexe B résume les résultats indiqués dans le Profil d’information sur le rendement. L'évaluation a permis de constater qu'il est possible d’accroître l’uniformité dans la collecte et l’utilisation des renseignements sur la mesure du rendement et d'aider ainsi à orienter les décisions en matière de gestion de programme prises par l'unité de la Réadaptation, du Bien-être financier et des Renseignements opérationnels.
4.2 Résultats
Le Programme atteint les résultats finaux établis :
- Les vétérans se portent bien physiquement et mentalement.
- Les vétérans et leur famille jouissent d’une sécurité financière.
- Les vétérans sont satisfaits des services qu’ils reçoivent.
Le Sondage national d’ACC de 2017Note de bas de page 8 a révélé que 92 % des vétérans ayant servi en temps de guerre étaient satisfaits ou très satisfaits de leur bien-être général. De plus, 89 % d'entre eux ont indiqué qu'ils étaient satisfaits ou très satisfaits de leur situation financière et 94 % se sont dits satisfaits ou très satisfaits des services qu'ils reçoivent d'ACC. Ces données sont importantes puisque les vétérans ayant servi en temps de guerre sont le groupe ciblé par le Programme, et les chiffres sont bien au-dessus des cibles établies dans le Profil d’information sur le rendement.
Les entrevues auprès des principaux informateurs et l'examen des documents ont permis de révéler que l'accès aux autres programmes d'ACC par l'entremise de l'admissibilité à l’AAC pourrait en fait être plus important pour les vétérans que le versement même de l'AAC. Cela comprend l’accès aux avantages pour soins de santé (avantages médicaux), au Programme pour l’autonomie des anciens combattants, au Programme des soins de longue durée et au Fonds de secours d’ACC. L’admissibilité à ces programmes accroît la capacité des bénéficiaires de répondre à leurs besoins fondamentaux.
En permettant aux bénéficiaires admissibles d'avoir accès à un revenu supplémentaire pour soutenir leurs besoins fondamentaux, de même qu'en servant de porte d’entrée pour d’autres programmes et services, le Programme des allocations aux anciens combattants contribue à l’atteinte des résultats finaux établis. Il est toutefois important de reconnaître que d'autres facteurs de santé, les différences entre les régions relativement au coût de la vie, la composition de la famille et les habitudes de consommation peuvent également influer sur le résultat final.
Ce n’était pas possible d’évaluer complètement le résultat intermédiaire:
- Les besoins de base des vétérans et des autres clients admissibles sont satisfaits.
Les résultats susmentionnés du Sondage national d’ACC de 2017 témoignent de la satisfaction des vétérans ayant servi en temps de guerre concernant leur situation financière.
Le Profil d’information sur le rendement définit un autre résultat de mesure du rendement pour cet indicateur : la cible de 5 % ou moins des bénéficiaires de l’AAC ont des revenus inférieurs à la mesure de faible revenuNote de bas de page 9MFR). Dans le cadre de consultations avec le secteur de programme, l’équipe d’évaluation a été informée que le Ministère utilisera les données recueillies dans le cadre du Sondage national d’ACC de 2019 et mènera une analyse secondaire pour calculer la MFR pour les bénéficiaires de l’AAC. La mesure de cet indicateur de rendement comporte cependant des limites, puisque les bénéficiaires de l’ACC ne constituent qu’un petit groupe parmi la population générale des vétérans ayant servi en temps de guerre. Les résultats du Sondage national d’ACC de 2019 ne seront donc pas statistiquement significatifs. En outre, l’échantillon du sondage inclut des vétérans et des survivants; les données ne seront pas recueillies auprès des bénéficiaires orphelins. Les responsables du programme collaboreront avec la section des statistiques et l’Unité des renseignements opérationnels pour établir une méthode plus exhaustive de mesure de cet indicateur de résultat.
De plus, les responsables du programme envisagent d’examiner le profil actuel d’information sur le rendement du programme et demanderont les approbations nécessaires pour les mises à jour qui seront déterminées.
Le programme atteint son résultat immédiat:
- Les vétérans et leur famille ont accès à l’allocation aux anciens combattants dans un délai raisonnable pour subvenir à leurs besoins essentiels.
L’objectif de rendement pour cette norme de service est que 80 % des décisions soient rendues dans un délai de quatre semaines. Les données du programme confirment qu’en moyenne, 84 % des décisions ont été rendues dans un délai de quatre semaines pendant toute la période d’examen, comme le montre le tableau 4.
| Exercice | Nombre total de décisions | Décisions rendues selon la norme | Pourcentage |
|---|---|---|---|
| 2014-2015 | 448 | 402 | 90 % |
| 2015-2016 | 460 | 390 | 85 % |
| 2016-2017 | 381 | 275 | 72 % |
| 2017-2018 | 365 | 292 | 80 % |
| 2018-2019* | 163 | 157 | 96 % |
| Total | 1 817 | 1 516 | 83 % |
* Les six premiers mois de l’exercice 2018-2019
Bien que le pourcentage de décisions rendues conformément à la norme ait été inférieur en 2016-2017, les entrevues avec les informateurs clés ont révélé que la formation de nouveaux analystes avait contribué à l’amélioration récente. L’atteinte de 95 % des décisions rendues conformément à la norme au cours des six premiers mois de l’exercice 2018-2019 démontre l’incidence positive de la formation des nouveaux analystes.
4.3 Économie
Entre l’exercice 2014-2015 et l’exercice 2017-2018, les dépenses du programme ont diminué de 28 % et le nombre de bénéficiaires du programme a diminué de 32 %. En mars 2018, ACC comptait 1 895 bénéficiaires et les dépenses annuelles du programme se chiffraient à 6,1 M$ comparativement aux prévisions des dépenses de 6,4 M$. Le paiement annuel moyen par bénéficiaire était de 3 219 $.
On s’attend à ce que la tendance à la baisse se poursuive quant au nombre de bénéficiaires du programme et aux dépenses du programme dans les années à venir. Les prévisions de 2022-2023 sont de 1 030 bénéficiaires touchant 4,2 M$.
Les vétérans, dont les prestations de SV/SRG rendent leur revenu supérieur au seuil prévu pour le paiement de l’AAC, aussi appelés « quasi bénéficiaires de l’AAC », pourraient également être admissibles aux services et aux avantages pour soins de santé d’ACC décrits précédemment. Au 31 mars 2018, 4 196 vétérans étaient considérés comme étant des quasi bénéficiaires et avaient donc accès aux services et avantages importants pour répondre à leurs besoins de santé.
Utilisation des ressources
En 2017-2018, les coûts salariaux d’ACC alloués aux activités du programme étaient inférieurs à 0,2 % de l’ensemble des coûts d’administration des programmes d’ACC. Ces données sont comparables au niveau des dépenses du programme, qui se chiffre à environ 0,1 % des dépenses totales des programmes d’ACC. Une analyse plus approfondie des coûts d’administration n’a pas été faite étant donné le risque faible et la faible importance relative du programme.
4.4 Efficience
L’évaluation précédente du programme d’allocation aux anciens combattants menée en 2014 a révélé que le programme était stable et efficace. Les entrevues avec les informateurs clés, ainsi qu’un examen des documents, indiquent que peu de changements ont été apportés depuis la dernière évaluation. Le programme continue d’être exécuté par une petite équipe centralisée.
De plus, l’amélioration de 23 % en seulement deux ans des décisions rendues conformément à la norme de service indique l’effet positif de la formation des nouveaux analystes.
Les politiques d’ACC ont également comme objectif à long terme de réduire le nombre de politiques associées à l’AAC (treize) à une seule politique générale pour simplifier l’orientation du programme.
4.5 Décisions défavorables
Les données du programme, les entrevues auprès des informateurs clés et l’examen des documents ont révélé un taux élevé de décisions défavorables aux demandes reçues pour le programme. L’examen de dossier d’un échantillon aléatoire de 182 demandeurs ayant obtenu une décision défavorable entre le 1er avril 2017 et le 30 septembre 2018 a fourni des renseignements supplémentaires sur les motifs des décisions défavorables. Les motifs de ces décisions sont ventilés au tableau 5 qui suit.
| Motif | Nombre de décisions défavorables de l’échantillon | Pourcentage de décisions défavorables de l’échantillon |
|---|---|---|
| Défavorable – ServiceNote de bas de page 10 | 54 | 30 % |
| Défavorable – Revenus excédentairesNote de bas de page 11 | 111 | 61 % |
| Défavorable – AutreNote de bas de page 12 | 17 | 9 % |
| Total | 182 | 100 % |
Au cours de l’examen des dossiers, l’équipe chargée de l’évaluation a déterminé qu’un certain nombre de demandes au titre du Programme avaient été présentées par des personnes souhaitant avoir accès à d’autres programmes d’ACC comme le Programme de soins de santé (avantages médicaux), le Programme pour l’autonomie des anciens combattants et le Programme de soins de longue durée.
L’examen des dossiers a révélé que 30 % des demandes d’AAC de l’échantillon ont donné lieu à des décisions défavorables s’il était déterminé que la période de service du demandeur n’était pas admissible. De toutes les demandes d’AAC de l’échantillon, 61 % avaient reçu une décision défavorable en raison du revenu du demandeur qui était supérieur au seuil de revenus s’appliquant à l’AAC. Le tableau 6 fournit les détails des décisions défavorables de l’échantillon et la proximité du seuil du revenu.
| Allocation aux anciens combattants | Nombre total | < 200 $ par mois | De 201 $ à 500 $ par mois | > 500 $ par mois | Moyenne par mois |
|---|---|---|---|---|---|
| Vétéran | 72 | 7 (10 %) * | 9 (13 %) | 56 (78 %) | 1 117 $ |
| Survivant ou orphelin | 39 | 13 (33 %) | 17 (44 %) | 9 (23 %) | 498 $ |
* Il se peut que les totaux ne soient pas justes en raison de l'arrondissement des chiffres.
En moyenne, les vétérans qui avaient présenté une demande d’AAC pour laquelle ils ont reçu une décision défavorable en raison d’un revenu excédant le seuil permis applicable à l’AAC étaient à 1 117 $ près d’être admissibles à l’AAC. En comparaison, les survivants et les orphelins étaient, en moyenne, à 498 $ près d’être admissibles au montant mensuel de l’AAC. Une analyse plus approfondie a révélé que 77 % des membres du groupe des survivants et des orphelins étaient à 500 $ près par mois d’être admissibles à l’AAC tandis que 33 % étaient à 200 $ près par mois d’être admissibles.
La Direction des politiques pourra utiliser les constatations tirées de l’examen des dossiers, à l’appui du renouvellement futur des politiques.
En outre, au cours de la période d’examen, seulement treize dossiers ont été reçus par le Tribunal des anciens combattants (révision et appel) à des fins d’appel des décisions rendues, et seulement cinq de ces décisions ont été annulées.