L’évaluation a été réalisée en raison des risques et des besoins ministériels. Pendant la préparation du Plan d’évaluation ministériel 2019-2024 d’ACC, il a été jugé (à partir d’entrevues et d’un examen de la documentation) que l’ARA est un programme qui bénéficierait d’une évaluation, principalement de son rendement et de son efficacité. Par ailleurs, l’évaluation a été menée conformément à la Politique sur les résultats du Conseil du Trésor du Canada.
2.1 Portée et questions de l’évaluation
L’évaluation portait principalement sur la période du 1er avril 2018 au 30 septembre 2019 (soit à partir de la mise en œuvre de l’ARA).
L’objectif de l’évaluation consiste à juger de la pertinence, du rendement, de l’efficacité, de l’économie et de l’efficience du programme. Les questions examinées au cours de l’évaluation sont présentées dans le tableau 1.
Tableau 1 : Questions de l’évaluation
Dans quelle mesure le programme continue-t-il de répondre à un besoin démontrable, à l’heure actuelle et à l’avenir? (Pertinence)
Dans quelle mesure le programme est-il conforme aux priorités du gouvernement du Canada ainsi qu’aux rôles et responsabilités du gouvernement fédéral? (Pertinence)
Dans quelle mesure le programme répond-il aux besoins des bénéficiaires visés? (Pertinence)
Des processus sont-ils en place pour veiller à ce que l'administration du programme soit conforme aux directives ministérielles? (Rendement)
Dans quelle mesure le programme a-t-il atteint ses résultats? (Rendement)
- Immédiats
- Intermédiaires
- Finaux
Est-il possible d'accroître l’efficacité et l’économie du programme? (Efficacité/économie)
Le programme a-t-il des effets imprévus (positifs ou négatifs)? (Efficacité/économie)
2.2 Multiples sources de données
Des sources de données multiples ont servi à étayer les constatations de l’évaluation. Les méthodes utilisées pour appuyer ces sources de données sont présentées dans le tableau 2.
| Méthodologie | Sources |
|---|---|
| Examen de la documentation ministérielle et de recherches secondaires | On a examiné les documents et les renseignements ministériels afin de comprendre les objectifs et l’intention du programme, les autorisations et exigences, sa complexité, le contexte et les principaux secteurs d’intérêt. Les documents comprenaient des documents de planification ministériels, des politiques, des lettres de mandat, des processus opérationnels, des comptes rendus de décisions, des documents stratégiques, des rapports sur le rendement, des documents de recherche, des résultats de sondages et de la correspondance. |
| Examen de documents non ministériels | Divers documents ne provenant pas du Ministère ont été examinés, notamment des rapports parlementaires, des discours du budget, des plans budgétaires et des discours du Trône. |
| Entrevues | On a mené des entrevues auprès du personnel d’ACC dans les domaines suivants : politique en matière de programmes, mobilisation des intervenants, politique stratégique, opérations en région, gestion de programmes (prestation de services), traitement des prestations, ainsi que d’autres experts en la matière du Ministère, y compris des membres de la haute direction. |
| Analyse statistique | L’analyse statistique portait sur :
|
| Examen de dossiers | On a examiné certains dossiers pour mieux évaluer le rendement et l’efficience de l’ARA. Un échantillon aléatoire de 180 décisions a été examiné (sur un total de 1 806 décisions), ce qui donne un niveau de confiance de 95 %+/- 7 %. |
| Sondage | Un sondage a été distribué à tous les bénéficiaires actuels de l’ARA. Les commentaires des bénéficiaires ont servi de sources de données. Le sondage a été rempli par 166 aidants (sur les 705 personnes contactées), ce qui donne un niveau de confiance de 95 % +/- 7 %. |
2.3 Facteurs à considérer, points forts et limites
- L’ARA est un programme relativement nouveau, qui remplace l’ARAF, et aucun des deux programmes n’avait fait l’objet d'une évaluation auparavant.
- L’équipe chargée de l’évaluation a réalisé le sondage sur l’ARA afin de mieux comprendre les expériences et les points de vue des aidants. Nous avons communiqué avec les 705 aidants recevant la prestation à la date du 30 septembre 2019. Il était difficile d'analyser ou de dégager des tendances, car le sondage était la première communication visant à demander leur avis à des aidants.
- L’équipe de l’évaluation n’a pas évalué d’autres mesures d’intervention dont pourraient disposer les aidants.