2.0 Portée et méthodologie

2.0 Portée et méthodologie

L’évaluation, effectuée conformément à la Politique sur l’évaluation de 2009 du SCT, a porté sur la pertinence et le rendement du Programme. Les méthodes sélectionnées ont permis à l’équipe de faire une évaluation approfondie et de formuler des recommandations visant à améliorer le service aux bénéficiaires du Programme.

2.1 Portée et durée de l’évaluation

L’évaluation a été effectuée entre avril 2015 et mars 2016. Elle a porté sur les activités de programme réalisées au cours de la période allant d’avril 2010 à mars 2015. Durant la phase du travail sur le terrain (de juin 2015 à décembre 2015), l’équipe s’est penchée sur les processus en vigueur.

L’évaluation était de nature sommative. L’équipe d’évaluation a examiné un mélange de sources de données qualitatives et quantitatives afin d’obtenir une perspective générale et de pouvoir atténuer les risques associés à la collecte de données. Conformément à la Politique sur l’évaluation du SCT, cinq questions fondamentales ont été examinées en vue d’en fournir les résultats à la haute direction d’ACC et de l’aider à prendre des décisions concernant la conception et l’exécution du Programme. L’évaluation a été centrée sur les questions d’évaluation fondamentales précisées au tableau 2.

Tableau 2 – Cinq questions d’évaluation fondamentales
Exigences du SCT Objectifs de l’évaluation des avantages financiers
1. Besoin continu du Programme Évaluation de la mesure dans laquelle le Programme continue de répondre à un besoin démontrable
2. Conformité avec les priorités du gouvernement Évaluation des liens entre les objectifs du Programme, les priorités du gouvernement fédéral et les résultats ministériels stratégiques
3. Harmonisation avec les rôles et les responsabilités du gouvernement fédéral Évaluation du rôle et des responsabilités d’ACC relativement à l’exécution du Programme
4. Réalisation des résultats escomptés Évaluation des progrès réalisés dans l’atteinte des résultats escomptés
5. Démonstration d’efficience et d’économie Évaluation de l’utilisation des ressources du Programme relativement à la production des extrants et aux progrès réalisés concernant l’atteinte des résultats escomptés

L’évaluation a été calibréeFootnote 13 en mettant davantage l’accent sur les secteurs à risque élevé, c’est-à-dire l’APR, l’ADP et le SADP, qui représentaient 99 % de tous les bénéficiaires du Programme au 31 mars 2015. L’ASRR, créée en 2015, ainsi que l’augmentation de l’APR de 75 % à 90 % de la solde militaire mensuelle annoncée dans le cadre du Budget de 2016, ont été exclues de la portée de l’évaluation.

2.2 Sources de données multiples

L’équipe d’évaluation a évalué la pertinence et le rendement du Programme au moyen de multiples sources de données.

Les méthodes d’évaluation sont présentées dans le tableau 3.

Tableau 3 – Liste des méthodes
Méthode Source
Examen des documents
  • Lois et règlements ministériels;
  • Rapports, politiques, processus, stratégies et documents de planification d’ACC;
  • Vérifications et évaluations antérieures menées par ACC;
  • Rapports parlementaires;
  • Résultats de sondages antérieurs auprès des bénéficiaires (p. ex. résultats du sondage mené au début et à la fin du Programme de réadaptation).
Examen des Études de Recherches
  • Études réalisées par la Direction de la recherche d’ACC :
    • Income Adequacy and Employment Outcomes of the New Veterans Charter (niveau adéquat du revenu et résultats en matière d’emploi dans le cadre de la Nouvelle Charte des anciens combattants)
    • Compensating for Permanent Losses: Totally and Permanently Incapacitated (indemnisation des pertes permanents : incapacité totale et permanente)
    • Low Income Lines and Financial Security in Retirement (lignes de faible revenue et sécurité financière à la retraite)
    • Résultats sur le marché du travail pour les vétérans
    • Les pertes financières sont-elles reliées à l’âge ou au degré d’invalidité?
    • Income Recovery after Participation in the Rehabilitation Program (récupération de revenus après la participation au Programme de réadaptation)
Examen des Dossiers
  • Un échantillon de 309 dossiers de vétérans a été examiné :
    • 164 bénéficiaires d’une APR;
    • 36 bénéficiaires d’une ASRFC;
    • 42 bénéficiaires d’une PRS;
    • 67 bénéficiaires d’une ADP et d’un SADP.
Entrevues auprès d’intervenants clés
  • Au total, 69 entrevues en personne avec des membres du personnel d’ACC et des experts en la matière du Ministère (44 dans les bureaux de secteur et 25 à l’Administration centrale) et questionnaires remplis par ceux-ci.
Observation directe
  • Des systèmes de technologie de l’information, de même que des pratiques et des processus opérationnels, ont été observés à l’Administration centrale d’ACC.
Données statistiques et données sur le Programme
  • Analyse de données statistiques provenant :
    • de la Direction générale des finances d’ACC;
    • du Secteur de la prestation des services.

2.3 Limites de l’évaluation

L’évaluation a permis de faire ressortir les limites et les défis analytiques suivants :

  1. L’équipe d’évaluation n’a pas parlé directement avec les bénéficiaires du Programme. Pour contrer cette limite, elle a examiné les résultats du sondage menés au début et à la fin du Programme de réadaptation ainsi que sur les résultats d’évaluations internes et externes du caractère adéquat des avantages. En outre, l’équipe a mené des entrevues auprès des membres du personnel d’ACC qui communiquent directement avec les bénéficiaires du Programme dans le but d’obtenir les points de vue des vétérans et d’avoir une idée de leurs besoins.
  2. L’équipe s’est fondée sur des résultats de recherches et sur des mesures économiques pour évaluer le caractère adéquat des taux des avantages, étant donné qu’elle n’avait pas accès à des experts en mesure et gestion des risques.

Il faudrait tenir compte de ces limites en lisant les constatations de l’évaluation.

 
Date modifiée