2.0 Portée et méthode

2.0 Portée et méthode

L’évaluation a été menée en réponse à l’exigence du Conseil du Trésor du Canada de s’assurer que l’évaluation couvre adéquatement les risques et les dépenses de l’organisation. Elle a été menée conformément à la directive et aux normes précisées dans leur Politique sur les résultats.

2.1 Portée de l’évaluation

L’objectif de l’évaluation formativeNote de bas de page 4 était de chercher une harmonisation entre les critères existants de déficience médicale de la TI pour l’IDS et les critères d’évaluation liés à la santé des programmes d’ISDS et d’ARA. Cette harmonisation pourrait :

  • déterminer les possibilités d’être plus efficace;
  • déterminer si ces programmes d’ACC ont des répercussions imprévues;
  • orienter et faciliter l’accès équitable au programme pour tous les clients d’ACC.

L’évaluation appuiera la prise de décisions relatives aux programmes et aux politiques et éclairera la mise en œuvre de nouvelles initiatives ministérielles.

L’évaluation a porté sur les vétérans des FAC dont l’évaluation révèle des niveaux plus importants d’invalidité et de déficience. Afin d’explorer l’harmonisation potentielle des critères d’évaluation du programme par l’analyse des données, l’équipe d’évaluation a fixé un pourcentage d’incapacité de 40 % ou plus pour une invalidité unique comme seuil d’évaluation. Ce seuil a été utilisé à des fins d’analyse seulement pour explorer les relations, et ne suggère pas une norme pour l’harmonisation fondée sur le niveau d’évaluation. Il est reconnu qu’il peut être avantageux pour chaque programme d’examiner l’harmonisation à un seuil supérieur ou inférieur en fonction de l’intention et des critères du programme.

2.2 Questions d’évaluation

Trois questions (voir le tableau 1), fondées sur les renseignements recueillis dans le cadre d’un sondage mené auprès du personnel à l’automne 2019 à l’étape de la planification et d’entrevues préliminaires auprès du personnel, ont orienté l’évaluation.

Tableau 1 : Questions d’évaluation
Programmes de reconnaissance, de santé et de remplacement du revenu pour les vétérans des Forces armées canadiennes ayant des invalidités ou des déficiences plus importantes
  1. Y a-t-il des possibilités de simplifier les processus en utilisant une harmonisation entre les critères de déficiences médicales de la Table des invalidités pour l’indemnité pour douleur et souffrance, et les critères d’évaluation liés à la santé pour les programmes d’indemnité supplémentaire pour douleur et souffrance et d’allocation de reconnaissance pour aidant des vétérans des Forces armées canadiennes ayant des invalidité et des déficiences plus importantes?
  2. Y a-t-il des répercussions imprévues entre les programmes d’ACC?
  3. Les critères d’admissibilité actuels donnent-ils un accès équitable aux programmes pour tous les vétérans qui en font la demande, sans égard au sexe biologique, à l’identité de genre, à l’orientation sexuelle ou à d’autres facteurs identitaires?

Pour mettre l’accent sur l’objectif de l’évaluation, respecter les échéances et respecter les ressources disponibles, un certain nombre de domaines ont été exclus de la portée de l’évaluation. Il s’agit notamment des suivants :

  • la prestation de services et de prestations de programme particuliers (y compris les fournisseurs d’ACC); les prestations d’invalidité, l’indemnité pour douleur et souffrance et le traitement des demandes;
  • la fonction de gestion de cas;
  • l’évaluation des tableaux des avantages médicaux;
  • le régime d’assurance-invalidité de longue durée des FAC (auparavant appelé RARM);
  • le processus de transition des FAC à ACC;
  • la pertinence des programmes;
  • les modèles logiques des programmes et les progrès vers l’atteinte des résultats des programmes.

2.3 Multiples sources de données

Des sources de données multiples ont servi à étayer les constatations de l’évaluation. Les méthodes utilisées pour appuyer ces sources de données sont présentées dans le tableau 2.

Tableau 2 : Liste des méthodes
Cadre méthodologique Source
Examen de la documentation et examen de la recherche secondaire
  • On a examiné les documents et les renseignements ministériels afin de comprendre les objectifs et l’intention du programme, les autorisations et exigences, sa complexité, le contexte et les principaux secteurs d’intérêt. Les documents comprenaient les documents de planification, les politiques, les lettres de mandat, les processus opérationnels, les documents stratégiques, les documents de recherche, les rapports de vérification et d’évaluation antérieurs, les rapports de surveillance des médias sociaux et les résultats du sondage national auprès des clients.
  • Un examen comparatif de la Table des invalidités de 2006Note de bas de page 5 et des critères d’évaluation du programme a été effectué afin d’explorer l’harmonisation possible.
Examen de documents non ministériels du gouvernement
  • Divers documents gouvernementaux ne provenant pas du Ministère ont été examinés, notamment des rapports parlementaires, des discours du budget, des plans budgétaires et des discours du Trône.
Consultations Pour appuyer cette évaluation, des consultations ont été menées auprès de divers intervenants. Ces consultations clés ont commencé au début du processus d’évaluation et comprenaient :
  • Groupe consultatif médical
  • Politique du programme
  • Politiques stratégiques
  • Le Bureau des femmes et des vétérans LGBTQ2 pour souligner la portée de l’évaluation et la pertinence de l’une des questions d’évaluation pour son unité.
  • Les SMA, les DG et les directeurs de programmes, des présentations aux professionnels de la santé, ainsi que des présentations au Comité ministériel de gestion des politiques et des programmes (CMGPP) et au Comité de gestion du rendement et au Comité d’évaluation (CGRE) dans le cadre du Plan d’évaluation ministériel.
Analyse documentaire
  • Au cours de l’évaluation, un entrepreneur indépendant a mené une étude sur les programmes de prestations d’invalidité pour vétérans et autres. Cette information a servi à éclairer l’évaluation en ce qui concerne la façon dont d’autres pays ou organismes privés utilisent les harmonisations pour des programmes semblables. De plus, l’équipe d’évaluation a effectué une recension des écrits universitaires afin d’éclairer et de contextualiser les constatations de l’évaluation à l’intérieur des constatations de recherche existantes.
Examen des dossiers (effectué par les employés d’ACC et conformément aux exigences en matière de protection de la vie privée et des renseignements personnels)
  • Deux examens de dossiers ont été effectués pour examiner la relation entre l’invalidité d’un client et sa relation avec le programme d’ISDS/AIC.
  • L’examen de chaque dossier a été effectué au moyen d’un échantillonnage pour acceptation qui permet d’extraire un échantillon aléatoire d’une population donnée et l’évaluateur examine un nombre fixe de clients jusqu’à ce que l’équipe d’évaluation soit convaincue que l’hypothèse est validée.
  • Aux fins de ces deux examens de dossiers, l’équipe d’évaluation a examiné un échantillon comportant 100 dossiers de clients.
Données statistiques et de programme
  • Une analyse statistique descriptive exhaustive a été menée à l’appui de l’évaluation à l’aide de multiples ensembles de données de programme. Les données disponibles sur les clients ont été extraites du Réseau de prestation de services à la clientèle (RPSC) d’ACC en date du 31 mars 2019. L’évaluation portait sur les données des clients et des programmes d’ACC au 31 mars 2019.
  • En plus de porter sur les données brutes du RPSC d’ACC et de l’Enquête nationale de 2017, l’analyse incluait les données publiées, comme les Faits et chiffres d’ACC.
Sondage
  • Afin d’éclairer la partie de l’évaluation portant sur la portée, un sondage auprès du personnel de la phase de planification a été distribué aux décideurs suivants des programmes : agents de services aux vétérans, gestionnaires de cas, gestionnaires d’équipe de services aux vétérans, infirmiers et infirmières de secteur, ergothérapeutes de secteur, arbitres des prestations d’invalidité, agents de prestations de programme, agents de prestations de programme (UAE) et agents d’appel. Ce sondage a servi à recueillir des commentaires sur la détermination de l’admissibilité, les politiques, les processus, les outils d’évaluation et les demandes des programmes. Le sondage a été distribué à 1 080 employés et 184 personnes y ont répondu.

2.4 Facteurs à considérer, points forts et limites

L’équipe d’évaluation reconnaît ce qui suit en ce qui concerne l’évaluation et les constatations :

  • Le 1er avril 2019, ACC a mis en œuvre des changements importants dans le cadre de l’initiative de pension à vie. Le programme de pension à vie comprenait le lancement de nouveaux programmes (IDS, ISDS et prestation de remplacement du revenu) et la mise en œuvre d’un nouveau système de gestion des relations avec les clients appelé GCcas. Les données administratives sur les clients de l’ISDS n’étaient pas disponibles dans GCcas pour la période d’évaluation en raison du développement continu du système. Pour atténuer les risques, l’équipe d’évaluation a utilisé les données du précurseur du programme, l’allocation pour incidence sur la carrière (AIC)Note de bas de page 6, comme substitut pour explorer la relation entre l’IDS et l’ISDS.

    Il a été déterminé que les données du programme d’AIC pouvaient remplacer adéquatement l’ISDS comme suit :

    • À l’instar du programme d’ISDS, l’AIC avait les mêmes définitions de déficience grave et permanente dans le règlement sur le programme;
    • Selon l’AIC, l’ampleur de la déficience était mesurée suivant les trois mêmes catégories maintenant utilisées par le programme d’ISDS.

    Les principales différences entre l’AIC et l’ISDS sont les différentes intentions du programme (indemnités économiques et non économiques) et le fait que pour être admissible au programme d’AIC, le vétéran doit présenter une demande et participer au Programme de réadaptation. Comme l’AIC était un avantage économique, le Ministère a évalué la capacité de gagner un revenu du vétéran et a tenu compte du nombre d’années qu’il lui restait à servir dans les FAC dans le cadre de la détermination du niveau de catégorie, ainsi que de toute déficience médicale et physique. Il est important de noter que la capacité de gain et les années de service restantes ne sont pas des facteurs à prendre en compte dans la détermination du niveau de catégorie de l’ISDS. De plus, bien qu’il ne soit pas nécessaire de participer au Programme de réadaptation pour avoir accès à l’ISDS, une entrave à la réinsertion doit être déterminée pour l’admissibilité à l’ISDS.

  • Toute modification éventuelle du processus d’évaluation d’un programme peut avoir des répercussions importantes sur les coûts et nécessiter l’approbation du ministre des Finances. Par conséquent, tout changement éventuel envisagé par le Ministère nécessitera l’établissement des coûts selon la comptabilité d’exercice par le Bureau de l’actuaire en chef et, si de nouveaux fonds sont nécessaires, tout changement proposé doit être soumis au ministère des Finances pour examen dans le cadre du processus budgétaire fédéral.
  • La mise en œuvre du système GCcas a exigé une contribution considérable de la part des décideurs opérationnels et a eu une importante incidence sur eux. Les demandes d’évaluation adressées au personnel opérationnel ont été concises afin de réduire au minimum les répercussions sur leur charge de travail déjà bien remplie.
  • Parallèlement à cette évaluation, la Direction des politiques stratégiques a lancé une initiative visant à examiner la structure globale des programmes d’ACC. Par conséquent, l’efficacité de la structure générale des programmes d’ACC n’a pas été examinée.