L’évaluation a été réalisée conformément à la directive et aux normes énoncées dans la Politique sur les résultats de 2016 du Conseil du Trésor du Canada.
2.1 Portée et questions de l’évaluation
L’évaluation a porté sur la période d’avril 2014 à mars 2018.
Afin de faciliter l’établissement de la portée de l’évaluation, une évaluation comparative axée sur le risque a été réalisée, éclairée par les entrevues préliminaires, l’examen des documents et l’analyse des données. La portée et les questions de l’évaluation qui figurent au tableau 1 ont été établies en fonction des résultats de l’évaluation du risque, et du besoin défini par le secteur de services.
Tableau 1 : Portée et questions de l’évaluation
Les services de gestion de cas d’ACC sont-ils fournis aux vétérans/clients qui ont besoin de ce niveau de soutien?
- Y a-t-il des vétérans qui devraient recevoir des services de gestion de cas et qui n’en reçoivent pas?
- Des services de gestion de cas sont-ils actuellement fournis à des vétérans qui n’ont pas besoin de ce niveau de soutien?
Les outils disponibles pour la gestion de cas permettent-ils de produire les résultats escomptés de façon efficace et efficiente? (OIRR, OIRR-R, IBCC, outil de plan d’intervention)
Les services de gestion de cas d’ACC peuvent-ils être améliorés par l’adoption de pratiques et de normes professionnelles utilisées dans d’autres ministères fédéraux?
Les services de gestion de cas d’ACC aident-ils les vétérans ayant des besoins complexes, y compris les femmes, les hommes et les personnes de diverses identités de genre ayant de nombreux facteurs identitaires (ACS+Note de bas de page 1), à répondre à leurs besoins?
Les normes de service et les engagements d’ACC en matière de gestion de cas sont-ils :
- respectés?
- appropriés?
Les constatations découlant de cette évaluation serviront à appuyer la prise de décisions et la mise en œuvre des initiatives ministérielles.
2.2 Sources de données multiples
La méthodologie de recherche a intégré de multiples sources de données afin de garantir la fiabilité des données recueillies et des résultats obtenus. Des sources de données qualitatives et quantitatives ont été utilisées pour cette évaluation. Elles sont présentées au tableau 2.
| Méthode | Source |
|---|---|
| Examen des documents | Les documents et renseignements ministériels suivants ont été examinés afin de comprendre les objectifs et l’intention des services, les exigences et les pouvoirs liés aux services, la complexité, le contexte et les principaux enjeux : documents de planification, protocoles d’entente et leurs annexes, politiques, processus opérationnels, comptes rendus de décisions, documents stratégiques, rapports sur le rendement, rapports de recherche et résultats de sondages. |
| Divers documents non ministériels, comme des documents provenant d’autres ministères fédéraux, ont été examinés. En outre, des rapports au Parlement, le budget fédéral et les exposés budgétaires ont été examinés à des fins contextuelles. | |
| Sondage auprès des employés | Un sondage a été distribué aux gestionnaires de cas d’ACC en vue d’obtenir leurs commentaires sur les éléments suivants :
|
| Observation participative | L’équipe d’évaluation a recueilli de l’information en participant à des groupes de projet pertinents et aux analyses visant à appuyer ces groupes, y compris :
|
| Examen des dossiers | Un examen des dossiers a été réalisé pour évaluer la portée des services de gestion de cas, l’atteinte des résultats par les vétérans, ainsi que l’efficacité et l’efficience des outils de gestion de cas. L’équipe d’évaluation a reçu l’appui d’experts en la matière pour l’examen des dossiers. L’examen comportait deux volets :
|
| Entrevues et visites sur place | Plus de 80 entrevues ont été menées auprès des membres de la haute direction d’ACC, des employés participant à la gestion de cas et d’autres experts en la matière. Des entrevues auprès des unités de direction d’autres ministères fédéraux ont également été réalisées pour comprendre les modèles de ressources et les pratiques exemplaires possibles. |
| Analyse statistique | Les données sur les ressources humaines et les données financières et opérationnelles recueillies par ACC pour les exercices financiers de 2014 à 2018 ont été analysées. |
2.3 Considérations, forces et limites
- Comme la gestion de cas n’est pas un programme, il n’est pas nécessaire de produire un profil de l’information sur le rendementNote de bas de page 3 (Politique sur les résultats). En l’absence de cette exigence, les résultats liés aux services ne peuvent pas facilement faire l’objet d’un suivi et d’une surveillance. L’équipe d’évaluation a donc utilisé les données disponibles dans le système, ainsi que les données recueillies dans le cadre de l’examen manuel des dossiers et de la recherche sur l’opinion publique pour évaluer le rendement.
- ACC a mené un sondage national auprès des clients (recherche sur l’opinion publique) en 2017, mais le dernier sondage réalisé par le Ministère avant celui ci remonte à 2010. Compte tenu du temps qui s’est écoulé entre ces sondages, il a été plus difficile de faire l’analyse des tendances.
- Des projets de renouvellement et des projets pilotes ministériels portant sur les services de gestion de cas d’ACC étaient en cours pendant la période visée par la présente évaluation. L’équipe d’évaluation a participé et évalué les initiatives lorsqu’il était possible de le faire, mais comme leur mise en œuvre se poursuivra au cours des prochaines années, il n’a pas été possible d’évaluer toute l’ampleur des répercussions de ces changements.