2.0 Portée et méthodologie

L’évaluation a été effectuée conformément à la directive et aux normes précisées dans la Politique sur l’évaluation du Conseil du Trésor de 2009. L’évaluation couvre la période du 1^er avril 2010 au 31 mars 2015 et a été menée entre juin 2015 et janvier 2016.

Les vérifications et les évaluations précédentes, comme la Vérification du suivi annuel dans le cadre du PAAC de 2015 et l’Évaluation du Programme pour l’autonomie des anciens combattants de 2011, ont été utilisées pour effectuer le calibrage^{Footnote 13} de la portée de l’évaluation. L’évaluation de l’équipe a porté principalement sur les éléments du Programme liés à l’entretien ménager et à l’entretien du terrain pour plusieurs raisons :

• l’entretien ménager et l’entretien du terrain sont les éléments les plus importants du Programme, comptant pour 77 pour cent des dépenses du Programme en 2014-2015 (dépenses combinées de 281millions de dollars sur les dépenses totales du Programme qui s’élevaient à 363 millions de dollars)^{Footnote 14};
• les modalités de paiement de ces deux éléments ont été modifiées, passant d’une contribution à une subvention, depuis que la dernière évaluation a été effectuée en 2011;
  • le passage d’une contribution à une subvention en janvier 2013 est le changement le plus important apporté au Programme depuis la dernière évaluation;
  • la mise en œuvre de la subvention a nécessité l’élaboration d’un nouvel outil, soit l’Outil de détermination des subventions (ODS), pour favoriser l’uniformité du calcul du financement à l’échelle du pays.

Les éléments suivants ont été exclus de la portée de l’évaluation :

• les soins intermédiaires n’ont pas été examinés, car cet élément a été inclus dans le cadre de l’Évaluation des programmes de soins intermédiaires et de soins de longue durée de janvier 2014;
• les changements récemment annoncés par le Ministère (p. ex., changements au processus de suivi et changements projetés au système) n’ont pas été analysés en profondeur, car leur date prévue de mise en œuvre est hors de la portée de l’évaluation;
• les plus petits éléments du Programme qui, combinés, ne représentent que 10 pour cent des dépenses du Programme^{Footnote 15}.

Les critères d’admissibilité au Programme et les processus connexes ont fait l’objet d’un examen de haut niveau, dans le cadre de la stratégie quinquennale du Ministère. La stratégie quinquennale (2015-2020) visant à améliorer le soutien aux vétérans, en se concentrant sur le changement de culture au sein du Ministère ainsi que sur les extrants, politiques, pratiques et processus du ministère, est en cours d’élaboration. La stratégie repose sur trois objectifs :

• une approche axée sur les vétérans qui place fermement ceux-ci au centre de toutes les activités d’ACC, favorisant finalement le bien-être des vétérans du Canada;
• une intégration transparente des programmes et des services de transition du ministère des Anciens Combattants et du ministère de la Défense nationale, en supprimant les complexités de la navigation entre les deux organisations afin d’accéder aux avantages pendant le processus de libération;
• l’accent sur l’excellence des services qui saura reconnaître et créer des occasions de dépasser les attentes par la compréhension des vétérans et de leurs besoins^{Footnote 16}.

Il convient de souligner que le Programme a été soumis à une analyse comparative entre les sexes en décembre 2011; aucun problème lié à des préjugés sexistes n’a été relevé^{Footnote 17}. Pour valider davantage cette constatation, l’équipe d’évaluation a procédé à une analyse statistique des données actuelles sur les services d’entretien ménager et d’entretien du terrain offerts aux bénéficiaires. Aucun problème n’a été relevé à l’égard des préjugés sexistes.

2.1 Sources de données multiples

La méthode de recherche visait à regrouper des renseignements de diverses provenances afin d’assurer la fiabilité de l’information et des résultats aux fins du présent rapport. Les sources de données utilisées pour évaluer la pertinence et le rendement du Programme sont présentées dans le tableau 3.

2.2 Contraintes et défis analytiques

L'évaluation a permis de faire ressortir les contraintes suivantes :

1. L’équipe d’évaluation n’a pas parlé directement avec les personnes qui bénéficient d’un avantage du Programme.
   
   L’équipe a atténué en partie cette contrainte :
   • en examinant les données existantes (p. ex., les résultats du Sondage national auprès des clients mené par ACC en 2010 et les formulaires de suivi annuel du PAAC);
   • en menant des entrevues avec les employés d’ACC qui traitent directement avec les bénéficiaires du Programme, dans le but d’obtenir les points de vue des vétérans;
   • en observant des appels de suivi et des ODS remplis par le responsable du traitement des demandes.
2. Il n’y avait aucun mécanisme en place pour évaluer le rendement du Programme pendant la période visée par la présente évaluation :
   • la capacité des responsables du Programme de saisir des données sur le rendement du Programme était limitée;
   • les changements aux systèmes utilisés pour effectuer le suivi du Programme ne seront pas mis en œuvre avant 2016; ces changements devraient aider à compiler les données sur le rendement;
   • les procédures d’assurance de la qualité d’ACC ont été mises en œuvre ultérieurement, soit en 2015-2016;
   • les procédures d’assurance de la qualité pour le responsable du traitement des demandes n’étaient pas en place, mais elles sont en cours d’élaboration.
   L’équipe d’évaluation a atténué en partie cette contrainte en procédant à un examen des dossiers pour déterminer si les décisions relatives au Programme étaient prises en temps opportun. L’équipe s’est également renseignée au sujet de la nature des plaintes reçues par ACC et le Bureau de l’ombudsman des vétérans (BOV); aucun problème important n’a été signalé.


3. Les frais d’administration associés au Programme ont été examinés. Toutefois, il a été impossible d’établir une comparaison avec les programmes offerts par les ministères des Anciens Combattants à l’échelle internationale, car les programmes sont trop différents.
   
   L’équipe d’évaluation a également tenté d’effectuer une étude de la documentation de programmes provinciaux de soins à domicile semblables. Les renseignements sur l’administration des programmes provinciaux étaient limités et, lorsqu’ils étaient disponibles, ils n’étaient pas mesurables par rapport au Programme en raison des différences dans les modèles d’exécution utilisés, ce qui a empêché d’établir une comparaison approfondie des coûts d’administration (voir la section 4.2 pour plus de détails).

Il faudrait donc tenir compte des contraintes susmentionnées en lisant les constatations de l’évaluation.