L’évaluation a été menée conformément à la directive et aux normes précisées dans la Politique sur les résultats (2016) du Conseil du Trésor du Canada. Elle couvre la période du 1er avril 2012 au 31 mars 2016, et elle a été réalisée entre septembre 2016 et juin 2017. L’évaluation porte sur quatre volets : Cérémonie et activités commémoratives; Programme de partenariat pour la commémoration; Apprentissage et information publique; Monuments commémoratifs.
La Directive sur les résultats (2016) du Secrétariat du Conseil du Trésor décrit les normes à prendre en considération pour les évaluations des programmes fédéraux : besoin continu; conformité aux priorités du gouvernement; conformité aux rôles et aux responsabilités du gouvernement fédéral; rendement et efficience; et économie. Le tableau 2 fournit des détails sur la façon dont l’évaluation a traité ces questions.
Tableau 2 – Portée de l’évaluation
- Pertinence
-
- Besoin continu de tous les programmes et de toutes les initiatives afin qu’ils évoluent de manière à répondre aux attentes des Canadiens/vétérans/intervenants.
- Conformité aux priorités, aux rôles et aux responsabilités du gouvernement fédéral pour tous les programmes.
- Rendement
-
- Mécanismes et outils en place pour mesurer le rendement.
- Obtention des résultats immédiats, intermédiaires et ultimes.
- Effets inattendus associés aux programmes/initiatives (le cas échéant).
- Caractère adéquat des processus, y compris la détermination des dédoublements/chevauchements.
- Efficience et économie
-
- Démonstration de l’efficience et de l’économie.
Les principales cérémonies et activités de 2017 associées au 100e anniversaire de la bataille de la crête de Vimy ont eu lieu à l’extérieur de la période de l’évaluation. Toutefois, l’équipe chargée de l’évaluation a assisté aux activités nationales commémorant la bataille de Vimy à Ottawa en avril 2017 en vue d’observer/évaluer la façon dont les activités nationales contribuent à la reconnaissance publique des vétérans et de ceux décédés en service.
La construction d’un nouveau centre d’accueil et d’éducation au Mémorial national du Canada à Vimy s’est terminée en avril 2017, hors de la portée de l’évaluation. L’équipe chargée de l’évaluation n’a pas examiné le centre qui était opérationnel pendant la période de l’évaluation, car il devait être mis hors service.
Dans une prochaine évaluation générale de la commémoration, la gouvernance globale de toutes les activités commémoratives sera évaluée.
2.1 Multiples sources de données
La méthode de recherche a intégré de multiples sources de données, ce qui assure la fiabilité des renseignements recueillis et des résultats présentés. Les sources de données utilisées pour évaluer la pertinence, le rendement, l’efficience et l’économie de chaque volet figurent dans le tableau 3.
| Méthodologie | Source |
|---|---|
| Études des documents non ministériels | Documents non ministériels clés, tels que : rapports au Parlement, documents du budget fédéral, discours du Trône et évaluations des programmes de commémoration d’autres ministères fédéraux. |
| Entrevues et/ou observation en milieu de travail | Environ 50 entrevues ont été menées auprès de la haute direction d’ACC; du personnel d’ACC participant à l’exécution des programmes de commémoration; des partenaires d’ACC et des ministères offrant des programmes semblables; d’autres experts en la matière. Des cérémonies/activités régionales et nationales ont été observées ainsi que les méthodes de travail/procédures internes et la production de documents imprimés externes. |
| Études des documents ministériels et recherches secondaires | Les types de documents/renseignements ministériels suivants ont été examinés pour comprendre les volets, leurs pouvoirs et leurs exigences, et les secteurs d’intérêt clés : protocoles d’entente et annexes; vérifications et évaluations antérieures; politiques; processus opérationnels; comptes rendus des décisions; documents stratégiques; documents de planification, rapports de rendement; rapports de recherche; résultats de sondage; contrats avec des tiers; factures; articles dans les médias; plaintes. |
| Analyses statistiques | Examen des données financières, démographiques, sexospécifiques (analyse comparative entre les sexes +) et opérationnelles recueillies par ACC au cours des exercices financiers 2012-2013 à 2015-2016. Examen des données financières et opérationnelles de programmes semblables fournis par d’autres ministères. |
| Visites sur place | Des visites sur place ont été effectuées à Ottawa pour observer le personnel d’ACC, les partenaires de l’exécution de programmes et les intervenants ainsi que discuter avec eux. Des visites sur place ont aussi eu lieu pour observer les monuments commémoratifs nationaux dans la région de la capitale nationale (RCN) et les activités commémoratives de la Semaine des vétérans 2016 et du 100e anniversaire de la bataille de la crête de Vimy dans la RCN. |
| Sondage | Le questionnaire du sondage a été rempli par 67 employés d’ACC qui disent être des vétérans ou des membres encore actifs des Forces armées canadiennes (FAC). Le sondage (voir l’annexe A) a été utilisé pour obtenir des commentaires sur les volets du programme Le Canada se souvient afin d’en déterminer la pertinence et l’efficacité. Le taux de participation au sondage a été de près de 60 % (67 réponses sur 120 personnes contactées). |
| Examen de dossiers | Un examen de dossiers a été effectué au moyen d’un échantillon discrétionnaire de 40 vétérans dont le décès s’est produit pendant la période de l’évaluation et dans les deux années suivant la fin du service actif. L’examen a été réalisé pour déterminer si les vétérans admissibles étaient commémorés dans les Livres du Souvenir. |
2.2 Limites et difficultés d’analyse
Les limites et les difficultés suivantes ont été relevées :
- L’équipe chargée de l’évaluation n’a pas parlé directement avec les demandeurs du Programme de partenariat pour la commémoration ni avec les participants aux activités commémoratives. Dans la mesure du possible, l’équipe chargée de l’évaluation a utilisé les recherches existantes sur l’opinion publique et les formulaires de rétroaction des bénéficiaires. L’équipe a également observé les activités commémoratives tenues à Ottawa pendant la Semaine des vétérans 2016 et le 100e anniversaire de la bataille de la crête de Vimy en avril 2017.
- En raison du manque de données statistiques détaillées sur le volet Cérémonies et activités commémoratives, l’équipe chargée de l’évaluation a recouru le plus possible à des entrevues et à des observations.
- L’équipe chargée de l’évaluation n’a pas observé directement les activités à l’étranger, les monuments commémoratifs ou les guides étudiants. Elle a observé autant que possible les monuments commémoratifs grâce à des photographies et des visites virtuelles (visite sur Google du Mémorial national du Canada à Vimy Google-tour). Des entrevues, des documents internes et la couverture médiatique ont servi à constituer le fondement de l’analyse des guides étudiants et des activités à l’étranger.
Les limites susmentionnées devraient être prises en compte au moment d’examiner les conclusions de l’évaluation.