2.0 Objet de l’évaluation, enjeux et méthodologie

2.1 Objet et portée

L’évaluation avait pour objet de déterminer l’efficacité, l’efficience et la pertinence des activités du BOV. Il s’agissait de la première évaluation du BOV depuis sa création en 2007^{Footnote 4}. Cette évaluation fait suite à une évaluation de l’évaluabilité terminée le 25 avril 2019.

L’évaluation a porté sur tous les secteurs d’activité du BOV et sur les cinq dernières années de fonctionnement du BOV (de l’exercice 2014-2015 à 2019-2020). Cependant, pour ce qui est de la question liée à la pertinence du BOV et à son mandat, l’équipe d’évaluation s’est penchée sur les origines du BOV, créé en 2007, afin de comprendre pourquoi le Bureau a été créé et de déterminer quels étaient son mandat, ses rôles et ses responsabilités au tout début de son existence. Enfin, il s’agissait d’examiner si ces derniers sont toujours pertinents pour répondre aux besoins actuels des vétérans et des clients.

2.2 Évaluation : enjeux et questions

Les enjeux et les questions qui ont guidé l’évaluation incluent les suivants :

Efficacité

1. Les plaintes des vétérans sont-elles réglées et quels sont les principaux obstacles à la capacité du BOV à les régler?
2. Quelle est l’incidence ou quel est le changement qui a résulté des recommandations découlant des rapports de recherche?
3. Quels résultats supplémentaires ou inattendus (positifs ou négatifs) ont été obtenus grâce au travail du BOV?

Efficience

4. La stratégie en matière de rendement du BOV permet-elle d’en mesurer l’incidence?
5. La structure de gouvernance du BOV est-elle appropriée et efficace pour atteindre les résultats attendus?
6. En ce qui concerne les autres bureaux d’ombudsman, existe-t-il d’autres structures ou options de prestation (p. ex. pouvoirs, outils) qui permettraient d’améliorer l’efficacité et l’efficience du BOV?
7. Les activités du BOV ont-elles été menées de manière efficace et économique?

Pertinence et mandat

8. Quels sont les besoins et les attentes des vétérans/clients à l’égard d’un ombudsman?
9. Le mandat du BOV est-il toujours pertinent compte tenu du contexte actuel et des besoins des vétérans/clients?
10. Existe-t-il un niveau d’indépendance approprié pour le BOV?

2.3 Méthodologie

Pour étudier les enjeux et les questions d’évaluation et trianguler les données recueillies, une approche mixte a été utilisée. La méthodologie incluait des entrevues auprès d’informateurs clés, l’examen de documents et de bases de données, des études de cas portant sur deux plaintes individuelles et sur un examen systémique, ainsi qu’une évaluation comparative entre le BOV et d’autres bureaux d’ombudsman (fédéraux et de l’Ontario). Un tableau résumant les questions d’évaluation, les indicateurs et les méthodes d’évaluation se trouve à l’annexe 2.

L’examen de la documentation a visé des documents liés au mandat, des plans et rapports annuels, des données sur le rendement tirées de la base de données du BOV (Système de suivi des dossiers de l’ombudsman [SSDO]), des sondages auprès des clients du BOV (2018-2019 et premier semestre de 2019-2020) ainsi que les résultats de sondages auprès des clients menés par ACC entre 2014-2015 et 2019-2020. L’examen de la documentation a couvert le système entier auquel les vétérans ont accès, notamment, le mandat distinct de tous les organismes et paliers d’appel pertinents (p. ex. le BOV, ACC, le TACRA, le Bureau de services juridiques des pensions [BSJP] et le Bureau de l’Ombudsman du MDN et des FAC), leur pertinence pour les vétérans, de même que les lacunes et les aspects complémentaires. Les études de cas portant sur deux plaintes individuelles et sur un examen systémique récent se trouvent à l’annexe 3. La liste des documents et des bases de données consultés se trouve à l’annexe 4.

Vingt-deux entrevues semi-structurées ont été réalisées auprès de personnes appartenant aux catégories suivantes (les guides d’entrevue se trouvent à l’annexe 5) :

• Direction et personnel du BOV (6 entrevues auprès de 8 personnes);
• Membres clés de la haute direction d’ACC qui travaillent avec le BOV (4);
• Membres du Conseil consultatif de l’ombudsman des vétérans, vétérans et organismes d’aide aux vétérans (9);
• Président du Sous-comité des anciens combattants du Sénat (1).

Les réponses des informateurs clés sont présentées dans les constatations comme suit :

• Quelques-uns/quelques : moins de 25 %
• Certains : entre 25 et 49 %
• La majorité : entre 50 et 79 %
• La plupart : plus de 80 %
• Tous : 100 %

L’équipe d’évaluation s’est penchée sur des études de cas portant sur deux plaintes individuelles afin d’examiner des questions d’efficacité et d’efficience particulières de manière approfondie, d’en tirer des leçons et de relever des pratiques exemplaires. Par ailleurs, elle a pris en compte l’examen systémique intitulé Répondre aux attentes : Décisions opportunes et transparentes pour les vétérans malades ou blessés du Canada afin de déterminer en quoi les recommandations du BOV suscitent des changements.

Une évaluation comparative^{Footnote 5} avec d’autres bureaux d’ombudsman a été effectuée pour répondre à des questions liées à la pertinence, en particulier en ce qui concerne les autres solutions en matière de mandat, d’indépendance et de pouvoirs du bureau, la structure de gouvernance et de gestion, les ressources humaines et financières, etc. L’évaluation comparative a également permis d’examiner la manière dont d’autres bureaux d’ombudsman mesurent leur rendement ainsi que les normes internationales liées aux bureaux d’ombudsman. L’équipe d’évaluation a étudié en détail les pratiques du Bureau de l’ombudsman des contribuables et de l’Ombudsman de l’Ontario ainsi que compilé des idées de quatre autres bureaux d’ombudsman fédéraux (le Bureau de l’Ombudsman du MDN et des FAC, le Bureau de l’ombudsman fédéral des victimes d’actes criminels, le Bureau de l’ombudsman de l’approvisionnement et le Bureau de l’ombudsman canadien de la responsabilité des entreprises). Dans le cadre de l’évaluation comparative, l’équipe d’évaluation a examiné les Principes sur la protection et la promotion des bureaux d’ombudsman (« Principes de Venise »), adoptés par la Commission de Venise le 15 mars 2019^{Footnote 6}. Les 25 Principes de Venise représentent le premier ensemble de normes indépendantes internationales pour les bureaux d’ombudsman. Ils servent à orienter l’amélioration de bureaux d’ombudsman nouveaux et existants^{Footnote 7}.

2.4 Limitations

L’équipe d’évaluation s’est fiée aux documents et aux données sur le rendement fournis par le BOV et ne les a pas vérifiés de façon indépendante. Cette limitation a eu peu d’incidence sur le processus d’évaluation, car tous les intervenants ont convenu que les données du BOV étaient exactes et fiables et la plupart avaient été rendues publiques.

Compte tenu du calendrier et des ressources disponibles, l’équipe d’évaluation a mené des entrevues auprès d’un nombre restreint d’informateurs clés (n=22). Cette limitation a eu peu d’incidence sur l’évaluation, puisque des représentants de tous les principaux groupes d’intervenants ont été interrogés et les entrevues auprès de vétérans et de représentants de groupes d’intervenants auprès des vétérans représentaient la moitié de toutes les entrevues effectuées, ce qui a permis de trianguler les données.