Annexe 2 : Grille d’évaluation

Annexe 2 : Grille d’évaluation
Questions Sous-questions Indicateurs Méthode de collecte de données Source de donnéesFootnote 21
Enjeu : pertinence
Besoin permanent du BOV
1. Quels sont les besoins et les attentes des vétérans/clients à l’égard d’un ombudsman? 1.1 Quels sont les besoins uniques auxquels le BOV répond dans le cadre de son mandat actuel? 1.a Besoins prévus par le mandat et satisfaits par le BOV
1.b Types de plaintes reçues
1.c Perception des intervenants quant au mandat du BOV
Entrevues auprès d’informateurs clés (EIC)
Examen de la documentation (ED)
Examen de bases de données (EBD)
Études de cas (EDC)
EIC : direction et personnel d’ACC et du BOV; membres du groupe consultatif du ministre (GCM); membres du Conseil consultatif de l’ombudsman des vétérans (CCOV)
ED : mandat du BOV; rapports annuels
EDB : CRM (Système de suivi des dossiers de l’ombudsman)
EDC : examen de dossiers; rapport d’examen systémique; EIC BOV
1.2 Compte tenu des autres organismes qui s’occupent des préoccupations et des plaintes des vétérans et des clients, y a-t-il chevauchement ou double emploi avec le BOV et y a-t-il des lacunes dans les domaines où les préoccupations des vétérans et des clients ne sont pas satisfaites? 1.d Degré de chevauchement avec d’autres organismes s’occupant des préoccupations et des plaintes des vétérans
1.e Pourcentage des plaintes des vétérans/clients reçues par le BOV qui ne relèvent pas du mandat du BOV et qui donc ne peuvent pas être réglées par ce dernier
Entrevues auprès d’informateurs clés
Examen de la documentation
Examen de bases de données
EIC : personnel d’ACC et du BOV, GCM, CCOV
ED : décret en conseil C.P. 2007-530; rapports annuels; plan stratégique quinquennal et plan d’activités intégré 2017; accords sur les niveaux de service (ANS) avec ACC, 2016-2019
EDB : GRC (Système de suivi des dossiers de l’ombudsman)
Pertinence du BOV au fil du temps
2. Le mandat du BOV est-il toujours pertinent compte tenu du contexte actuel et des besoins des vétérans/clients? 2.1 Le BOV a-t-il respecté son mandat (pourquoi ou pourquoi pas)? 2.a Ampleur des changements depuis 2007
2b. Preuve de l’évolution du mandat
Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC
ED : décret en conseil C.P. 2007-530; rapport 2007 du Comité permanent; documents de planification 2007; plan stratégique quinquennal et plan d’activités intégré 2017 du BOV
2.2 Les besoins des vétérans ont-ils changé au fil du temps? 2c. Problèmes systémiques des vétérans au fil du temps Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, CCOV
ED : rapports d’examens systémiques du BOV au fil des ans
3. Existe-t-il un niveau d’indépendance approprié pour le BOV? 3.1 Existe-t-il un niveau d’indépendance approprié pour le BOV? 3.a Caractère suffisant du niveau d’indépendance du BOV pour répondre aux besoins des vétérans Entrevues auprès d’informateurs clés
Examen de la documentation
Évaluation comparative (EC)
Études de cas
EIC : BOV, ACC, GCM, CCOV
ED : mandat du BOV
EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels; réunions bimensuelles des ombudsmans
EDC : examen de dossiers; rapport d’examen systémique; EIC BOV
3.2 En quoi le mandat et les pouvoirs du BOV se comparent-ils à ceux d’autres bureaux d’ombudsman? 3.b Pertinence du mandat et des pouvoirs du BOV comparativement à ceux d’autres bureaux Entrevues auprès d’informateurs clés
Examen de la documentation
Évaluation comparative
Études de cas
EIC : BOV, ACC
ED : mandat du BOV
EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels; réunions bimensuelles des ombudsmans
EDC : examen de dossiers; rapport d’examen systémique; EIC BOV
Enjeu : efficacité
Atteinte des résultats
4. Les plaintes des vétérans sont-elles réglées et quels sont les principaux obstacles à la capacité du BOV à les régler? 4.1 Les vétérans/clients connaissent-ils le BOV et y ont-ils recours? 4.a Pourcentage de vétérans et d’autres clients interrogés qui disent connaître le Bureau de l’ombudsman des vétérans ainsi que les services et les avantages qu’il procure
4.b Pourcentage d’intervenants officiels (p. ex. groupes de vétérans) mobilisés annuellement
4.c Nombre d’assemblées publiques tenues annuellement à l’échelle du Canada
Entrevues auprès d’informateurs clés
Examen de la documentation
Études de cas
EIC : BOV, ACC, GCM, CCOV
ED : sondages nationaux d’ACC/recherche sur l’opinion publique, rapports annuels du BOV/ACC, rapports/tableau de bord sur la mobilisation
EDC : examen de dossiers; rapport d’examen systémique; EIC BOV
4.2 Les vétérans sont-ils traités de façon respectueuse et équitable par le BOV, et leurs préoccupations sont-elles traitées par ACC? 4.d Pourcentage des clients du BOV qui disent que leurs plaintes ont été réglées de façon respectueuse
4.e Pourcentage de plaintes considérées injustes par le Bureau de l’ombudsman des vétérans qui ont été réglées par Anciens Combattants Canada
Entrevues auprès d’informateurs clés
Examen de la documentation
Examen de bases de données
EIC : BOV, ACC, GCM, CCOV
ED : questionnaire sur la rétroaction des clients
EDB : GRC (Système de suivi des dossiers de l’ombudsman)
4.3 Les vétérans obtiennent-ils des réponses opportunes à leurs plaintes? 4.f Pourcentage de plaintes fermées dans les 60 jours ouvrables
4.g Pourcentage de clients du BOV qui disent avoir reçu une réponse au moment voulu
Examen de la documentation
Examen de bases de données
ED : questionnaire sur la rétroaction des clients
EBD : GRC (Système de suivi des dossiers de l’ombudsman)
4.4 Les enquêtes systémiques permettent-elles de régler les préoccupations des vétérans/clients? 4.h Efficacité des mécanismes visant à déterminer les sujets de recherche
4.i Degré d’harmonisation de la recherche avec les préoccupations des vétérans au fil du temps
4.j Les procédures permettant de mener et de publier des enquêtes systémiques sont-elles efficaces?
Entrevues auprès d’informateurs clés
Examen de la documentation
Examen de bases de données
Études de cas
EIC : BOV, ACC, GCM, CCOV
ED : rapports de recherche du BOV, bulletins
EBD : GRC (Système de suivi des dossiers de l’ombudsman)
EDC : rapport d’examen systémique, bulletin, EIC BOV
4.5 Quels obstacles/facteurs internes ou externes empêchent le BOV d’atteindre des résultats? 4.k Mesure dans laquelle les obstacles empêchent l’atteinte des résultats Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC, GCM, CCOV
ED : rapports annuels du BOV et d’ACC, rapports de recherche du BOV
5. Quelle est l’incidence ou quel est le changement qui a résulté des recommandations découlant des rapports d’examen systémique? 5.1 Quelle est l’incidence des conseils fournis au ministre des Anciens Combattants et aux comités parlementaires? 5.a Pourcentage des recommandations du BOV à l’égard de problèmes systémiques mises en œuvre par le portefeuille d’Anciens Combattants Canada
5.b Pourcentage des recommandations du BOV à l’égard de problèmes systémiques acceptées par le portefeuille d’Anciens Combattants Canada
Entrevues auprès d’informateurs clés
Examen de la documentation
Études de cas
EIC : BOV, ACC, GCM, CCOV
ED : rapports annuels du BOV et d’ACC, bulletins 2017 et 2018
EDC : examen de dossiers, EIC BOV
Résultats inattendus et facteurs externes
6. Quels résultats supplémentaires ou inattendus (positifs ou négatifs) ont été obtenus grâce au travail du BOV?   6.a Preuve de résultats supplémentaires ou inattendus Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC, GCM, CCOV
ED : rapports annuels d’ACC et du BOV
Enjeu : efficience
Mesure du rendement
7. La stratégie en matière de rendement du BOV permet-elle d’en mesurer l’incidence? 7.1 Les résultats attendus sont-ils bien articulés pour indiquer l’incidence du BOV? 7.a Clarté des énoncés de résultats
7.b Solidité du lien de causalité entre les résultats et le résultat ultime
Examen de la documentation ED : évaluation de l’évaluabilité, profil d’information sur le rendement (PIR)
7.2 Une stratégie de mesure du rendement a-t-elle été élaborée et mise en œuvre? 7.c Preuve d’une stratégie de mesure du rendement
7.d Preuve que le BOV recueille des données pour mesurer sa pertinence, son efficacité et son efficience
Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC (DGVE)
ED : profil d’information sur le rendement (PIR), rapports annuels du BOV et d’ACC, GRC (Système de suivi des dossiers de l’ombudsman)
7.3 Les données du BOV sur le rendement sont-elles fiables, opportunes et valides? 7.e Évaluation des données sur le rendement Entrevues auprès d’informateurs clés
Examen de la documentation
Évaluation comparative
EIC : BOV, ACC
ED : évaluation de l’évaluabilité
EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels (en quoi le succès est-il mesuré par les autres?)
7.4 L’information sur le rendement est-elle communiquée et utilisée dans le processus décisionnel? 7.f Preuve de l’établissement de rapports fondés sur les données sur le rendement du BOV
7.g Preuve de l’utilisation de l’information sur le rendement dans le processus décisionnel
Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC
ED : rapports annuels du BOV et d’ACC
Gouvernance et direction
8. La structure de gouvernance du BOV est-elle appropriée et efficace pour atteindre les résultats attendus? 8.1 En quoi la structure du BOV facilite-t-elle ou entrave-t-elle son succès (p. ex. pouvoirs du BOV, modèle de financement, rapports hiérarchiques, relève, etc.)? 8.a Mesure dans laquelle les structures et les processus de gouvernance et de gestion permettent au BOV d’atteindre les résultats attendus Entrevues auprès d’informateurs clés
Examen de la documentation
EIC : BOV, ACC
ED : Vérification de la gouvernance d’ACC, décembre 2017
8.2 L’approche de gestion (orientation et processus du BOV) est-elle stratégique et adaptée de façon appropriée au fil du temps? 8.b Perception des intervenants quant à la mesure dans laquelle l’évolution de l’orientation et des processus du BOV en ont amélioré l’efficience Entrevues auprès d’informateurs clés EIC : BOV, ACC (anciens employés et employés actuels)
9. En ce qui concerne les autres bureaux d’ombudsman, existe-t-il d’autres structures ou options de prestation (p. ex. pouvoirs, outils) qui permettraient d’améliorer l’efficacité et l’efficience du BOV?   9.a Forces et faiblesses des autres structures ou options de prestation qui permettraient d’atteindre les résultats du BOV et d’en améliorer l’efficience Entrevues auprès d’informateurs clés
Examen de la documentation
Évaluation comparative
EIC : BOV, ACC
ED : organigramme du BOV, février 2019
EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels, réunions bimensuelles des ombudsmans
Efficience en matière de prestation
10. Les activités du BOV ont-elles été menées de manière efficace et économique? 10.1 Le BOV dispose-t-il des bons outils et processus pour assurer l’efficience en matière de prestation? 10.a Ressources et temps moyen requis pour régler les plaintes
10.b Degré de satisfaction des vétérans/clients par rapport au règlement des plaintes
10.c Pourcentage de plaintes dans l’arriéré
10.d Pourcentage d’enquêtes systémiques soumises au ministre dans les 90 jours (micro- enquêtes) et dans les 12 mois (enquêtes systémiques officielles)
10.e Pourcentage des activités du plan de mobilisation qui sont menées annuellement
Entrevues auprès d’informateurs clés
Examen de la documentation
Examen de bases de données
Études de cas
EIC : BOV
ED : étude de l’efficience des services de première ligne, sondages sur la rétroaction des clients, bulletins, examen du tableau de bord sur la mobilisation
EBD : GRC (Système de suivi des dossiers de l’ombudsman)
10.2 Le personnel possède-t-il les capacités requises, et est-il maintenu en poste, pour favoriser une prestation efficace (p. ex. le personnel de communication et de première ligne)? 10.f Points de vue sur les capacités et le maintien en poste du personnel
10.g Preuve que la formation offerte au personnel est donnée et suivie
10.h Taux de roulement
Entrevues auprès d’informateurs clés
Examen de la documentation
Études de cas
EIC : BOV
ED : rapports sur les RH et rapports financiers du BOV