Annexe 2 : Grille d’évaluation
| Questions | Sous-questions | Indicateurs | Méthode de collecte de données | Source de donnéesFootnote 21 |
|---|---|---|---|---|
| Enjeu : pertinence | ||||
| Besoin permanent du BOV | ||||
| 1. Quels sont les besoins et les attentes des vétérans/clients à l’égard d’un ombudsman? | 1.1 Quels sont les besoins uniques auxquels le BOV répond dans le cadre de son mandat actuel? | 1.a Besoins prévus par le mandat et satisfaits par le BOV 1.b Types de plaintes reçues 1.c Perception des intervenants quant au mandat du BOV |
Entrevues auprès d’informateurs clés (EIC) Examen de la documentation (ED) Examen de bases de données (EBD) Études de cas (EDC) |
EIC : direction et personnel d’ACC et du BOV; membres du groupe consultatif du ministre (GCM); membres du Conseil consultatif de l’ombudsman des vétérans (CCOV) ED : mandat du BOV; rapports annuels EDB : CRM (Système de suivi des dossiers de l’ombudsman) EDC : examen de dossiers; rapport d’examen systémique; EIC BOV |
| 1.2 Compte tenu des autres organismes qui s’occupent des préoccupations et des plaintes des vétérans et des clients, y a-t-il chevauchement ou double emploi avec le BOV et y a-t-il des lacunes dans les domaines où les préoccupations des vétérans et des clients ne sont pas satisfaites? | 1.d Degré de chevauchement avec d’autres organismes s’occupant des préoccupations et des plaintes des vétérans 1.e Pourcentage des plaintes des vétérans/clients reçues par le BOV qui ne relèvent pas du mandat du BOV et qui donc ne peuvent pas être réglées par ce dernier |
Entrevues auprès d’informateurs clés Examen de la documentation Examen de bases de données |
EIC : personnel d’ACC et du BOV, GCM, CCOV ED : décret en conseil C.P. 2007-530; rapports annuels; plan stratégique quinquennal et plan d’activités intégré 2017; accords sur les niveaux de service (ANS) avec ACC, 2016-2019 EDB : GRC (Système de suivi des dossiers de l’ombudsman) |
|
| Pertinence du BOV au fil du temps | ||||
| 2. Le mandat du BOV est-il toujours pertinent compte tenu du contexte actuel et des besoins des vétérans/clients? | 2.1 Le BOV a-t-il respecté son mandat (pourquoi ou pourquoi pas)? | 2.a Ampleur des changements depuis 2007 2b. Preuve de l’évolution du mandat |
Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC ED : décret en conseil C.P. 2007-530; rapport 2007 du Comité permanent; documents de planification 2007; plan stratégique quinquennal et plan d’activités intégré 2017 du BOV |
| 2.2 Les besoins des vétérans ont-ils changé au fil du temps? | 2c. Problèmes systémiques des vétérans au fil du temps | Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, CCOV ED : rapports d’examens systémiques du BOV au fil des ans |
|
| 3. Existe-t-il un niveau d’indépendance approprié pour le BOV? | 3.1 Existe-t-il un niveau d’indépendance approprié pour le BOV? | 3.a Caractère suffisant du niveau d’indépendance du BOV pour répondre aux besoins des vétérans | Entrevues auprès d’informateurs clés Examen de la documentation Évaluation comparative (EC) Études de cas |
EIC : BOV, ACC, GCM, CCOV ED : mandat du BOV EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels; réunions bimensuelles des ombudsmans EDC : examen de dossiers; rapport d’examen systémique; EIC BOV |
| 3.2 En quoi le mandat et les pouvoirs du BOV se comparent-ils à ceux d’autres bureaux d’ombudsman? | 3.b Pertinence du mandat et des pouvoirs du BOV comparativement à ceux d’autres bureaux | Entrevues auprès d’informateurs clés Examen de la documentation Évaluation comparative Études de cas |
EIC : BOV, ACC ED : mandat du BOV EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels; réunions bimensuelles des ombudsmans EDC : examen de dossiers; rapport d’examen systémique; EIC BOV |
|
| Enjeu : efficacité | ||||
| Atteinte des résultats | ||||
| 4. Les plaintes des vétérans sont-elles réglées et quels sont les principaux obstacles à la capacité du BOV à les régler? | 4.1 Les vétérans/clients connaissent-ils le BOV et y ont-ils recours? | 4.a Pourcentage de vétérans et d’autres clients interrogés qui disent connaître le Bureau de l’ombudsman des vétérans ainsi que les services et les avantages qu’il procure 4.b Pourcentage d’intervenants officiels (p. ex. groupes de vétérans) mobilisés annuellement 4.c Nombre d’assemblées publiques tenues annuellement à l’échelle du Canada |
Entrevues auprès d’informateurs clés Examen de la documentation Études de cas |
EIC : BOV, ACC, GCM, CCOV ED : sondages nationaux d’ACC/recherche sur l’opinion publique, rapports annuels du BOV/ACC, rapports/tableau de bord sur la mobilisation EDC : examen de dossiers; rapport d’examen systémique; EIC BOV |
| 4.2 Les vétérans sont-ils traités de façon respectueuse et équitable par le BOV, et leurs préoccupations sont-elles traitées par ACC? | 4.d Pourcentage des clients du BOV qui disent que leurs plaintes ont été réglées de façon respectueuse 4.e Pourcentage de plaintes considérées injustes par le Bureau de l’ombudsman des vétérans qui ont été réglées par Anciens Combattants Canada |
Entrevues auprès d’informateurs clés Examen de la documentation Examen de bases de données |
EIC : BOV, ACC, GCM, CCOV ED : questionnaire sur la rétroaction des clients EDB : GRC (Système de suivi des dossiers de l’ombudsman) |
|
| 4.3 Les vétérans obtiennent-ils des réponses opportunes à leurs plaintes? | 4.f Pourcentage de plaintes fermées dans les 60 jours ouvrables 4.g Pourcentage de clients du BOV qui disent avoir reçu une réponse au moment voulu |
Examen de la documentation Examen de bases de données |
ED : questionnaire sur la rétroaction des clients EBD : GRC (Système de suivi des dossiers de l’ombudsman) |
|
| 4.4 Les enquêtes systémiques permettent-elles de régler les préoccupations des vétérans/clients? | 4.h Efficacité des mécanismes visant à déterminer les sujets de recherche 4.i Degré d’harmonisation de la recherche avec les préoccupations des vétérans au fil du temps 4.j Les procédures permettant de mener et de publier des enquêtes systémiques sont-elles efficaces? |
Entrevues auprès d’informateurs clés Examen de la documentation Examen de bases de données Études de cas |
EIC : BOV, ACC, GCM, CCOV ED : rapports de recherche du BOV, bulletins EBD : GRC (Système de suivi des dossiers de l’ombudsman) EDC : rapport d’examen systémique, bulletin, EIC BOV |
|
| 4.5 Quels obstacles/facteurs internes ou externes empêchent le BOV d’atteindre des résultats? | 4.k Mesure dans laquelle les obstacles empêchent l’atteinte des résultats | Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC, GCM, CCOV ED : rapports annuels du BOV et d’ACC, rapports de recherche du BOV |
|
| 5. Quelle est l’incidence ou quel est le changement qui a résulté des recommandations découlant des rapports d’examen systémique? | 5.1 Quelle est l’incidence des conseils fournis au ministre des Anciens Combattants et aux comités parlementaires? | 5.a Pourcentage des recommandations du BOV à l’égard de problèmes systémiques mises en œuvre par le portefeuille d’Anciens Combattants Canada 5.b Pourcentage des recommandations du BOV à l’égard de problèmes systémiques acceptées par le portefeuille d’Anciens Combattants Canada |
Entrevues auprès d’informateurs clés Examen de la documentation Études de cas |
EIC : BOV, ACC, GCM, CCOV ED : rapports annuels du BOV et d’ACC, bulletins 2017 et 2018 EDC : examen de dossiers, EIC BOV |
| Résultats inattendus et facteurs externes | ||||
| 6. Quels résultats supplémentaires ou inattendus (positifs ou négatifs) ont été obtenus grâce au travail du BOV? | 6.a Preuve de résultats supplémentaires ou inattendus | Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC, GCM, CCOV ED : rapports annuels d’ACC et du BOV |
|
| Enjeu : efficience | ||||
| Mesure du rendement | ||||
| 7. La stratégie en matière de rendement du BOV permet-elle d’en mesurer l’incidence? | 7.1 Les résultats attendus sont-ils bien articulés pour indiquer l’incidence du BOV? | 7.a Clarté des énoncés de résultats 7.b Solidité du lien de causalité entre les résultats et le résultat ultime |
Examen de la documentation | ED : évaluation de l’évaluabilité, profil d’information sur le rendement (PIR) |
| 7.2 Une stratégie de mesure du rendement a-t-elle été élaborée et mise en œuvre? | 7.c Preuve d’une stratégie de mesure du rendement 7.d Preuve que le BOV recueille des données pour mesurer sa pertinence, son efficacité et son efficience |
Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC (DGVE) ED : profil d’information sur le rendement (PIR), rapports annuels du BOV et d’ACC, GRC (Système de suivi des dossiers de l’ombudsman) |
|
| 7.3 Les données du BOV sur le rendement sont-elles fiables, opportunes et valides? | 7.e Évaluation des données sur le rendement | Entrevues auprès d’informateurs clés Examen de la documentation Évaluation comparative |
EIC : BOV, ACC ED : évaluation de l’évaluabilité EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels (en quoi le succès est-il mesuré par les autres?) |
|
| 7.4 L’information sur le rendement est-elle communiquée et utilisée dans le processus décisionnel? | 7.f Preuve de l’établissement de rapports fondés sur les données sur le rendement du BOV 7.g Preuve de l’utilisation de l’information sur le rendement dans le processus décisionnel |
Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC ED : rapports annuels du BOV et d’ACC |
|
| Gouvernance et direction | ||||
| 8. La structure de gouvernance du BOV est-elle appropriée et efficace pour atteindre les résultats attendus? | 8.1 En quoi la structure du BOV facilite-t-elle ou entrave-t-elle son succès (p. ex. pouvoirs du BOV, modèle de financement, rapports hiérarchiques, relève, etc.)? | 8.a Mesure dans laquelle les structures et les processus de gouvernance et de gestion permettent au BOV d’atteindre les résultats attendus | Entrevues auprès d’informateurs clés Examen de la documentation |
EIC : BOV, ACC ED : Vérification de la gouvernance d’ACC, décembre 2017 |
| 8.2 L’approche de gestion (orientation et processus du BOV) est-elle stratégique et adaptée de façon appropriée au fil du temps? | 8.b Perception des intervenants quant à la mesure dans laquelle l’évolution de l’orientation et des processus du BOV en ont amélioré l’efficience | Entrevues auprès d’informateurs clés | EIC : BOV, ACC (anciens employés et employés actuels) | |
| 9. En ce qui concerne les autres bureaux d’ombudsman, existe-t-il d’autres structures ou options de prestation (p. ex. pouvoirs, outils) qui permettraient d’améliorer l’efficacité et l’efficience du BOV? | 9.a Forces et faiblesses des autres structures ou options de prestation qui permettraient d’atteindre les résultats du BOV et d’en améliorer l’efficience | Entrevues auprès d’informateurs clés Examen de la documentation Évaluation comparative |
EIC : BOV, ACC ED : organigramme du BOV, février 2019 EC : bureaux de l’ombudsman de l’approvisionnement et de l’ombudsman des services correctionnels, réunions bimensuelles des ombudsmans |
|
| Efficience en matière de prestation | ||||
| 10. Les activités du BOV ont-elles été menées de manière efficace et économique? | 10.1 Le BOV dispose-t-il des bons outils et processus pour assurer l’efficience en matière de prestation? | 10.a Ressources et temps moyen requis pour régler les plaintes 10.b Degré de satisfaction des vétérans/clients par rapport au règlement des plaintes 10.c Pourcentage de plaintes dans l’arriéré 10.d Pourcentage d’enquêtes systémiques soumises au ministre dans les 90 jours (micro- enquêtes) et dans les 12 mois (enquêtes systémiques officielles) 10.e Pourcentage des activités du plan de mobilisation qui sont menées annuellement |
Entrevues auprès d’informateurs clés Examen de la documentation Examen de bases de données Études de cas |
EIC : BOV ED : étude de l’efficience des services de première ligne, sondages sur la rétroaction des clients, bulletins, examen du tableau de bord sur la mobilisation EBD : GRC (Système de suivi des dossiers de l’ombudsman) |
| 10.2 Le personnel possède-t-il les capacités requises, et est-il maintenu en poste, pour favoriser une prestation efficace (p. ex. le personnel de communication et de première ligne)? | 10.f Points de vue sur les capacités et le maintien en poste du personnel 10.g Preuve que la formation offerte au personnel est donnée et suivie 10.h Taux de roulement |
Entrevues auprès d’informateurs clés Examen de la documentation Études de cas |
EIC : BOV ED : rapports sur les RH et rapports financiers du BOV |
|