Annexe A – Matrice d’évaluation

Annexe A – Matrice d’évaluation
Matrice d’évaluation
Questions Indicateurs Méthode de collecte des données Source des données
Point : Pertinence
1. Quel est le lien entre les SRP et l’AEF et entre ces programmes et d’autres programmes d’ACC dans le continuum de soutien aux vétérans? Ces liens sont-ils appropriés ou efficaces pour répondre aux besoins des vétérans? 1.1 Les renseignements descriptifs sur les programmes décrivent le lien Examen des documents Documents des programmes, y compris la politique, le guide du demandeur, la FAQ, les analyses approfondies, le matériel de formation, les documents de communication et de sensibilisation

Documents ministériels, y compris les plans, les rapports et le PIR
1.2 Les participants aux programmes des SRP et de l’AEF s’inscrivent aux autres programmes d’ACC, avant, pendant ou après leur participation aux programmes des SRP et de l’AEF Examen des données Base de données du RPSC
Base de données clients
1.3 Plans des participants aux programmes des SRP/de l’AEF pour les prochaines étapes après la fin du programme Sondage Participants aux SRP/à l’AEF
1.4 Opinions sur la nature, la pertinence et l’efficacité des liens entre les deux programmes Entrevues

Sondage

Groupes de discussion
ACC

Participants aux SRP/à l’AEF

Personnel d’ACC (voir les notes)
2. Dans quelle mesure les critères d’admissibilité pour les SRP et l’AEF répondent ils aux besoins des vétérans? 2.1 Degré d’harmonisation entre les critères d’admissibilité et les objectifs des programmes ou les bénéficiaires cibles Examen des documents

Entrevues
Documents, politiques et documents de travail des programmes

ACC
2.2 Éléments de preuve sur les obstacles à l’accès pour les bénéficiaires cibles, en tenant compte des facteurs de l’ACS Plus, des régions rurales et urbaines, de l’âge, du grade et du français et de l’anglais Entrevues

Sondage

Groupes de discussion
ACC

Participants aux SRP/à l’AEF

ACC
2.3 Pour l’AEF, les critères d’admissibilité des établissements d’enseignement, des programmes et des cours répondent aux besoins des participants Sondage

Examen des données
Participants aux SRP/à l’AEF

Base de données clients
3. Dans quelle mesure les vétérans ont-ils des besoins non satisfaits en matière de réorientation professionnelle ou d’accès aux études ou à la formation? 3.1 Éléments de preuve et opinions sur les besoins ou les lacunes non comblés, en tenant compte des facteurs de l’ACS Plus, des régions rurales et urbaines Entrevues

Examen des documents

Examen des données

Sondage

Groupes de discussion
ACC

Rapports sur les programmes, recommandations des intervenants/du Bureau de l’ombud des vétérans, directives et lignes directrices opérationnelles; rapports sur la prestation de services

Base de données du RPSC

Participants aux SRP/à l’AEF

ACC
Point : Rendement/efficacité
4. Les programmes atteignent-ils la portée prévue ou souhaitée? 4.1 Nombre de demandes pour chaque programme

4.2 Nombre de plans de programmes officiels et de cours de courte durée établis

4.3 Nombre de décisions d’admissibilité favorables relatives aux SRP pour les vétérans, les conjoints, les survivants (ACS Plus, régional/provincial)

4.4 Utilisation du programme au fil du temps, c.-à-d. nombre de clients qui présentent une demande par rapport au nombre de clients qui accèdent aux programmes (plus précisément, inscription à des études ou à des cours au moyen de l’AEF et accès aux SRP), par type de client
Examen des documents

Examen des données
Rapports ministériels

Base de données du RPSC
Base de données CRM
Base de données clients
4.5 Proportion du budget dépensé, par exercice Examen des données Base de données financières
4.6 Sensibilisation des employés de première ligne aux programmes Entrevues
Groupes de discussion
ACC
4.7 Comment les participants prennent connaissance des programmes Sondage Participants aux SRP/à l’AEF
5. Y a-t-il d’autres approches d’exécution de programmes qui pourraient être envisagées pour améliorer les résultats pour les vétérans? 5.1 Pourcentage des clients qui sont satisfaits des services qu’ils ont reçus d’ACC et, pour les SRP, le fournisseur de services Examen des documents

Sondage
Rapports des programmes et ministériels

Participants aux SRP/à l’AEF
5.2 Suggestions du personnel du programme, d’autres employés d’ACC et des participants au programme au sujet des possibilités d’amélioration (poser des questions sur les partenariats/les placements/le jumelage avec les employeurs; lien avec le Guichet-Emplois de Service Canada, plus de soutien pratique pour l’élaboration de CV Entrevues
Groupes de discussion
ACC
ACC
Sondage Participants aux SRP/à l’AEF
6. Dans quelle mesure les programmes ont-ils aidé les vétérans à atteindre leurs objectifs personnels et professionnels? 6.1 AEF : Nombre/pourcentage de clients qui ont terminé les études ou le cours (ou qui sont en voie de le faire, p. ex. qui ont terminé leur première année d’études)

6.2 SRP : Nombre/pourcentage de clients qui comprennent mieux leurs qualifications et leurs possibilités de carrière après le service

6.3 SRP : Nombre/pourcentage de clients qui ont préparé un CV avec l’aide des outils des SRP ou d’un fournisseur de services

6.4 Les vétérans indiquent qu’ils ont atteint un ou plusieurs de leurs objectifs personnels ou professionnels en participant au programme (ils peuvent inclure des objectifs dans leur plan de réorientation professionnelle ou d’autres objectifs, y compris les domaines du bien-être personnel et de la qualité de vie).
Examen des documents

Examen des données

Sondage
Rapports des programmes et ministériels
Base de données clients

Participants aux SRP/à l’AEF
7. Y a-t-il des résultats inattendus (positifs ou négatifs) découlant de l’obtention de services ou d’avantages, y compris des répercussions imprévues liées à l’ACS Plus auxquels il faudrait donner suite? 7.1 Élément de preuve de résultats négatifs inattendus auxquels on n’a pas donné suite

7.2 Élément de preuve de résultats positifs inattendus qui ont mené à une amélioration du rendement du programme
Entrevues

Examen des documents

Sondage
ACC

Rapports des programmes, rapports du Bureau de l’ombud des vétérans, rapports sur la prestation de services

Participants aux SRP/à l’AEF
Point : Rendement/efficience
8. Les données de programme accessibles pour les SRP et l’AEF permettent-elles de mesurer adéquatement leurs résultats/répercussions? 8.1 Clarté des énoncés des résultats, lien de causalité entre les résultats; reflet des pratiques exemplaires

8.2 Éléments de preuve/opinions selon lesquels les programmes permettent de recueillir et de déclarer des données pour en mesurer la pertinence, l’efficacité et l’efficience

8.3 Pertinence, fiabilité, caractère opportun et validité des indicateurs et des données recueillies par ACC, le fournisseur de services (pour les SRP)

8.4 Éléments de preuve et opinions sur l’utilisation de l’information sur le rendement dans la prise de décisions
Entrevues

Examen des documents

Examen des données
ACC

Rapports des programmes et ministériels, profil de l’information sur le rendement

Toutes les bases de données et sources
9. Les activités des SRP et de l’AEF ont-elles été menées de manière efficiente et économique? 9.1 Temps et ressources moyens requis pour évaluer/traiter les demandes d’AEF au fil du temps (variation selon le type de demande, la région et l’ACS Plus)

9.2 Tendances des dépenses administratives de programme (y compris les dépenses contractuelles), des activités de programme (charge de travail, paiements moyens, prévisions, roulement du personnel d’ACC/du fournisseur de services, etc.)
Examen des documents et des données Rapports des programmes/systèmes de RH
9.3 Pourcentage de demandes des SRP et de l’AEF traitées conformément aux normes de service; pourcentage de plans de programmes officiels/cours de courte durée établis dans les quatre semaines suivant la réception du plan d’études terminé

9.4 Pourcentage de paiements effectués avant le début du programme; pourcentage de paiements effectués au bon montant
Examen des documents Rapports ministériels
9.5 Temps d’attente moyen et temps dans le programme pour les SRP, au fil du temps (variation selon le type de service, la région et l’ACS Plus) Examen des documents Rapports des programmes, rapports du fournisseur de services
9.6 Facteurs qui contribuent à l’exécution efficiente et harmonieuse des programmes; signes d’inefficacité (goulots d’étranglement, dédoublement); mécanismes plus économiques pour obtenir des extrants ou des résultats identiques ou supérieurs

9.7 Suggestions et possibilités d’amélioration de l’efficience
Entrevues

Groupe de discussion
ACC

ACC