1.0 Introduction

L’évaluation du programme des Services de réorientation professionnelle (SRP) et de l’allocation pour études et formation (AEF) a été effectuée par Goss Gilroy inc. (GGI) au nom de la Direction générale de la vérification et de l’évaluation d’Anciens Combattants Canada (ACC). GGI a mené l’étape de la planification et du travail sur le terrain de cette évaluation entre juin et octobre 2021. Un projet de rapport, des constatations et des recommandations produits par GGI ont servi de base au présent rapport final préparé par la Direction générale de la vérification et de l’évaluation d’ACC.

1.1 Contexte

1.1.1 Services de réorientation professionnelle

Survol

Le programme des SRP a pour but de garantir aux membres admissibles des Forces armées canadiennes (FAC), aux réservistes, aux vétérans, aux époux, aux conjoints de fait et aux survivants l’accès à des services qui leur permettront d’acquérir les compétences et les outils qu’il leur faut pour chercher, postuler et obtenir un emploi civil. Avec leurs nouvelles connaissances et compétences, les participants au programme seront prêts à entrer sur le marché du travail civil non seulement lors de leur transition initiale hors des FAC, mais aussi à tout moment où ils pourraient devoir gérer la transition d’un type d’emploi à un autre.

Exécution

Le programme des SRP est offert par un fournisseur de services tiers contractuel, conformément aux lignes directrices du Ministère^{Note de bas de page 1}. Le programme offre des services dans trois grandes catégories : 1) information sur le marché du travail; 2) orientation professionnelle; 3) aide à la recherche d’emploi. Les demandeurs peuvent présenter une demande dans le cadre de ce programme de trois façons. La façon la plus rapide et la plus simple est de présenter une demande en ligne par l’intermédiaire de Mon dossier ACC. Ceux et celles qui préfèrent une copie papier ou qui ne sont pas en mesure de présenter une demande en ligne peuvent envoyer un formulaire papier rempli par la poste ou le déposer à un bureau de secteur d’ACC ou centre de transition des FAC. À la réception du formulaire, ACC enverra une lettre de décision (approbation ou refus) au demandeur dans un délai de quatre semaines. Si le client est admissible, le fournisseur de services tiers collaborera avec le client pour élaborer un plan visant à répondre à ses besoins en matière d’emploi.

Afin d’améliorer les perspectives d’emploi des participants, le programme a été remanié par Anciens Combattants Canada en 2018. À l’heure actuelle, les personnes admissibles ont accès à des services d’orientation professionnelle, d’aide à la recherche d’emploi et d’information sur le marché du travail. Avant le remaniement de 2018, les vétérans devaient trouver et payer ces services dans la collectivité et présenter une demande de remboursement après la fin du service^{Note de bas de page 2}. Depuis le 1^er avril 2018, les services sont fournis par une tierce partie retenue par contrat qui est ensuite remboursée par ACC^{Note de bas de page 3}.

Critères d’admissibilité

Le cadre législatif des SRP se trouve dans la Loi sur le bien-être des vétérans. Avant 2018, seuls les vétérans, les militaires et les survivants étaient admissibles au programme. À l’heure actuelle, les SRP sont accessibles pour les personnes suivantes^{Note de bas de page 4} :

• militaires qui ont terminé l’instruction de base;
• vétérans (y compris les membres de la Réserve supplémentaire) qui ont terminé l’instruction de base et qui ont été libérés des FAC le 1^er avril 2006 ou après;
• époux ou conjoints de fait dont l’époux a terminé l’instruction de base et a été libéré des FAC le 1^er avril 2006 ou après;
• survivants dont l’époux a terminé l’instruction de base et est décédé le 1^er avril 2006 ou après;
• vétérans/survivants qui ont actuellement droit à l’allocation de soutien du revenu des Forces canadiennes (ASRFC).

Pour être admissibles aux SRP, tous les demandeurs doivent résider au Canada. De plus, les vétérans doivent démontrer qu’ils ont un besoin, et les vétérans, les époux, les conjoints de fait et les survivants ne doivent pas recevoir de services de réadaptation d’ACC.

Ressources

Anciens Combattants Canada affecte chaque année 1,6 million de dollars au financement des SRP. Au total, 3 813 demandes de SRP ont été approuvées par ACC entre 2018-2019 et 2020-2021 (1 559 en 2018-2019, 1 236 en 2019-2020 et 1 018 en 2020-2021). Les prévisions des dépenses de programme indiquent des augmentations au cours des prochaines années. La figure 1 présente en détail les dépenses de programme des SRP (réelles et prévues) de 2017-2018 à 2025-2026^{Note de bas de page 5}. Il convient de noter que les dépenses de 2017 étaient des fonds de mise en œuvre pour l’élaboration et le lancement du contrat avant la mise en œuvre des SRP remaniés en avril 2018.

Figure 1 – Dépenses réelles et prévues des services de réorientation professionnelle

Figure 1 – Dépenses réelles et prévues des services de réorientation professionnelle

Year	Millios de dollars
Réeles
2017-2018	1,7 $
2018-2019	1,6 $
2019-2020	1,8 $
2020-2021	2,3 $
Forecast
2021-2022	2,8 $
2022-2023	3,0 $
2023-2024	3,3 $
2024-2025	3,5 $
2025-2026	3,7 $

Source : Livre des faits et des chiffres d’ACC – édition de mars 2021

1.1.2 Allocation pour études et formatio

Survol

Annoncée dans le budget de 2017^{Note de bas de page 6}, l’allocation pour études et formation (AEF) est conçue pour aider les vétérans à réussir leur transition de la vie militaire à la vie civile, à atteindre leurs objectifs en matière d’études et d’emploi après le service militaire, et à mieux se positionner pour être plus concurrentiels au sein de la main-d’œuvre civile. L’allocation permet également aux vétérans de poursuivre des activités qui leur donnent un but et qui les rendent satisfaits de leur activité ou emploi principal. Contrairement à d’autres programmes et prestations d’ACC, l’AEF n’est pas un programme axé sur les besoins.

En complément du programme des SRP, l’AEF est un avantage imposable qui fournit jusqu’à 86 671,95 $^{Note de bas de page 7} en financement (pendant qu’un vétéran participe à un programme officiel) pour couvrir les frais de scolarité, d’autres frais, les fournitures et certains frais accessoires et de subsistance. De plus, les participants peuvent avoir accès à des fonds pour contribuer aux frais et aux coûts associés aux cours ponctuels visant l’épanouissement, l’intérêt personnel et le perfectionnement. Les vétérans peuvent recevoir une aide financière pour la plupart des types de programmes d’études officiels, selon qu’ils répondent aux critères d’admissibilité.

Exécution

Depuis 2018, ACC offre une AEF aux vétérans admissibles pour des cours de courte durée ainsi que des programmes d’études officiels. Les vétérans peuvent présenter une demande d’AEF de différentes façons, soit en accédant en ligne au moyen d’un formulaire guidé dans Mon dossier ACC, en déposant le formulaire de demande rempli à un bureau d’ACC ou centre de transition des Forces armées canadiennes, ou en envoyant le formulaire à Anciens Combattants Canada par la poste. ACC doit envoyer une lettre de décision au demandeur dans les quatre semaines suivant la réception de la demande dûment remplie^{Note de bas de page 8}.

Le demandeur qui souhaite poursuivre un programme d’études officiel doit présenter une demande d’AEF et soumettre un plan d’AEF pour approbation avant la date de début du programme d’études. L’établissement d’enseignement doit figurer dans le Répertoire des établissements d’enseignement agréés d’Emploi et Développement social Canada (EDSC), ou, si l’établissement n’y figure pas, le demandeur doit présenter des documents prouvant que l’établissement d’enseignement postsecondaire est reconnu par le gouvernement.

Une fois qu’une demande et un plan sont approuvés par ACC, le financement est versé directement à l’étudiant pour le premier trimestre des études^{Note de bas de page 9}. Un maximum de 21 077,81 $ par année est offert aux personnes admissibles qui suivent un programme d’études officiel. Afin de continuer à recevoir des fonds pour les périodes d’études à venir, les demandeurs doivent soumettre à ACC un formulaire de suivi rempli, une preuve d’achèvement et une preuve d’inscription pour le trimestre suivant. En revanche, les vétérans qui souhaitent présenter une demande d’aide financière pour des cours de courte durée doivent soumettre une demande de cours de courte durée dûment remplie qui doit parvenir à ACC avant le premier jour des cours. Les vétérans qui suivent des cours de courte durée peuvent recevoir une aide financière pour les coûts réels facturés directement par l’établissement ou le fournisseur, jusqu’à concurrence de 5 269,45 $.

Critères d’admissibilité

L’administration de l’AEF relève de la Loi sur le bien-être des vétérans. Les vétérans sont admissibles à l’AEF^{Note de bas de page 10} :

• s’ils ont été libérés honorablement des FAC (Force régulière ou de réserve) le 1^er avril 2006 ou après, ou ils sont membres de la Réserve supplémentaire;
• s’ils répondent à l’exigence de « durée de service » comme suit :
  • au moins douze années de service autorisé dans les FAC (4 382 jours) pour recevoir jusqu’à 86 671,95 $ (2022) ou
  • au moins six années de service autorisé dans les FAC (2 191 jours) pour recevoir jusqu’à 43 335,98 $ (2022).

Les vétérans ont jusqu’à dix ans après la date de leur libération pour recevoir des fonds de l’AEF :

• Les vétérans qui ont été libérés des FAC entre le 1^er avril 2006 et le 31 mars 2018 auront jusqu’au 1^er avril 2028 pour recevoir des fonds.
• Les membres de la Réserve supplémentaire qui ont été libérés honorablement entre le 1^er avril 2018 et le 4 juillet 2019 ont dix ans à compter de la date de libération pour recevoir des fonds.
• Les membres de la Réserve supplémentaire qui ont été libérés honorablement le 5 juillet 2019 ont jusqu’au 5 juillet 2029 pour recevoir des fonds.
• Ceux qui ont été transférés à la Réserve supplémentaire après le 5 juillet 2019 ont dix ans à compter de la date du transfert.

Ressources

Ses dépenses totalisant 12,3 millions de dollars au cours du premier exercice 2018 2019, l’AEF a aidé 1 072 vétérans à poursuivre leurs études et à atteindre leurs objectifs de développement personnel^{Note de bas de page 11}. Les dépenses pour l’AEF sont passées à 20,6 millions au cours de l’exercice 2019-2020, ce qui a permis d’aider un total de 1 700 étudiants. Comme le montre la figure 2, les dépenses prévues et le nombre de bénéficiaires devraient augmenter au cours des cinq prochaines années.

Figure 2 – Bénéficiaires de l’allocation pour études et formation et dépenses réelles et prévues

Figure 2 – Bénéficiaires de l’allocation pour études et formation et dépenses réelles et prévues

Year	Dépenses (réelles) Millios de dollars	Bénéficiaires Thousands
2018-2019	12,3 $	1072
2019-2020	20,6 $	1700
2020-2021	23,4 $	1933
Year	Dépenses (prévues) Millios de dollars	Bénéficiaires (prévues) Thousands
2021-2022	28.8 $	2230
2022-2023	25,4 $	1950
2023-2024	29,4 $	2210
2024-2025	34,7 $	2560
2025-2026	35,5 $	2560

Source : Livre des faits et des chiffres d’ACC – édition de mars 2021

1.2 Objet, portée et questions de l’évaluation

1.2.1 Objet

L’évaluation des SRP et de l’AEF est nécessaire pour satisfaire aux exigences de la Loi sur la gestion des finances publiques (article 42.1) et de la Politique sur les résultats pour effectuer les « évaluations de tous les programmes de subventions et de contributions en cours dont les dépenses réelles moyennes pour cinq ans sont supérieures ou égales à cinq millions de dollars par année ». L’évaluation permet également au Ministère de s’acquitter de sa responsabilité d’évaluer les dépenses organisationnelles et les programmes figurant dans le Répertoire des programmes, conformément à la section 4.3.15.2 de la Politique sur les résultats. L’évaluation est menée dans le cadre du Plan d’évaluation ministériel 2020-2025 qui a été approuvé par le sous-ministre le 10 août 2020.

1.2.2 Portée

La portée de l’évaluation comprend toutes les activités des programmes des SRP et de l’AEF menées de 2018-2019 à 2020-2021. Le cas échéant, les données mises à jour peuvent être mentionnées dans ce rapport.

1.2.3 Objectifs

L’objectif de cette évaluation consiste à juger de la pertinence, de l’efficacité et de l’efficience des programmes. De plus, l’évaluation a également tenu compte des éléments suivants :

• harmonisation entre les programmes des SRP et de l’AEF;
• application de l’analyse comparative entre les sexes plus (ACS Plus) au processus d’évaluation afin de déterminer comment divers groupes de femmes, d’hommes et de personnes non binaires servis par ACC ont vécu les programmes;
• compréhension de la mesure dans laquelle les programmes produisent des résultats qui contribuent au bien-être des vétérans admissibles.

1.2.4 Questions d’évaluation

L’évaluation du programme des SRP et de l’AEF porte sur des questions de pertinence, d’efficacité et d’efficience. Les questions suivantes sont posées :

Pertinence

1. Quel est le lien entre les SRP et l’AEF et entre ces programmes et d’autres programmes d’ACC dans le continuum de soutien aux vétérans? Ces liens sont ils appropriés ou efficaces pour répondre aux besoins des vétérans?
2. Dans quelle mesure les critères d’admissibilité pour les SRP et l’AEF répondent ils aux besoins des vétérans?
3. Dans quelle mesure les vétérans ont-ils des besoins non satisfaits en matière de réorientation professionnelle ou d’accès aux études ou à la formation?

Efficacité

4. Les programmes atteignent-ils la portée prévue ou souhaitée?
5. Y a-t-il d’autres approches d’exécution de programmes qui pourraient être envisagées pour améliorer les résultats pour les vétérans?
6. Dans quelle mesure les programmes ont-ils aidé les vétérans à atteindre leurs objectifs personnels et professionnels et à améliorer leur bien-être dans les domaines de bien-être d’ACC?
7. Y a-t-il des résultats inattendus (positifs ou négatifs) découlant de l’obtention de services ou d’avantages, y compris des répercussions imprévues liées à l’ACS Plus auxquels il faudrait donner suite?

Efficience

8. Les données de programme accessibles pour les SRP et l’AEF permettent-elles de mesurer adéquatement leurs résultats/répercussions?
9. Les activités des SRP et de l’AEF ont-elles été menées de manière efficiente et économique?

Les questions d’évaluation ainsi que les indicateurs connexes et les sources de données sont présentés à l’annexe A.

1.3 Méthodologie

Conformément aux lignes directrices du SCT et aux pratiques exemplaires reconnues en matière d’évaluation, un éventail de méthodes et de sources a été utilisé pour trianguler les résultats de l’évaluation. Cette section fournit une description de l’approche méthodologique de l’évaluation. La collecte et l’analyse des données ont été guidées par les questions d’évaluation et les indicateurs décrits à l’annexe A.

1.3.1 Examen des documents, des données et des dossiers des programmes et de rendement

L’équipe de GGI a examiné les documents de programme pertinents et les données liées aux programmes des SRP et de l’AEF. Ces documents comprennent ce qui suit :

• rapports annuels et autres exemples de rapports du fournisseur de services tiers des SRP;
• guide du demandeur, FAQ, politiques, processus opérationnel de l’AEF, etc.
• politiques, processus, FAQ, rapport d’évaluation précédent des SRP, etc.
• profil d’information sur le rendement (PIR) des services de transition.

1.3.2 Entrevues auprès de répondants clés

Pour aider à établir la portée de l’évaluation, GGI a tenu sept réunions avec onze personnes afin de mieux comprendre le contexte des programmes et d’explorer les domaines d’intérêt pour l’évaluation. GGI a également tenu deux réunions pour préparer les entrevues subséquentes. Une rencontre a eu lieu avec des agents de négociation des contrats internes d’ACC et une autre a eu lieu avec le fournisseur de services tiers (et un agent de négociation des contrats d’ACC y a également participé). Ces réunions ont eu lieu afin de mieux comprendre les exigences contractuelles du fournisseur de services tiers, de recueillir des renseignements descriptifs sur les processus et la collecte de données du fournisseur de services tiers, et de discuter de la meilleure approche pour l’entrevue avec le fournisseur de services tiers.

Pendant l’étape de travail sur le terrain de l’évaluation, la Direction générale de la vérification et de l’évaluation d’ACC a travaillé avec les secteurs de programme pour repérer les personnes qui connaissaient bien les deux programmes et qui pourraient fournir des commentaires sur les questions d’évaluation. Un total de neuf entrevues ont été effectuées avec douze participants, comme suit :

• gestionnaires de programme et conseillers principaux d’ACC (six séances d’entrevue ont eu lieu avec huit participants);
• agents d’appel d’ACC (deux entrevues individuelles);
• représentants du fournisseur de services tiers (une entrevue ou séance de groupe a eu lieu avec deux participants).

Les entrevues avec les répondants clés ont été menées par téléphone ou au moyen d’un logiciel de réunion en ligne et ont duré environ une heure. Dans un cas, une réponse écrite aux questions a été fournie.

1.3.3 Groupes de discussion avec le personnel de première ligne

La Direction générale de la vérification et de l’évaluation d’Anciens Combattants Canada a communiqué avec le personnel de première ligne et le personnel chargé du processus décisionnel que leurs gestionnaires ont désignés comme étant des personnes qui ajouteraient de la valeur et de l’information d’un point de vue pratique. Au total, quatre groupes de discussion ont tenu des réunions virtuelles dont le nombre et les types de participants sont indiqués ci-dessous :

• un groupe composé de cinq agents de prestations de programmes;
• un groupe composé de deux agents des services aux vétérans et d’un gestionnaire de cas;
• un groupe composé d’un agent des services aux vétérans et d’un gestionnaire de cas;
• un groupe composé de deux gestionnaires de cas.

Les groupes de discussion ont duré de 1,5 à 2 heures. L’objectif des séances des groupes de discussion était de comprendre la connaissance actuelle des membres du personnel de première ligne à l’égard de chacun des programmes, d’obtenir leur rétroaction sur l’information accessible pour chacun des programmes et leurs suggestions pour améliorer les programmes. On a également fait appel à des groupes de discussion pour obtenir un aperçu du processus décisionnel et de l’efficience et du rendement des programmes du point de vue de l’arbitre.

1.3.4 Sondage auprès des participants

Un sondage en ligne a été mené auprès des vétérans qui recevaient des SRP ou l’AEF, ou les deux.

Échantillon

L’échantillon a été sélectionné par l’équipe d’évaluation d’Anciens Combattants Canada et comprenait les vétérans qui recevaient des services visés dans la portée de l’évaluation, y compris les vétérans qui ont participé aux activités des SRP de 2018-2019 à 2020-2021 et les vétérans qui reçoivent l’AEF depuis son lancement le 1er avril 2018. Le sondage a été mené par l’entremise de Mon dossier ACC.

La population était composée de 7 259 vétérans ayant des identifiants uniques qui ont participé aux programmes des SRP ou de l’AEF, ou aux deux programmes, depuis 2018 2019. Parmi les 7 259 vétérans susmentionnés, le sondage a été réalisé auprès de 3 932 vétérans dont les notifications de Mon dossier ACC ont été activées. Le sondage en ligne a été réalisé auprès de trois groupes distincts, parmi ces 3 932 vétérans, dans le cadre du programme suivant :

• SRP seulement = 848
• AEF seulement = 1 941
• SRP et AEF = 1 143

Taux de réponse

Au total, 672 vétérans ont répondu au sondage, dont 129 ont déclaré avoir reçu des SRP seulement, 377 des services de l’AEF seulement et 166 les deux types de services.

Les taux de réponse^{Note de bas de page 12} sont les suivants :

• Taux de réponse global : 17,1 % (672 sur 3 932)
• Taux de réponse : SRP seulement : 15,2 % (129 sur 848)
• Taux de réponse : AEF seulement : 19,4 % (377 sur 1 941)
• Taux de réponse : SRP et AEF : 14,5 % (166 sur 1 143)

Échantillonnage et marge d’erreur

Un échantillon représentatif est un sous-ensemble d’une population qui a pour but de refléter avec exactitude les caractéristiques du groupe élargi. Au total, l’erreur d’échantillonnage est calculée en fonction des vétérans visés par la présente recherche, y compris ceux dont les notifications sont activées et désactivées. Au total, 7 259 vétérans étaient admissibles au sondage, dont 672 y ayant répondu (8,9 %). Au niveau global, le sondage a une marge d’erreur de plus ou moins 5 %^{Footnote 13} à un niveau de confiance de 95 %.

1.4 Approche analytique

La collecte de données d’évaluation provenant de tous les éléments de preuve a constitué l’intrant de l’analyse. Les données et les éléments de preuve recueillis ont été compilés en matrices pour permettre la triangulation. Ce rapport comprend les constatations tirées de tous les éléments de preuve.

1.5 Forces et limites

L’évaluation porte sur les questions d’évaluation dans la mesure où des renseignements exacts et complets étaient accessibles. Lorsqu’il n’y a pas suffisamment de renseignements, cela est indiqué dans le rapport et les conclusions sont interprétées en conséquence. Voici un aperçu des forces et des limites de cette évaluation.

1.5.1 Forces

Dans l’ensemble, cette évaluation présente une méthodologie solide. L’utilisation de multiples champs d’enquête accroît la confiance dans les constatations et compense, dans une certaine mesure, tout biais de non-réponse. De plus, en utilisant à la fois des sondages et des entrevues/groupes de discussion pour recueillir des renseignements auprès des clients et des employés internes d’ACC, l’évaluation donne l’occasion de faire des déclarations sur la mesure dans laquelle un thème est commun (sondage) et d’expliquer les raisons pour lesquelles c’est le cas (entrevues). De plus, l’analyse des données des programmes a permis de mieux comprendre les processus administratifs associés à l’AEF et aux SRP, ainsi que les caractéristiques démographiques des demandeurs.

Voici d’autres forces de la conception de l’évaluation :

• Accessibilité – L’équipe d’évaluation est formée aux stratégies visant à améliorer l’accessibilité et à faciliter la collecte des données pour les répondants, ce qui comprend l’utilisation de plusieurs modes pour chaque champ d’enquête (p. ex. réunions virtuelles, sondage en ligne). Des options bilingues ont été offertes à tous les répondants.
• Confidentialité – Tout a été mis en œuvre pour que l’évaluation permette de protéger la vie privée et la confidentialité des participants, ce qui comprend l’utilisation de Mon dossier ACC pour les clients et un éventail de stratégies de recrutement d’employés d’ACC.
• Portée – Le sondage était fondé sur une approche de recensement selon laquelle tous les répondants admissibles qui ont activé la fonction de correspondance de Mon dossier ACC ont été invités à répondre à un sondage en ligne. En ce qui concerne les employés internes d’ACC, les invitations aux entrevues et aux groupes de discussion offraient plusieurs dates et heures qui tenaient compte de leur horaire et de leurs disponibilités. Les personnes interrogées et les membres des groupes de discussion avaient la possibilité de participer dans la langue officielle de leur choix.

1.5.2 Limites

Sondage auprès des participants

Bien que tous les efforts aient été déployés pour réduire au minimum les limites, il y a eu des difficultés en ce qui concerne l’accès aux répondants potentiels :

• Afin de protéger la confidentialité des clients, il n’a pas été possible d’accéder à une liste complète des clients. Au lieu de cela, seuls les vétérans qui ont choisi d’être joints dans Mon dossier ACC ont été inclus dans la base de sondage.
• La collecte des données a eu lieu au cours des mois d’été à un moment où les répondants potentiels étaient peut-être moins disponibles ou moins enclins à participer.
• Il est possible qu’il y ait des différences entre les intervenants qui ont participé à la collecte des données et ceux qui ne l’ont pas fait. Par exemple, les clients qui ont vécu des expériences très positives ou très négatives peuvent avoir été plus enthousiastes à l’égard de la participation. Cela signifie que les résultats de chaque champ d’enquête ne peuvent pas être généralisés à l’ensemble de la population. Pour atténuer le problème, d’autres éléments de preuve ont été utilisés pour appuyer les résultats du sondage.

Données des programmes

Les données des programmes ont été utilisées principalement pour répondre aux questions d’évaluation associées à l’efficacité des programmes et à la mesure dans laquelle les programmes ont atteint la portée prévue et souhaitée, y compris la délimitation des caractéristiques démographiques des clients. Les fichiers de données ne contenaient pas de renseignements liés aux décisions relatives à l’admissibilité ou à l’utilisation des programmes au fil du temps, à l’exception des données sur le traitement des demandes. Afin d’atténuer ce problème, les données du rapport triennal du fournisseur de services tiers ont été résumées à cette fin. On estime que même si les données du fournisseur de services tiers n’englobent pas toutes les données des programmes, elles fournissent un niveau acceptable de représentation des résultats et des tendances au fil du temps.