Annie GAUVIN - Présidente du Comité de Pilotage de l’évaluation du FSE+ et FTJ Délégation générale à l’emploi et à la formation professionnelle (DGEFP)

Vous êtes présidente du Comité de Pilotage de l’évaluation des programmes nationaux du FSE+ et du FTJ, pourriez-vous nous expliquer ses missions ? 

Le Comité de Pilotage de l’évaluation est compétent dans le champ de l’évaluation des programmes nationaux   FSE+ et FTJ pour la programmation 2021-2027. Cette instance ad-hoc éclaire la DGEFP, en tant qu’autorité de gestion, et a pour mission de définir, d’animer et mettre en œuvre la stratégie d’évaluation des programmes nationaux FSE+ et FTJ. Pour rappel, le règlement européen établit le cadre de mise en œuvre des évaluations des programmes au regard des différents critères d’efficacité, d’efficience, de pertinence, de cohérence et valeur ajoutée de l’Union européenne¹. Une évaluation d’impact final doit être menée avant le 30 juin 2029. Un examen à mi-parcours des programmes est également prévu par le règlement. 

Le Comité a ainsi pour tâches d’assurer le suivi des travaux d’évaluation, de fournir des éclaircissements sur les aspects méthodologiques les concernant et d’analyser leurs résultats. L’objectif de ces travaux est de mesurer la performance des interventions du FSE+, d’analyser les conditions de leur mise en œuvre, et de faciliter l’appropriation des résultats de l’évaluation par la communauté des parties prenantes concernées par les programmes : bénéficiaires, porteurs de projets, décideurs, acteurs et partenaires nationaux, régionaux, territoriaux en charge de leur mise en œuvre… À court et moyen-terme, ces travaux, au vu de leurs résultats permettront d’ajuster les actions menées au cours de la présente programmation. Sur le moyen et long-terme, ils aideront à tirer des leçons sur « ce qui marche et ce qui ne marche pas » pour élaborer la future programmation, après 2027, du FSE+ et du FTJ.

De qui se compose le Comité de Pilotage de l’évaluation? 

Il regroupe une quarantaine de membres et sa composition est plurielle. Les parties-prenantes des programmes représentent les deux-tiers du comité : Commission européenne, administrations de l’État, autorités régionales, représentants des organismes intermédiaires, bénéficiaires, partenaires économiques et sociaux, société civile. Un tiers sont des experts en matière d’évaluation, des personnes issues du milieu académique et des représentants d’opérateurs publics en matière d’évaluation. Pour permettre une ouverture et une dimension internationale, des organisations telles que l’OCDE, ou des chercheurs étrangers sont aussi impliqués. L’idée est de créer une communauté multipartite contribuant, par sa diversité et l’acculturation réciproque nécessaire au cours des travaux, à une évaluation rigoureuse des effets des programmes nationaux FSE+ et du FTJ. 
 

Quel est votre rôle en tant que Présidente du Comité de Pilotage? 

Je suis garante de la pertinence, de la qualité et de la rigueur du plan d’évaluation et des travaux qui seront réalisés. Je dois veiller au bon fonctionnement du Comité, à la mobilisation dans la durée de ses membres. Je dois favoriser leurs échanges et le croisement de leurs expériences et de leurs expertises. C’est dans cet esprit que j’ai piloté la définition du plan d’évaluation des programmes, qui constitue la feuille de route pour la programmation 2021-2027. Les différentes étapes des évaluations et la fiabilité des travaux devraient permettre d’identifier les points de réussite et les marges d’amélioration des programmes.
 

Pouvez-vous nous rappeler les grandes étapes d’élaboration du plan d’évaluation des Programmes nationaux FSE+ et FTJ ?

Dès la date d’approbation du programme national FSE+² , nous disposions d’un an maximum pour adresser le plan d’évaluation au Comité national de suivi, en vue de sa validation. La première réunion du Comité de pilotage de l’évaluation a eu lieu en mars 2023. 
Le Comité s’est retrouvé à quatre reprises depuis cette date, obéissant à une méthode structurée. Nous avons travaillé dans une logique de co-construction : avec des premières séances consacrées à la connaissance de la programmation actuelle FSE+ et FTJ, à la présentation des leçons tirées de la synthèse des travaux d’évaluation réalisés sur la programmation 2014-2020, et à un partage d’informations sur les données disponibles dans le système de suivi de la programmation, levier indispensable pour imaginer les pistes et les méthodes des évaluations. 
Ces éléments nous ont servi de tremplin pour lancer les travaux sur la nouvelle programmation. 
Nous avons ensuite travaillé en méthode « agile », avec l’appui du LAB national de Pôle Emploi, que je remercie ici, avec qui nous avons élaboré les séquences d’une session de travail d’une journée et demie, qui a associé les membres du Comité. 
Dans ce temps très important de réflexion stratégique, nous avons priorisé et identifié les thématiques clés pour l’évaluation, nous avons défini les questions évaluatives, nous avons envisagé les méthodes associées, et nous avons proposé un calendrier des évaluations. 
Enfin, à partir d’une première version du plan, des échanges itératifs avec les membres du Comité ont permis d’amender un premier canevas, de le compléter et d’aboutir à la version finale du plan d’évaluation qui a été adressé au Comité national de suivi (CNS). Ce dernier l’a validé début novembre 2023, lors d’une séance qui a réuni environ 250 participants, membres de droit du CNS (autorités européennes, nationales, régionales, organismes intermédiaires, bénéficiaires, partenaires économiques et sociaux). 

Cette implication de l’ensemble des membres du Comité de pilotage de l’évaluation est un gage d’engagement pour le futur. Notre approche a été jugée « originale et prometteuse » par la Commission européenne.  Il est souhaitable que la volonté d’impliquer et de faire de ces membres de réels ambassadeurs de l’évaluation des programmes nationaux FSE+ et FTJ soit suivie d’effet dans la durée. 
 

Y-a-t’il eu des échanges à l’échelle européenne lors de cette préparation du plan d’évaluation ?  

Lors de l’élaboration du plan, nous avons pu prendre connaissance, grâce à la Commission européenne, du contenu de plans d’évaluation élaborés par d’autres États membres. À la fin de la période d’évaluation de la programmation 2014-2020, un processus d’évaluation par les pairs a été proposé par la Commission européenne et a donné lieu à des réflexions sur nos pratiques respectives. Ces échanges ont permis de produire des recommandations, notamment sur des points méthodologiques, que nous avons pu prendre en compte dans nos travaux (intégration d’évaluations d’impact, association d’un mix de méthodes qualitatives et quantitatives, suggestion d’introduction d’approches plus expérimentales de l’évaluation…).

Il serait pertinent de poursuivre ces interactions, au fil des évaluations de la programmation 2021-2027, pour nourrir nos travaux de retours d’expériences des différents États membres.

Quelles sont les nouveautés de ce plan d’évaluation par rapport à celui de la programmation 2014-2020 ? 

Lors de la précédente programmation, il existait une obligation de mener au moins une évaluation sur chacun des axes des programmes. Ce n’est plus le cas dans le nouveau cadre réglementaire. Nous avons privilégié une méthode nous amenant à identifier des thématiques à évaluer, plutôt que de dresser un Plan d’évaluation couvrant les 7 priorités, les 10 objectifs spécifiques et la totalité des actions spécifiques du programme national FSE+. Il fallait donc choisir et fournir une argumentation sur les choix réalisés. C’est ce qui a été fait lors des séquences qui se sont tenues au LAB de Pôle emploi.
Nous avons donc souhaité retenir à la fois des thématiques nouvelles pour le FSE+ (notamment l’intégration des enfants exposés au risque d’exclusion et de grande pauvreté, la lutte contre la précarité matérielle et alimentaire, le vieillissement actif, l’adaptation des compétences face aux transitions digitale et écologique) et les thématiques sur l'emploi et les compétences contenues dans le programme national FTJ. Nous avons également souhaité revenir sur des thématiques de la précédente programmation, que nous jugions utiles d’approfondir afin de répondre aux problèmes identifiés au cours de la période 2014-2020 ou plus récemment (par exemple : la levée des freins en faveur de l’insertion sociale  - et pas exclusivement professionnelle -, l’accompagnement des jeunes dans la formation et dans l’emploi, la coordination des acteurs, les parcours des bénéficiaires, le décrochage et le raccrochage scolaire). 

De plus, des évaluations dites transversales seront déployées portant notamment sur l’accompagnement des femmes et l’accompagnement des personnes en situation de handicap. Pour le FTJ, nous prévoyons une évaluation spécifique, de suivi de la mise en œuvre puis d’impact, qui sera menée en partenariat avec l’ANCT. Nous aurons également, pour l’ensemble des évaluations à conduire, une approche spécifique pour les territoires ultra-marins ; la programmation nationale FSE+ 2021-2027 couvrant la totalité du territoire.  
 

Il est ainsi question de mener certains travaux en articulation avec des évaluations conduites par des autorités de gestion régionales qui seraient volontaires. Une expérience réussie lors de la précédente programmation est souvent citée en la matière : il s’agit de celle mise en place pour l’évaluation de l’IEJ.

Nous avons également largement évoqué dans le plan d’évaluation le souhait d’une complémentarité, d’une synergie entre les travaux d’évaluations réalisés pour la programmation nationale FSE+ et les travaux d’évaluation réalisés par d’autres acteurs (opérateurs publics d’études et d’évaluation relatifs à des champs de politiques publics couverts par le FSE+, tels la DARES³, Pôle Emploi, … ; ou coordonnant de tels travaux évaluatifs, tel France Stratégie, …). 
À chaque étape des évaluations, il conviendra d’identifier les travaux déjà menés ou en cours sur des champs similaires ainsi que l’écosystème pertinent à mobiliser, pour éviter de travailler en doublon. Nous souhaitons associer tous les acteurs concernés à notre action dans une démarche partenariale : chercheurs, experts de l’évaluation des politiques publiques, bureaux d’études, DARES, DREES, DEPP⁴ ,… 

Pouvez-vous nous présenter les prochaines étapes de l’évaluation des programmes nationaux FSE+ et FTJ ? 

Nous sommes fin 2023 et encore trop peu d’opérations ont été engagées dans le cadre de la programmation 2021-2027 pour en avoir une vision complète. Nous avons tout de même l’obligation de produire un examen à mi-parcours de la performance en mars 2025. À ce stade, celle-ci sera nourrie principalement par des analyses de données physico-financières. Mais l’étape suivante reste avant tout la mise en œuvre de notre macro-programme, à travers l'établissement de typologies des actions, des examens des conditions de mise en œuvre des opérations, des évaluations d'impact, des analyses de la valeur ajoutée des financements européens, des approches sur l'efficience. Nous allons lancer le cadre nécessaire pour développer et mobiliser nos « ressources » pour les évaluations : un accord-cadre pour sélectionner des évaluateurs, des partenariats avec les acteurs pertinents. Comme indiqué plus haut, un de nos chantiers est aussi d’identifier les possibles articulations avec les autorités régionales pour rendre ce travail collaboratif et efficient. Ces éléments et des propositions vont être présentés et débattus lors d’une prochaine réunion du Comité en janvier 2024. Nous aurons aussi probablement à ajuster le plan d’évaluation en 2026, selon les premiers résultats des travaux menés et afin d’orienter au mieux l’action du FSE+ et du FTJ vers la réalisation de leurs objectifs. 

Avez-vous pour ambition de rendre plus visible l’évaluation du FSE+ et du FTJ et de valoriser les complémentarités sur cette nouvelle programmation ? 

Un de nos objectifs est en effet de favoriser l’approche partenariale et les complémentarités. Nous avons constaté que les travaux d’évaluation de la programmation 2014-2020 avaient parfois été conduits de façon assez cloisonnée. Ils n’avaient pas nécessairement suffisamment tiré parti des connaissances et des ressources déjà existantes. Les chercheurs mobilisés en matière d’évaluation des politiques publiques dans le champ de l’emploi, des compétences, de l’insertion sociale, des jeunes méconnaissent les travaux conduits dans le cadre des programmes du FSE. En outre, le FSE+ dispose de fonds gérés par l’Etat et les conseils régionaux, avec des actions bien souvent complémentaires pour les publics bénéficiaires. Il serait intéressant de trouver des articulations avec les autorités régionales, pour mener des travaux en collaboration sur certaines thématiques (parcours des bénéficiaires, identification des publics dits « invisibles », coordination des acteurs…) et avoir une vision transversale de la contribution des programmes à l’échelle régionale et nationale. À ce titre, plusieurs acteurs sur les territoires sont compétents pour nous éclairer et agissent directement sur le terrain (associations, ONGs…)
 

Auriez-vous quelques mots de conclusion sur la démarche d’évaluation des programmes nationaux  FSE+ et FTJ pour 2021-2027 ? 

Cette démarche de réalisation des évaluations des programmes FSE+ et FTJ nous oblige, dans sa dimension scientifique comme dans sa dimension citoyenne. L’Europe, c’est aussi cela : une capacité à mettre en œuvre et cofinancer des programmes en faveur de l’inclusion, des compétences, de l’emploi, de la jeunesse, de la lutte contre la pauvreté. Ces actions sont articulées avec des priorités européennes et nationales centrales dans le contexte actuel. Dans la perspective des élections européennes en 2024, il est important de faire vivre la compréhension sur ce qu’apporte l’Europe en valorisant les effets de la réalisation des programmes des Fonds sociaux européens, qui sont le plus souvent méconnus du grand public. La pédagogie de la valeur ajoutée de l’Europe, c’est aussi d’être en mesure de diffuser des connaissances et des résultats sur « ce qui marche », sur les conditions de réussite, d’en débattre, et de fonder les voies d’amélioration des politiques publiques, pour répondre au mieux aux besoins des citoyennes et des citoyens européens. 
 

¹Article 44 du règlement (UE) 2021/1060 du 24 juin 2021 portant dispositions communes
²Approbation du Programme National FSE+ à la Commission européenne fin octobre 2022 et du Programme National FTJ fin novembre 2022.  
³Direction de l'Animation de la Recherche, des Études et des Statistiques
⁴Direction de la Recherche, des Études, de l'Évaluation et des Statistiques et Direction de l’évaluation, de la prospective et de la performance