• Information générales

Intitulé de la mission	Évaluation à mi-parcours et capitalisation du projet Savoirs éco
Bénéficiaire(s)	Union Européenne (UE) , Expertise France (EF), Ministère de l’Economie et de la Planification (MEP), Ministère de l’Enseignement Supérieur et de la Recherche Scientifique (MESRS), partenaires de mise en œuvre, Structures Productrirces de Savoirs Economiques (SPSE).
Pays	Tunisie
Budget maximum indicatif	30 000 €
Nombre de jours minimum requis	50 jours
Date limite de candidature	30 août 2024

• Contexte 

• Contexte général

Depuis la Révolution du 14 janvier 2011, la Tunisie a connu des transformations profondes sur les plans politique, économique et social. L’instauration de la démocratie a conduit à l’organisation d’élections démocratiques et à l’adoption d’une Constitution en 2014, renforçant les droits démocratiques et favorisant une société civile active et transparente. En 2020, la Tunisie était le pays arabe où la population se sentait le plus libre d’exprimer ses opinions, selon l’OCDE.

Cependant, depuis l’instauration de l’état d’exception le 25 juillet 2021 (qui a pris fin avec la mise en place de l’Assemblée des représentants du peuple (ARP) en janvier 2023) et l’adoption d’une nouvelle Constitution en juillet 2022 instaurant un régime présidentiel, le contexte politique a changé. De nombreuses décisions sont désormais prises par décrets présidentiels, notamment le décret 2022-54 sur la “lutte contre les infractions se rapportant aux systèmes d’information et de communication”. Ce changement influence les interactions entre les domaines académique, politique, médiatique et de la société civile, structurant le débat public sur les questions économiques et de développement durable.

Sur le plan économique, la Tunisie fait face à un contexte de crise larvée se caractérisant par une   croissance atone, d’une inflation peristante autour de 7% et d’un risque important de défaut souverain  en raison des difficultés d’accéder à des sources de financement stables qui auraient pu découler d’un  d’un éventuel accord avec le FMI.  Dans ce contexte, l’accès à une information fiable sur les enjeux économiques constitue un élément important pour orienter les décisions des agents économiques.  

Or le débat public sur les enjeux économiques et sociaux peine à se structurer et à toucher un large public. Bien que l’information économique soit parmi les rubriques favorites des Tunisiens, une majorité est insatisfaite du contenu, la trouvant peu clair et peu pertinent pour leur quotidien, selon une étude financé par le projet du PAMT2 en 2023.  Dans ce contexte, le projet Savoirs éco cherche  à renforcer le débat public sur les questions économiques en Tunisie, en soutenant les acteurs publics et associatifs producteurs de savoirs et de connaissance économiques . Les chercheurs en économie joueront un rôle crucial pour améliorer la confiance entre le public et la profession des économistes.

• Présentation du projet 

Dans le cadre du Programme d’Appui à la Gouvernance Economique (PAGE) en Tunisie, l’Union européenne finance le Projet « Savoir éco en Tunisie » dont le financement s’élève à 4,5 millions d’euros. Actif depuis le 1er février 2023, le projet est mis en œuvre par Expertise France, avec une équipe dédiée basé à Tunis. Plusieurs partenaires participent à la mise en œuvre du projet notamment la Fondation pour les Etudes et Recherches sur le Développement International (FERDI), le Global Development Network (GDN), l’Institut National de la Statistique et des Etudes Economiques (INSEE), et France Stratégie.

L’objectif du projet est d’appuyer le débat public sur les enjeux économiques en Tunisie à travers un renforcement des Structures Productrices de Savoirs Économiques (SPSE). Dans le cadre du Projet en Tunisie, les SPSE impliquées comprennent :

– Organismes et centres publics à caractère économique dont les travaux éclairent la prise de décision publique et privée. Deux structures sous la tutelle du ministère de l’Economie et de la Planfication sont appuyés : l’Institut Tunisien de la Compétitivité et des Etudes Quantitatives (ITCEQ) et l’Institut National de la Statistique (INS).

– Laboratoires et centres de recherche en économie rattachés à des universités tunisiennes.

– Think-tanks issus de la société civile : association, ONG, syndicat produisant du savoirs et de la connaissance sur les questions économiques et de développement durable en Tunisie. 

Logique d’intervention

Objectifs spécifiques :

• OS.1 : Favoriser le renforcement et l’émergence des SPSE engagées dans une recherche scientifique et opérationnelle.

• OS.2 : Favoriser la vulgarisation, la diffusion, voire l’expérimentation des analyses produites par les SPSE, en particulier celles portant sur la justice sociale et l’égalité femmes/hommes.

Résultats attendus :

• Résultat 1 : Les SPSE appuyées par le projet renforcent leurs organisations et l’expertise de leurs collaborateurs.

• Résultat 2 : Les SPSE appuyées par le projet produisent de nouvelles analyses scientifiques et opérationnelles sur les enjeux économiques en Tunisie, notamment sur la justice sociale et l’égalité femmes/hommes.

• Résultat 3 : Les analyses produites par les SPSE soutenues par le projet sont accessibles et visibles, et/ou font l’objet d’une expérimentation.

Le Projet intervient à trois stades de la chaîne de production du savoir économique à travers trois composantes :

Composante 1 : Renforcement des capacités des SPSE

Les appuis de cette composante visent à :

• Soutenir les fonctions transversales des SPSE dans différents  domaines (institutionnel, réglementaire, organisationnel,  gouvernance,  systèmes d’information, accès aux financements,  digitalisation, audit et évaluation des politiques publiques,  stratégie,  communication,  développement des partenariats, etc.).
• Renforcer les fonctions directement liées à la production d’analyse (base de données, accès à l’information, outils de recherche, ressources humaines, etc.).
• Améliorer la connaissance et l’expertise du personnel des SPSE à travers des formations dédiées, la participation à des évènements nationaux et internationaux, l’organisation de visites d’études et des sessions plus spécifiques et ciblées d’accompagnement à la recherche.

Composante 2 : Accompagnement des SPSE dans la production d’études et d’analyses scientifiques et opérationnelles

Les appuis de la composante 2 visent à soutenir techniquement et financièrement la production d’études et d’analyses par les SPSE. Les travaux produits doivent combiner rigueur scientifique et dimension opérationnelle en lien avec les politiques publiques en Tunisie. La FERDI joueun rôle clé dans la mise en œuvre de cette composante.

Deux points méritent d’être relevés :

• L’objectif des études est de traiter sous un angle économique des questions économiques, sociales, environnementales pertinentes pour la Tunisie.
• Le Projet cherche à favoriser les travaux en collaboration entre les SPSE.

Composante 3 : Appui à la diffusion et à l’application des analyses produites par les SPSE.

Les appuis de la composante 3 visent à assurer la diffusion des études produites afin d’alimenter le débat public sur les questions économiques en Tunisie. Les activités de cette composante s’articulent autour de trois axes :

• Rencontres institutionnelles favorisant le dialogue entre pairs et les bonnes pratiques entre les SPSE tunisiennes et internationales.
• Diffusion et vulgarisation des résultats des études produites en s’appuyant en particulier sur les médias et les réseaux sociaux.
• Développement de projets-pilotes reposant sur des travaux et études produites préalablement par les SPSE.

• OBJECTIFS ET RESULTATS POURSUIVIS

• Objectifs de la mission

• Raison d’être et objectifs de l’évaluation et de la capitalisation

Conformément à la Description de l’Action (DoA) et aux recommandations du plan SERA adopté pour le projet, le projet Savoirs éco est soumis à des évaluations à mi-parcours et finales pour garantir sa transparence, son efficacité et son impact. L’évaluation intermédiaire, prévue pour l’automne 2024, sera réalisée par des experts externes conformément aux politiques et procédures de Suivi et d’Évaluation (S&E) d’Expertise France. Elle revêt une importance cruciale, car elle permet d’analyser les progrès accomplis, de tirer parti des leçons apprises et de formuler des recommandations pour orienter les décisions futures.

Cette évaluation est également un jalon essentiel pour assurer la redevabilité du projet envers le bailleur de fonds (UE), l’agence de mise en œuvre (Expertise France), et les bénéficiaires, notamment les Structures Productrices de Savoirs Économiques (SPSE) en Tunisie. Parallèlement, la capitalisation des expériences et savoir-faire est un élément clé de ce processus. Elle vise à recueillir, documenter et diffuser les bonnes pratiques et les enseignements tirés des activités du projet, afin de renforcer les capacités des équipes d’EF et ses partenaires et de guider le développement et la mise en œuvre des futurs projets. L’évaluation et la capitalisation doivent ainsi contribuer non seulement à l’amélioration du projet Savoirs éco, mais aussi à l’optimisation des stratégies de mise en œuvre d’Expertise France.

• Objectifs et attentes générales de la mission 

L’objectif principal de cette mission est de fournir aux partenaires nationaux (notamment le Ministère de l’Économie et de la Planification et le Ministère de l’Enseignement Supérieur et de la Recherche Scientifique), aux partenaires de mise en œuvre (FERDI, France Stratégie, INSEE et GDN), à  Expertise France (équipes terrain et siège), ainsi qu’à l’Union Européenne :

• Une analyse globale et indépendante : Une évaluation complète et objective de la performance du projet Savoirs éco, en mettant l’accent sur les résultats intermédiaires obtenus jusqu’à présent par rapport aux objectifs fixés. Cette analyse visera à déterminer dans quelle mesure le projet atteint ses objectifs, identifie les écarts éventuels, et évalue l’efficacité des interventions mises en place.
• Des leçons apprises et bonnes pratiques : Des enseignements tirés des expériences du projet, accompagnés de recommandations concrètes pour améliorer les actions actuelles et futures. Cette partie de la prestation (évaluation & capitalisation) fournira des bonnes pratiques sur la manière de renforcer les interventions existantes, de corriger les faiblesses identifiées, et d’optimiser les résultats dans la phase restante du projet.

En particulier, cette évaluation-capitalisation servira à orienter les décisions concernant l’ajustement ou la poursuite des activités du projet, en fournissant des preuves concrètes sur sa performance. Elle renforcera la transparence et la redevabilité en fournissant des données fiables et en facilitant l’apprentissage organisationnel. De plus, elle permettra d’identifier les facteurs ayant contribué au succès ou aux obstacles rencontrés, en détaillant les relations de cause à effet et les éléments clés influençant la réalisation des objectifs.

Les exigences spécifiques des bailleurs de fonds, notamment les lignes directrices de l’Union Européenne, seront scrupuleusement respectées pour garantir une évaluation conforme aux standards de qualité, de transparence et de rigueur attendus.

• Périmètre de l’évaluation et de la capitalisation

La mission d’évaluation et de capitalisation portera sur les éléments suivants : 

Période : Février 2023 – Septembre 2024 (20 mois); 

Composantes : Toutes les composantes du projet Savoirs éco; 

Pays : Tunisie;

Contributeurs principaux : L’Union Européenne (UE), Expertise France (EF), Ministère de l’Économie et de la Planification (MEP), Ministère de l’Enseignement Supérieur et de la Recherche Scientifique (MESRS).

Bénéficiaires finaux : Partenaires de mise en œuvre, Structures Productrices de Savoir à vocation Economique (SPSE) en Tunisie.

• Critères et questions évaluatives et de capitalisation

• Critères et questions évaluatives

L’évaluation utilisera les critères définis par le Comité d’Assistance au Développement (CAD) de l’Organisation de Coopération et de Développement Économiques (OCDE) : pertinence, cohérence, efficacité et durabilité 

Les questions d’évaluation détaillées ci-dessous ont été développées de manière participative au sein de l’équipe projet. Elles seront revues par le prestataire au moment de la phase de démarrage de la mission, afin de proposer une version finale dans le rapport de démarrage validé par le comité de pilotage.

 

Critères                d’évaluation	Questions évaluatives
Pertinence	1. Comment et de quelles manières le projet Savoirs éco contribue-t-il à améliorer la place des producteurs de savoirs dans le débat public sur les enjeux économiques en Tunisie ? 2. Dans quelle mesure le projet Savoirs éco s’adapte-t-il aux besoins spécifiques des différents groupes cibles dans le contexte actuel, y compris les SPSE, les partenaires tunisiens et le grand public ? 2.1. Dans quelle mesure le modèle de soutien du projet Savoirs éco, basé sur les instruments que sont les subventions et l’assistance technique, répond-il aux besoins et priorités actuels des SPSE bénéficiaires du projet en Tunisie ? S’il existe des besoins et priorités qui restent non couverts par ce modèle, comment le projet peut y répondre ?
Cohérence	3. En quoi la diversité et la complémentarité des partenaires ont-elles contribué à la cohérence des activités du projet ? 3.1. Le modèle de gouvernance du projet Savoirs éco est-il suffisamment adapté pour permettre une coordination et une collaboration efficaces entre les partenaires, afin d’atteindre les objectifs fixés ? 3.2.  Dans quelle mesure les actions des projets subventionnés dans le cadre de la composante 1 de renforcement des capacités des think tanks sont-elles complémentaires avec  les autres activités du projet, notamment pour ce qui concerne l’assistance technique ? 3.3. Est-ce que les partenaires de mises en œuvre choisis (Ferdi, GDN, INSEE, France stratégie) contribuent à l’atteinte des objectifs fixés ?
Efficacité	4. Quels sont les principaux défis rencontrés par le projet Savoirs éco pour renforcer le débat public au sujet des enjeux économiques ? Quelles stratégies ont été utilisées pour contourner ces obstacles ? 4.1. Quels sont les principaux obstacles rencontrés dans l’engagement du grand public dans le débat économique en Tunisie, et comment le projet Savoirs éco cherche à intéresser le public  aux contenus analytiques (policy briefs et autres) ? 4.2. Dans quelle mesure les positionnements d’Expertise France et de ses partenaires permettent-ils de toucher leur public cible, tout en surmontant les obstacles liés à la participation, à la communication et à la diffusion ? 5. Comment le projet contribue-t-il au renforcement de l’écosystème des SPSE en Tunisie ? 5.1. Dans quelle mesure le projet Savoirs éco parvient-il à atténuer la résistance au changement au sein de l’écosystème des SPSE ? Le projet a-t-il réussi à rationaliser les SPSE publics, c’est-à-dire à rendre leur fonctionnement plus efficace et cohérent suite à son intervention ? 5.2. Dans quelle mesure le projet, par son action directe auprès des partenaires institutionnels et des SPSE bénéficiaires, contribue-t-il à renforcer l’écosystème des SPSE en Tunisie ?
Durabilité	6. Dans quelle mesure la logique d’intervention du projet Savoirs éco permet-elle de garantir sa continuité à moyen et long terme ? 6.1. Dans quelle mesure les nouvelles initiatives soutenues grâce au projet Savoirs éco intègrent-elles les enjeux de durabilité dans leurs pratiques et stratégies ? 7. Dans quelle mesure, le projet Savoirs Eco serait susceptible d’être dupliqué dans d’autres pays d’intervention d’Expertise France ?

 

Le prestataire devra impérativement fournir des éléments objectifs pour chacune des questions d’évaluation soulevées par l’examen des critères. Dans cette analyse, le prestataire s’assurera que les évaluations concernant chacun des quatre critères couvrent l’ensemble des étapes significatives du cycle du projet. En outre, il devra vérifier si les questions transversales telles que l’égalité des genres et la justice sociale ont été prises en compte lors de l’identification et de la formulation des documents, et évaluer à quel degré elles ont été intégrées dans la mise en œuvre et la supervision de l’action.

• Axes et questions de capitalisation

En plus de l’évaluation, la mission inclura une composante de capitalisation visant à identifier et documenter les savoir-faire, les bonnes pratiques et les leçons apprises au cours de la mise en œuvre du projet Savoirs éco. 

Les axes de capitalisation suivants ont été définis et les questions correspondantes ont été élaborées pour guider cette analyse : 

Axe 1 : Positionnements et stratégies de mobilisation et de communication d’Expertise France et de ses partenaires
Objet de capitalisation	Analyse des méthodes et approches utilisées pour les différents positionnements d’Expertise France et de ses partenaires et identification des pratiques efficaces et leçons apprises pour améliorer les futures stratégies de mobilisation et de communication.
Questions de capitalisation	Comment le projet a-t-il déterminé et mis en œuvre les positionnements spécifiques d’Expertise France et de ses partenaires pour atteindre le public cible, et quelles pratiques se sont révélées les plus efficaces dans chaque contexte ? Comment le projet a-t-il surmonté les défis spécifiques liés aux différents positionnements (institutionnels, publics, associatifs), et quelles solutions ont été mises en place pour les gérer efficacement ? Comment le projet a-t-il adapté les pratiques de mobilisation et de communication en fonction des différents types de SPSE (public vs associatif) et des obstacles rencontrés, et quelles adaptations se sont révélées les plus efficaces ? Comment les leçons tirées des expériences passées ont-elles été intégrées par le projet pour optimiser les futurs positionnements et stratégies de mobilisation, en particulier pour améliorer la participation, la communication, et la diffusion des informations ?
Axe 2 : Savoir-faire du projet Savoirs éco
Objet de capitalisation	Documentation des méthodes et pratiques efficaces développées par le projet pour gérer divers défis, afin d’identifier les leçons apprises et les bonnes pratiques à reproduire ou adapter.
Questions de capitalisation	Comment le projet Savoirs éco a-t-il mobilisé son expertise et ses expériences antérieures pour relever les défis politiques, institutionnels et autres rencontrés durant la mise en œuvre ? Comment l’équipe du projet a-t-elle identifié et mis en œuvre les méthodes et pratiques les plus efficaces pour atteindre ses objectifs, et comment ces pratiques peuvent-elles être documentées et partagées systématiquement pour inspirer d’autres projets ou initiatives futures ?

• Description de la mission

• Déroulement de la mission

Le processus d’évaluation et de capitalisation sera mis en œuvre en suivant les étapes ci-dessous :

• Phase de cadrage

Au cours de cette phase préparatoire le.s consultant.e.s doivent :

– Rassembler et consulter toutes les informations et tous les documents relatifs au projet à évaluer (instruction, exécution, suivi) et à la compréhension de son contexte. 

– Identifier toutes les parties prenantes du projet ; 

– Établir un cadre détaillé pour l’évaluation et la capitalisation, en se basant sur les termes de référence, les documents collectés et la logique d’intervention du projet. Cette étape comprendra : (i) la sélection des questions clés sur lesquelles l’évaluation et la capitalisation se concentreront ; (ii) la définition des critères de jugement pour répondre à ces questions ; et (iii) l’identification des indicateurs pertinents et des sources d’information nécessaires (telles que documents, entretiens, groupes de discussion, et enquêtes) pour une analyse approfondie.

A partir de ce travail méthodologique le prestataire proposera une note de cadrage (qui ne devra pas faire plus de 15 pages – Livrable attendu #1) après le démarrage de ses travaux, comprenant les éléments suivants : 

• Une description détaillée des objectifs et enjeux de l’évaluation et de la capitalisation ;

• Une description détaillée du périmètre de l’évaluation : temporel, géographique, actions constitutives du projet évalué ;

• Une analyse des parties prenantes ;

• Une reformulation du questionnement évaluatif proposé dans ce document (Voir « Critères et questions évaluatives ») associée à des critères de réussite, des indices et indicateurs et aux outils de collecte que l’équipe d’évaluation prévoit de déployer pour apporter des éléments de réponse sous la forme d’une matrice d’évaluation ;

• Une description détaillée de l’approche méthodologique retenue et des outils de collecte à son service pour la phase d’évaluation ;

• Une reformulation des axes et questions de capitalisation sur la base des informations collectées lors de l’exercice de ligne de temps (identification des moments d’inflexion, de moments clefs) ;

• La stratégie de diffusion de la capitalisation ;

• Un calendrier de réalisation de la mission d’évaluation actualisé.

 

Ce cadrage fera l’objet d’un échange entre le comité de pilotage et le prestataire et permettra de discuter avec le prestataire de la manière dont il entend structurer la démarche d’évaluation et de capitalisation et d’en vérifier la faisabilité. 

Cette phase préparatoire est une phase clé de la mission d’évaluation et de capitalisation, elle permettra de valider la méthodologie proposée par le prestataire. 

Durant cette phase, le prestataire organisera des rencontres avec les membres du comité de pilotage, l’équipe du projet, et autres parties prenantes. Des réunions supplémentaires pourront être planifiées à la demande du prestataire. 

De plus, un atelier « ligne de temps » sera organisé pour retracer les étapes clés du projet et identifier les moments d’inflexion significatifs. Cet atelier vise à approfondir l’évaluation et la capitalisation, en se concentrant sur l’identification des leçons apprises et la formulation de bonnes pratiques et savoir-faire. Cet exercice sera réalisé entre la phase de réunion de cadrage et la collecte de données. Il servira à créer une vue d’ensemble des moments critiques du projet, permettant ainsi d’orienter l’analyse vers des aspects particulièrement pertinents pour l’évaluation et la capitalisation. Ce processus participatif est essentiel pour s’assurer que les recommandations soient bien ancrées dans la réalité du projet et tiennent compte des expériences et perspectives des différents acteurs impliqués.

• Phase documentaire et de collecte

Une revue documentaire approfondie sera réalisée en septembre/octobre 2024. L’analyse des documents pertinents devra être systématique et refléter la méthodologie conçue et approuvée lors de la phase de démarrage. Les activités menées au cours de cette phase devront permettre de fournir des réponses préliminaires à chaque question d’évaluation, en communiquant les informations déjà recueillies ainsi que leurs limites. Ces activités devront également mettre en lumière les questions restant à aborder, les informations manquantes et les hypothèses préliminaires à tester. Les données secondaires suivantes seront partagées avec les évaluateurs :

• Documents de projet ;
• Études et évaluations ;
• Rapports des bailleurs de fonds ;
• Données de suivi du projet ;
• Politiques nationales ;
• Analyses contextuelles ;
• Autres documents pertinents.

La chargée de suivi évaluation redevabilité et apprentissage (SERA) du projet Savoirs éco, qui servira de point focal, mettra à disposition du prestataire une boîte à outils contenant les documents ressources du projet, tels que le rapport de démarrage et d’autres documents essentiels.

La collecte de données primaires est prévue pour octobre 2024, lors d’une visite sur le terrain des évaluateurs sur le lieu d’intervention. Cette collecte se fera en Tunisie, principalement à Tunis, mais aussi dans les gouvernorats d’activité du projet. Cela inclura, mais sans s’y limiter :

• L’utilisation de méthodes de collecte qualitatives et quantitatives définies par les évaluateurs avec l’ensemble des parties prenantes du projet, en fonction d’un échantillon suggéré par les évaluateurs ;
• Visites sur le terrain ;
• Enquêtes ;
• Des focus groupes ;
• Entretiens;
• Participation à tout atelier/formation durant la période de mise en œuvre de l’évaluation à mi-parcours pour recueillir des informations pertinentes pour la mission, tel que requis par le projet et pertinent pour la mission.

Toutes les étapes de la collecte de données doivent être réalisées de manière éthique et respectueuse. Ainsi, lors de la mission terrain, les consultants.es veilleront à garantir la participation équilibrée des femmes et des hommes dans toutes les activités de collecte de données. De plus, ils accorderont une attention particulière à la confidentialité et à la sécurité des données sensibles, en mettant en place des protocoles de protection des informations collectées. Ces protocoles incluront des mesures telles que le stockage sécurisé des données et la limitation de l’accès aux informations aux seules personnes autorisées. En outre, lors des enquêtes et des entretiens, les consultants.es veilleront à créer un environnement sûr et respectueux, où les participants se sentiront à l’aise pour partager leurs expériences et leurs opinions en toute confidentialité. 

Une fois cette phase de collecte achevée, le prestataire devra fournir une base de données brute globale anonymisée (livrable attendu #2). Ce document est crucial, car il permettra au projet Savoirs éco de disposer de l’ensemble des données collectées par les évaluateurs, ce qui pourra être utile non seulement pour l’analyse actuelle, mais aussi pour des utilisations futures, telles que le suivi et l’amélioration continue des activités du projet. La base de données devra être organisée de manière à permettre une exploration facile et une extraction efficace des informations pertinentes, tout en respectant les normes éthiques et de confidentialité.

 

Une réunion de restitution à chaud par l’évaluateur des résultats préliminaires suite à la phase de collecte devra être réalisée auprès des partenaires sur le terrain.

Phase de co-construction des recommandations et des bonnes pratiques

Pour garantir des recommandations utiles, pertinentes et opérationnelles, le prestataire devra impliquer activement le comité de pilotage de l’évaluation. Cela se fera par l’organisation d’ateliers de co-construction des recommandations, basés sur les résultats préliminaires établis par le prestataire et l’analyse des données collectées au cours de la mission. Ces ateliers permettront de valider les constats, de discuter des options de recommandations et de s’assurer qu’elles soient pragmatiques et adaptées aux besoins des parties prenantes. 

• Phase de reporting

• Un rapport intermédiaire (première version du rapport – Livrable attendu #3)

A l’issue de la phase de collecte, le ou les consultant.e.s produiront une première version du rapport qui restituera les éléments collectés pour chacun des outils de collecte déployé par l’équipe d’évaluation.  

Ce document, qui pourra prendre la forme plus légère d’un diaporama, doit permettre de partager les premiers éléments de collecte et d’assurer la traçabilité des constats et conclusions de l’évaluation depuis les données collectées.  

Il sert de support à une réunion intermédiaire qui réunit l’équipe d’évaluation sélectionnée, EF, l’UE, le MEP et le MESRS. Celle-ci permettra principalement :

• De partager un niveau de connaissances commun des éléments collectés ;
• D’esquisser collectivement les grandes lignes de l’analyse croisée ;
• Et d’identifier d’éventuelles lacunes de la collecte qui nécessite un complément de collecte. 

• Un rapport final provisoire (Livrable attendu #4)

Un rapport final provisoire qui ne devra pas dépasser les 60 pages hors annexes (cf. plan proposé en annexe 2) sera produit à l’issue des travaux complémentaires d’analyse et de contrôle qualité du ou des consultant.e.s ainsi qu’un support de présentation sous format Power Point.

Ce rapport final provisoire sert de support à une réunion  entre l’équipe d’évaluation sélectionnée et EF, l’UE, le MEP et le MESRS. Celle-ci permettra principalement :

• De partager et discuter les conclusions provisoires relatives aux questions d’évaluation mais aussi aux leçons apprises et bonnes pratiques relatives à la capitalisation ;
• De s’assurer que ces conclusions soient suffisamment étayées et d’identifier d’éventuelles lacunes d’analyse qui nécessiteraient un complément d’analyse ;
• De co-construire les recommandations issues de l’évaluation et de la capitalisation.
• D’ajuster leur formulation pour aboutir à une production collective de recommandations définitives.

• Rapport final définitif et synthèse (Livrable attendu #5)

Un rapport définitif, intégrant les observations d’EF, de l’UE, du MEP et du MESRS, les recommandations identifiées ainsi qu’une synthèse de 5 pages, sera par la suite produit par le prestataire. Une réunion finale entre l’équipe projet Savoirs éco et le prestataire permettra de valider officiellement la dernière version du rapport d’évaluation et de capitalisation. 

Si les observations faites expriment des différences d’appréciation non partagées par les consultants, celles-ci peuvent être annexées au rapport définitif et commentées par les consultants. 

Après avoir, de manière progressive, exposé ses observations, puis formulé ses constats et porté des jugements sur le projet à l’aune des questions évaluatives, le prestataire devra livrer ses conclusions générales de façon à porter une appréciation d’ensemble sur l’intervention évaluée. Ces conclusions doivent être hiérarchisées par ordre d’importance et classées par ordre de fiabilité. 

Le prestataire identifiera des leçons et/ou des recommandations stratégiques et/ou opérationnelles. Ces dernières doivent être liées aux conclusions, regroupées et classées par ordre de priorité. Pour garantir leur opérationnalité et leur adéquation aux activités et résultats du projet, elles seront co-construites avec le comité de pilotage de l’évaluation. Le prestataire devra également formuler des conclusions et des recommandations spécifiques sur l’intégration du genre dans les opérations. 

• Etude(s) de cas (Livrable attendu #6)

Le prestataire réalisera une ou plusieurs études de cas détaillées, documentant les expériences et les pratiques exemplaires du projet Savoirs éco. Ces études de cas seront basées sur les axes et les questionnements de capitalisation développés, et doivent être rédigées de manière claire et accessible, permettant une utilisation concrète par le projet Savoirs éco et par d’autres acteurs souhaitant s’inspirer des expériences du projet. Ces études de cas serviront également comme outil de décision stratégique, offrant des insights précieux et des bonnes pratiques pour orienter les futures actions et améliorer l’efficacité du projet.

• Phase de restitution et de diffusion

Une fois le rapport validé, le.s consultant.e.s animeront un atelier de restitution pour présenter les résultats principaux de leur mission et diffuser les leçons apprises et bonnes pratiques identifiées et documentées lors de l’évaluation/capitalisation. Cet atelier sera principalement destiné à EF, l’UE, le MEP, le MESRS et certains partenaires du projet à identifier en temps voulu et sera organisé à Tunis. 

• Livrables attendus

Les livrables devront être soumis par email sous format Word aux destinataires qui seront indiqués à l’évaluateur ou à l’équipe d’évaluation lors de la phase de démarrage. Ils devront être rédigés en français.

Livrables	# pages max.	Date de livraison
Note de cadrage (incl. Matrice d’évaluation)	15	27 septembre 2024
Base de données globale brute	40	2 novembre 2024
Rapport intermédiaire	30	8 novembre 2024
Rapport final provisoire	60	3 décembre 2024
Rapport final définitif et synthèse selon le format demandé par EF (environ 5 pages)	65	23 décembre 2024
Etude(s) de cas	15	28 décembre 2024
Présentation de l’atelier de restitution (format ppt)	15	Entre le 06 et le 10 janvier 2025

 

En outre, un support de présentation type diaporama devra être produit pour chaque réunion de pilotage.

• Organisation des travaux

• Pilotage de l’évaluation et gouvernance du projet

La mission d’évaluation et de capitalisation est gérée par la chargée suivi-évaluation redevabilité apprentissage (SERA) du projet Savoirs éco, avec l’aide d’un comité de pilotage composé du chef de projet, le point focal au sein du MEP et du MESRS, un.e représentant.e de l’UE.

Les fonctions principales des membres du groupe de pilotage de l’évaluation sont de :

• Conseiller et orienter les choix relatifs à la mission d’évaluation et de capitalisation ;
• Proposer des décisions sur les ajustements à opérer dans la conduite de la mission ;
• Valider les livrables remis par les évaluateurs ;
• Assister le processus de rétroaction (feedback) à partir des résultats, des conclusions, des recommandations et des leçons tirées de l’évaluation et de la capitalisation;
• Assurer un bon suivi du plan d’action une fois la mission terminée.

Des réunions du comité sont prévues au cours de cette mission :

• En phase de démarrage, pour valider la méthodologie générale de mise en œuvre, le plan de collecte des données et la présentation espérée des livrables attendus, et valider la note de cadrage ;
• Lors d’un ou des point/s intermédiaire/s pour réagir aux premières analyses et constats, une fois la phase de collecte de données terminée (validation du rapport intermédiaire) ;
• En phase de finalisation, pour participer à la formulation des conclusions et à la co-construction des recommandations ;
• Pour valider le rapport final en fonction de l’étendue des points restant à arbitrer.

• Modalités de coordination

Il est demandé au.x consultant.e.s d’associer étroitement les membres du comité de pilotage de l’évaluation (Expertise France, Ministère de l’Economie et de la Planification, Ministère de l’Enseignement Supérieur et de la Recherche Scientifique, l’UE) à la construction de son raisonnement, par des liens réguliers tout au long de la mission, de la note de cadrage jusqu’à la réunion de présentation du rapport final provisoire. En particulier, un partage des constats et des premiers éléments d’analyse doit se faire dès la fin de la mission, avant la rédaction du rapport final provisoire de la mission.

Le lieu d’exécution de la mission d’évaluation et de capitalisation sont définis à Tunis. Tout outil permettant de faciliter les échanges entre l’équipe du projet et l’équipe d’évaluation sera accepté à titre complémentaire et non principal. 

• Calendrier

La mission se déroulera entre septembre 2024 et janvier 2025 telle que détaillée ci-dessous à titre indicatif :  

Activités	Lieu	Période
Phase de cadrage	Tunis	Du 16 septembre au 27 septembre 2024
Phase documentaire et de collecte	Tunisie	Du 28 septembre au 2 novembre 2024
Phase de reporting	Tunis	Du 3 novembre au 3 décembre 2024
Analyses et contrôles des soruces	Tunis	Du 4 décembre au 13 décembre 2024
Phase de restitution et de diffusion	Tunisie	Du 14 décembre au 10 janvier 2025

 

L’équipe d’évaluation sélectionnée devra proposer dans son offre un plan de travail détaillé incluant les jours travaillés par activité et par membre de l’équipe d’évaluation, ainsi que les dates et lieux indicatifs. Ce plan de travail sera discuté et validé lors de la réunion de démarrage. 

• Moyens

• Profil(s) demandé(s)

• Expertises attendues

1. 1. Nombre d’expert.e.s par mission : A minima 2 expert.e.s spécialisés en évaluation et apprentissage ou un cabinet d’expertise. 

• Profil des expert.e.s désigné.e.s en charge de l’exécution de la présente mission 

 

Qualifications et expérience

• • Titulaire d’un diplôme universitaire (3ème cycle) dans un domaine pertinent à la mission : économie, sciences sociales, coopération internationale, ingénierie et évaluation de projet ; 
  • Expérience professionnelle de 10 ans minimum ; 
  • Expérience en évaluation de projets de développement du secteur privé (au moins 5 ans) ;
  • Expérience dans l’application et l’évaluation des critères d’évaluation de l’OCDE-CAD ;
  • Expérience de coordination multi-parties prenantes : administrations, agences publiques, organisations internationales, secteur privé (au moins 5 ans) ;
  • Expérience dans des projets similaires financés et dans les procédures d’évaluation de l’UE serait un atout ;

• Très bonne connaissance du contexte tunisien.

 

Compétences métier :

• Excellente connaissance des dispositifs d’évaluation et de capitalisation de programmes et projets de coopération internationale.
• Bonne connaissance de l’approche du changement.
• Excellente capacités en analyse de relations partenariales.
• Expérience minimum de 7 ans dans l’élaboration de systèmes d’évaluation et de capitalisation.  
• Expérience d’animation d’ateliers multi-acteurs sur des sujets complexes.
• Expérience en conception et gestion de base de données. 
• Capitalisation et conception de matériel didactique.

 

Compétences administratives :

• Excellent maîtrise des outils bureautiques (MS Office : Word, Excel, PowerPoint et de leur équivalents LibreOffice) et de l’Internet ;
• Excellentes qualités de communication et d’organisation ;

Compétences linguistiques :

• Excellente maîtrise du français, écrit et parlé (bonnes capacités de rédaction, de synthèse et d’analyse…) ;
• L’arabe est un atout.

• Organisation attendue de l’équipe

Le prestataire peut être des évaluateurs indépendants et/ou une agence d’évaluation. La répartition des rôles et des responsabilités tout au long du processus d’évaluation et de capitalisation doit être présentée. Cela sera discuté et approuvé lors de la réunion de lancement.

• Contenu des offres

Les offres devront inclure : 

• Une offre technique complète: proposant une analyse sur les éléments des termes de référence, la méthodologie, le.s CV mentionnant les expériences similaires, ainsi que les éléments mentionnés dans ces termes de référence (plan de travail détaillé sur les différentes phases et entre les expert.e.s, chronogramme). Le prestataire détaillera également sa vision de la capitalisation (une définition, l’intérêt de capitaliser sur les projets, et les manières de faire) ; 
• Une offre financière, reprenant le budget global de l’évaluation, en détaillant les éléments budgétaires suivants : coût journalier de l’intervenant.e ; décomposition des temps d’intervention par étape de travail ; coûts annexes (prestations et documents complémentaires) ; frais de transport, frais logistiques, frais de traduction ; avec propositions de modalités de paiement. 

NB : toute offre ne comprenant pas l’un des éléments ci-dessus sera considérée comme inéligible.

• Evaluation des offres

Expertise France sélectionnera l’offre qui présente la meilleure notation sur la base de la grille suivante :

 

Critères	Barème
Offre technique	Maximum (80)
Critère n°1. Compréhension et commentaires sur les éléments des termes de référence : pertinence de l’analyse des objectifs et des enjeux, reformulation des questions évaluatives et de capitalisation, plus-value apportée par rapport aux TdR.	10
Critère n°2. Méthodologie, présentation d’une approche d’évaluation et de capitalisation : pertinence et innovation de la proposition méthodologique ; pertinence des outils et techniques proposés et cohérence avec les besoins en collecte et gestion/contrôle qualité des données ; vision de la capitalisation pour l’équipe évaluatrice.	40
Critère n°3. Composition de l’équipe d’évaluation, les CV et la répartition des rôles, responsabilités et références de travaux similaires : expertise, gouvernance de l’équipe.	30
Offre financière	20
Score total	100

• Annexes DES TERMES DE REFERENCES

Annexe 1 : Théorie du Changement & Cadre Logique du projet Savoirs éco 

Annexe 2 : Plan type du rapport d’évaluation

 

Annexe 1 – Théorie du Changement & Cadre Logique du projet Savoirs éco 

Annexe 2 – Plan type du rapport d’évaluation 

Le rapport d’évaluation ne devra pas excéder 40 pages hors annexes (dans une police de caractère 12). Les informations détaillées sur le contexte, le projet ou les aspects généraux de la méthodologie et de l’analyse doivent être répertoriées en annexe. 

La page de couverture du rapport comprendra le préambule suivant : 

« L’objet de l’évaluation du projet est de formuler une opinion motivée sur la pertinence, la cohérence, l’efficience, l’efficacité, l’impact et la viabilité du projet financé au regard du contexte, de la politique et des procédures d’intervention d’Expertise France. L’évaluateur a examiné les réalisations du projet en fonction des objectifs qui étaient fixés. Il a, par ailleurs, procédé à l’examen du processus d’exécution et de fonctionnement du projet dans ses différentes phases de mise en œuvre et de suivi. 

Cette évaluation est financée par l’Agence Française de développement dans le cadre projet Qawafel. Les observations, appréciations et recommandations exprimées dans ce rapport le sont sous la seule responsabilité de leurs auteurs. » 

Le rapport peut s’articuler autour du plan indicatif suivant : 

1. Table des matières et liste des acronymes
2. Résumé (2 pages maximum)

En première page : il rappelle les données clefs (produit financier et montant, date de signature de la convention, date d’achèvement, durée du projet) et décrit le projet : contexte, intervenants et mode opératoire, objectifs, contenu et réalisations attendues. Le consultant indiquera également en 3 à 4 lignes les principaux points de réussites ou d’échecs à retenir (ces lignes seront utilisées pour une présentation interne à Expertise France de l’évaluation).      

En seconde page : le consultant présentera les principales conclusions sur la performance du projet, à l’aune des questions évaluatives ou, dans la mesure du possible, selon les critères d’évaluation du CAD d’après le reclassement des questions évaluatives. Le consultant présentera à droite de la deuxième page les conclusions générales et les enseignements tirés de l’évaluation. 

3. Méthodologie de l’évaluation (3 à 4 pages)

Cette partie rappelle de manière résumée (renvoyer les détails en annexe si nécessaire) la méthodologie adoptée, les modalités générales de déroulement de la mission d’évaluation et les difficultés éventuelles rencontrées.  

Le consultant devra avoir le souci de présenter clairement les méthodes d’investigation et d’analyse utilisées, les procédures suivies pour collecter l’information, s’assurer de sa qualité et de sa validité.  

4. Récit détaillé du projet (5 à 10 pages)

Si le récit s’avère trop long (c’est-à-dire s’il est supérieur à 5-10 pages), alors on le mettra en annexe, et seule une synthèse de ce récit figurera dans le corps du rapport. Cette synthèse insistera sur les faits et facteurs qui nourrissent l’analyse évaluative

Cette partie doit comprendre :

• une présentation générale du contexte et de son évolution au cours de la période de mise en œuvre ;
• une description du projet (objectifs, contenu, montant, produit financier, intervenants, mode opératoire), classement environnemental et social ;
• un résumé du déroulement du projet depuis son démarrage (renvoyer éventuellement en annexes les détails sur les chiffres et les données collectées) mettant en évidence les principaux évènements qui l’ont marqué, présentant l’affectation et le volume des financements mobilisés, rappelant les principales difficultés rencontrées et mentionnant, le cas échéant, les réorientations survenues. Dans ce cadre, le consultant veillera à distinguer la phase d’instruction du projet, sa phase d’exécution (de la signature du contrat bailleur jusqu’à l’achèvement du projet), et enfin les faits marquants intervenus entre la date d’achèvement du projet et la date de l’évaluation.

 

5. Performance du projet (entre 12 et 17 pages)

Il est recommandé d’organiser l’analyse évaluative par questions évaluatives.

Le consultant doit expliciter clairement le cheminement progressif des étapes entre les observations (données brutes), les constats (indicateurs élaborés, ratios) et les jugements portés. [Il devra veiller à bien prendre en compte les jugements sur les questions de genre.

6. Conclusions (4 pages) 

L’évaluation doit aboutir à un jugement argumenté et à des conclusions sur les performances du projet mis en œuvre par Expertise France. Ce chapitre doit synthétiser l’appréciation globale du consultant sur les performances du projet à l’aune de l’analyse évaluative. Les forces et faiblesses du projet doivent être clairement explicitées. Cette synthèse ne suit pas l’ordre des questions ni celui des critères d’évaluation.  

Le consultant s’efforcera de formuler des conclusions en nombre limité de manière à garantir leur qualité. Il clarifiera ou supprimera tout jugement de valeur qui ne serait pas suffisamment étayé par des faits. Il s’efforcera également d’utiliser les critères d’évaluation de manière équilibrée. Les conclusions et enseignements éventuels sont listés, classés et priorisés en quelques pages. Les limites méthodologiques seront mentionnées, tout comme les opinions divergentes, s’il y en a.

7. Leçons et/ou recommandations (2 pages)

Le consultant présente dans cette partie les leçons qu’il peut tirer et propose des recommandations à l’issue de son analyse. Il s’efforcera de maintenir une distinction claire entre les conclusions qui n’entraînent pas d’action particulière et les leçons/recommandations. Ces dernières doivent toutefois découler des conclusions. Les leçons/recommandations doivent être regroupées et classées par ordre de priorité.  

Annexes du rapport 

Les annexes doivent comporter :

• Les termes de référence ;
• La liste des personnes rencontrées ;
• Le calendrier de la mission ;
• Le compte rendu des entretiens de terrain ;
• La liste des documents consultés ;
• La liste des activités spécifiquement examinées et la carte de situation des interventions ;
• Les détails éventuels de la méthode d’évaluation retenue ;
• Les tableaux sur les financements mobilisés, les résultats ou les impacts.

TDR Evaluation intermédiaire Capitalisation – Savoirs éco