Je m’attacherai dans cette dernière partie à évaluer mon projet et à en dégager les limites et les difficultés, tant l’expertise en interne suppose de contraintes. Tout chef de projet se doit d’engager une réflexion quant au processus une fois amorcé.

1. Evaluation du projet

1.1 La validation par le comité de pilotage

La constitution d’un comité de pilotage demeure l’une des mesures à prendre dès les premières étapes du projet, puisque cette « entité » est censée participer aux prises de décisions, mais aussi et surtout à la validation du processus.

Dans la mesure où « un projet est à tout moment susceptible d’être réorienté, tant au niveau de ses objectifs que des moyens mis en œuvre pour le réaliser » , il nécessite la présence d’un comité de pilotage, constitué de plusieurs personnes impliquées de près ou de loin dans le programme de renforcement linguistique.

Il était important qu’au sein du comité de pilotage, il y ait des personnes capables de prendre davantage de recul que les formateurs. Finalement, ont fait parti de ce comité : un responsable de formation, l’attaché de coopération universitaire, un formateur et moi même. J’avais pour tâche de créer des occasions de rencontres, afin qu’on puisse évaluer ensemble l’état d’avancement du projet et valider les choix réalisés.

Il n’y a pas eu véritablement d’écarts constatés, et le comité de pilotage a validé en règle générale la totalité des étapes de l’expertise. J’ai essayé en tant que chef de projet de toujours prendre en compte les attentes communes.

Ce comité de pilotage finalement été primordial pour assurer également la qualité du projet d’expertise.

1.2 L’expérimentation des outils d’apprentissage

Egalement dans un souci de qualité, il était important que les outils puissent être testés sur un autre public avant d’être utilisés. Mais cette expérimentation a surtout permis d’évaluer chacun des processus, de prendre un recul qui s’avère nécessaire. L’œil étranger détecte plus facilement ce que l’œil trop habitué de l’expert peut ne pas saisir.

Les questionnaires concernant les modules de FLE ont fait l’objet d’une expérimentation sur les enseignants du programme de renforcement linguistique d’Alep. Comme le programme fonctionne sensiblement de la même façon dans les deux villes, les formateurs ont pu répondre aux questions tout en me faisant part de leurs remarques constructives. L’aspect formatif de ces questionnaires était vérifié, et ils pouvaient par conséquent être utilisés par le public concerné.

En ce qui concerne la grille d’observation en situation d’enseignement / apprentissage , elle a été testée également par le lecteur conseiller pédagogique de l’université de Homs, qui s’en est servi suite à deux observations de classe. Assez longue, sans pour autant être exhaustive selon moi, cet outil devait faire l’objet d’une prise de notes très complète durant le cours observé, ce qui constituait un inconvénient non négligeable, dans la mesure où l’attention de l’observateur devait se porter sur les formés et les formateurs à la fois. Plusieurs autres utilisations de l’outil auraient dû être aménagées afin de le rendre plus fiable ; néanmoins, le manque de temps ne permettait pas d’expérimentations supplémentaires.

En ce sens, il est difficile de transférer certains outils dans le but d’analyser d’autres programmes de formation.

1.3 Le transfert et ses obstacles

La transversalité escomptée au sein des outils d’analyse est souvent complexe. Il semble même que la création en matière d’outils semble une constante du métier d’expert.

Le programme de renforcement linguistique de Damas a fonctionné un an avant la mise en place de programmes similaires dans les universités d’Alep, Lattaquié, et Homs. Mon projet consistait éventuellement à faire bénéficier les départements de ces universités de mes outils afin qu’une réelle coordination entre les quatre soit possible. Néanmoins, lors de l’expérimentation de certains outils réalisés dans les départements de français d’Alep et Homs, j’ai pris conscience qu’une expertise prenait beaucoup en compte les aspects contextuel, situationnel, éthique, rendant les outils non transférables tels qu’ils avaient été conçus. Si une démarche d’évaluation devait être menée dans un avenir proche dans les trois autres universités syriennes, les outils devraient être réadaptés, modifiés, selon les critères sus-mentionnés.

Finalement, l’analyse d’une action de formation reste unique en soi, et suppose l’adaptabilité des outils de l’expert. Si le projet devait être transféré dans les trois autres villes, le travail supposerait parfois la création de nouveaux outils, sachant que les précédents utilisés à Damas seraient une aide potentielle, mais une entrave dans certaines situations. En effet, l’expert pourrait être influencé par son travail précédent. Le transfert est certes possible, mais en réadaptant totalement les outils au contexte, bien différent dans les autres villes de Syrie.

2. Les limites concernant :

2.1 L’étalonnage

Lors de la phase de réflexion qui a précédé la mise en place du projet, l’idée de mettre en parallèle le fonctionnement des programmes d’Alep, de Lattaquié, de Homs et de Damas a été étudiée.

Je m’étais décidé à utiliser le benchmarking , selon les principes de Carter Mc Namara, afin d’apporter au projet d’expertise davantage de fiablité. D’autre part, il me semblait intéressant que les programmes de renforcement linguistique des autres villes de province participent à cette évaluation.

« Comparing yourself with the same sector might be difficult in many countries … and the competitors’ standards might be worse” . Je me suis vite heurté à des difficultés facile à envisager dès qu’on se replace dans le contexte syrien particulièrement lourd sur le plan bureaucratique.

L’étalonnage supposait d’abord l’obtention des autorisations des autres chefs de département, mais également des doyens et recteurs des autres universités syriennes. Dès les premiers contacts avec le chef de département de français d’Alep, et malgré le soutien de l’attaché de coopération universitaire, je me suis rendu compte de l’impossibilité d’utiliser le benchmarking vu les contraintes temporelles qui m’étaient imposées. Le temps semble effectivement une des données principales du processus, et Mc Namara n’hésite pas à dire que l’exercice du benchmarking peut se dérouler sur toute année.

Même si l’étalonnage est un procédé susceptible de motiver toutes les parties prenantes du projet, encore faut-il qu’elles le soient à moindre coût. Lancer une réflexion commune entre les divers départements de français, les inciter à améliorer leur programme de première année en comparant les systèmes mis en place, supposait un financement auquel ni l’ambassade de France ni le Ministère de l’éducation supérieure ne voulaient participer.

L’idée du benchmarking, quoique séduisante, est donc restée à l’état embryonnaire, dans le sens où elle supposait des contraintes humaines, temporelles et financières trop importantes. La difficulté d’instaurer une réelle collaboration entre les acteurs constituait aussi un obstacle majeur à l’établissement d’un tel processus.

2.2 La collaboration entre les acteurs

l’interaction que je voulais créer au sein de l’équipe de formateurs se fondait essentiellement sur la qualité de la communication que j’allais instaurer. Si l’expertise avait pour objectif d’aider l’ensemble du groupe à engager une démarche de réflexion commune, je cherchais aussi à faire en sorte que ce travail collectif débouche sur un suivi auquel les formateurs participeraient avec ce même esprit d’unité.

J’ai fait en sorte d’inclure tous les acteurs dans le projet, en me rendant disponible et en créant des occasions de rencontres. Néanmoins, vu les contraintes des professeurs d’universités, du nombre important de formateurs au sein de ce programme et du temps que je leur demandais de me consacrer, il a été difficile d’obtenir la collaboration de tous. L’action communicative est coûteuse en temps, et je ne pouvais décemment pas m’attendre à ce que tous puissent se libérer au même moment.

Si la dynamique escomptée a été obtenue au sein même du projet d’expertise, la collaboration entre les acteurs eux-mêmes n’a pas été totale, dans la mesure où les différents statuts des formateurs et les divergences d’opinions de chacun influaient sur la qualité de la communication. Il a fallu gérer parfois certains conflits entre les formateurs même s’ils dépassaient le cadre du programme de renforcement linguistique et celui de l’expertise menée.

Je suis pourtant convaincu d’avoir contribué à la mise en place d’une dynamique au sein de l’équipe enseignante, d’avoir su impliquer ses acteurs. Toutefois, il était ambitieux de penser que ce processus collectif de réflexion pouvait entièrement les satisfaire, quand il s’agit pour eux de fournir un travail supplémentaire pour un salaire toujours aussi modique. Certes, beaucoup de formateurs ont su collaborer, continueront dans cette voie, mais il est évident que leur motivation professionnelle serait davantage stimulée si elle est était rémunérée en conséquence.

2.3 Les suites du projet d’expertise

Même si les décisions finales, représentées sous la forme de recommandations, représentent le consensus du groupe, il faut noter que seul le chef de département est décisionnaire.

M. Lecointe et M. Redinguet spécifient d’ailleurs très justement à ce propos que « si une organisation peut être analysée, régulée de l’extérieur, elle ne peut être dirigée, agie, managée par quelqu’un d’externe ou alors, elle perd son autonomie. Seule peut exister la décision « auto » : par conséquent, l’audit ne peut pas faire plus que de formuler des recommandations, des propositions d’action, de remédiation, de stratégies. La décision et, a fortiori, l’opérationnalisation sont du domaine de l’organisation et du management » .

Dans la mesure où la hiérarchie directe, en l’occurrence le chef de département, ne se trouve pas très impliqué dans l’élaboration, le suivi et l’évaluation de la formation, je suis amené à me demander ce qui sera envisagé dans les premiers mois de l’année universitaire 2002-2003.

Mettre en place une évaluation est une opération politique, impliquant tous les acteurs, mais aussi la hiérarchie. En Syrie notamment, les décisions de changement ne viennent que rarement du bas de la pyramide…Seuls les décrets ministériels sont susceptibles de faire évoluer le système. C’est la raison pour laquelle je suis amené à émettre quelques doutes quant à l’opérationnalisation de certaines recommandations, requièrant davantage d’implication de la part du directeur du département de français.

D’autre part, certaines recommandations touchant à la formation des formateurs peuvent être mises en place uniquement avec le concours des services culturels de l’ambassade de France. Bien que ces services aient appuyé nos propositions d’action, les « gels » qui suivent le passage au nouveau gouvernement les obligent à faire des choix stratégiques, et tendent à recommander la mise en place d’actions peu coûteuses.

En somme, même si les recommandations ont été bien acceptées par l’ensemble des parties impliquées, restent encore quelques interrogations quant à la réalisation de celles supposant à la fois un coût et l’accord des autorités universitaires syriennes.

3. Les difficultés liées à l’expertise interne

En tant que formateur du département de français, mon projet d’expertise a immédiatement revêtu les caractéristiques d’une évaluation interne. Comme le souligne M. Claude le Ninan, « le choix de recourir à une expertise interne ou à une expertise externe présente à la fois des avantages et des inconvénients, par exemple en terme de coût ou d’objectivité » . Il s’agira ici de présenter les difficultés auxquelles se heurte immanquablement l’expert dans sa mission d’évaluation.

3.1 Le problème du statut de l’expert

Le statut de l’expert doit être précisé dès le début de la mission d’évaluation lorsqu’elle est réalisée en interne. Les autres acteurs de la formation doivent être informés ; il est également dans l’intérêt du chef d’établissement d’expliquer aux acteurs impliqués les raisons qui ont présidé à la demande d’expertise et celles qui concernent le choix de l’expert.

Dans le cas de l’expertise réalisée au département de français de l’université de Damas, je me suis heurté à un problème de communication dans les premiers temps, parce que le chef de département n’avait pas pris le temps de me présenter lors d’une réunion en tant que stagiaire DESS censé réaliser l’expertise du programme de renforcement linguistique.

Très souvent, j’ai été dans l’obligation d’expliquer les raisons pour lesquelles j’allais organiser des réunions, établir des questionnaires… Le fait de ne pas avoir été suffisamment introduit auprès des acteurs de la formation sous mon nouveau statut m’a porté préjudice à certains égards dans le sens où je perdais de ma crédibilité en présentant moi-même le projet d’évaluation. Les formateurs m’avaient connu jusqu’alors comme un collègue, leur conseiller pédagogique ; cette expertise passait davantage pour une sorte de contrôle désirée par les services culturels de l’ambassade de France.

Le fait d’avoir suggéré l’expertise au chef de département explique en partie le fait qu’il n’ait pas pris la peine de m’introduire auprès des différents acteurs, qu’il ne se soit pas approprié entièrement le projet. S’il était venu de sa propre initiative, une réunion de présentation du projet aurait été organisée dès le début du stage, afin de clarifier le rôle de chacun lors de la mission. Néanmoins, il est important de préciser que le chef de département a été convaincu du bien fondé de cette expertise au cours de celle-ci. Malgré ses doutes, il a constaté avec satisfaction les effets positifs de l’expertise sur la motivation des formateurs.

3.2 Le problème de l’objectivité de l’expert

L’expertise interne suppose une prise de recul évidente par rapport à l’objet évalué et son environnement humain. Ce type d’évaluation met en cause des qualités qu’il est souvent difficile de conserver tout au long de l’intervention.

L’expert se doit « d’être neutre, c’est-à-dire qu’il n’introduit pas de parti pris pour des raisons d’ordre idéologique, personnelle … d’être indépendant, de ne pas être l’objet de pressions ou d’être capable d’y résister » .

Je me suis heurté au problème de l’objectivité lorsqu’il a été question d’observer les pratiques de classe de mes collègues-formateurs. Mettre de côté mes opinions, être oublieux de tout un passé commun a représenté le plus grand obstacle de mon action. J’ai réussi à obtenir du chef de département le retrait de certaines de mes heures de cours afin de ne pas être trop impliqué dans le programme de formation en tant qu’acteur direct. « On peut retenir qu’il n’y a pas de problème à coiffer plusieurs casquettes, à partir du moment où les casquettes sont bien identifiées, où les fonctions sont bien dissociées, et surtout, si le fait de porter plusieurs casquettes n’entraîne pas de conflits d’intérêts » . Cette mise à distance m’a permis de mener mon action avec plus de sérénité, et d’apporter davantage de fiabilité à mon analyse.

Je voulais voir l’expertise comme un temps d’observation, une mise à distance bénéfique pour tous, mais je n’avais pas imaginé combien mon implication passée dans ce programme influerait de manière subjective sur mes prises de position.

En tant qu’expert, je voulais évidemment estimer le plus objectivement possible , en recherchant des performances mesurables. C’est la raison pour laquelle je me suis beaucoup intéressé aux résultats des formés. Néanmoins, le travail de l’expert se trouve limité s’il ne fait que constater des données, et en aucun cas ces faits ne permettent d’apporter des explications. Les hypothèses fournies par les acteurs de la formation, bien que subjectives, doivent être vérifiées, et sont davantage susceptibles d’apporter des éléments d’explication lorsqu’un problème se présente .

Lors des entretiens et des réunions, l’expert se trouve confronté à un déballage d’opinions, susceptibles de l’influencer, de le contaminer. Il est vrai qu’il est complexe de se défaire des représentations des acteurs ainsi que de ses propres représentations lorsque l’on a participé en tant qu’acteur direct à l’action de formation.

J’ai dû faire appel de temps en temps à un tiers externe, afin d’avoir un regard décentré sur les éléments qui m’étaient apportés par les acteurs de la formation. Toutefois, il est important de signaler aussi qu’un processus d’évaluation interne peut mettre en confiance, sécuriser certains formateurs, plus prolixes face à un tiers connu.

La recherche constante de l’objectivité dans un projet d’expertise en interne nous pousse sans cesse à l’auto évaluation. En ce sens, j’ai réussi à prendre conscience des qualités qu’il me restait à développer pour ce genre d’exercice.

3.3 Auto-évaluation en termes de qualités à acquérir

Ce stage m’a fait réaliser combien l’expert devait être doué de vertus, tout autant que des compétences liées à son exercice. L’expertise est une démarche qui relève de l’ingénierie de la formation, mettant en jeu des outils et des stratégies. L’utilisation d’un langage nouvellement acquis lors de ma formation de DESS m’a parfois empêché d’être simple. Je n’ai guère évité l’écueil, alors que je connaissais l’environnement, le contexte, et qu’il aurait été facile de s’adapter davantage aux acteurs dans la mesure où il s’agissait d’une expertise en interne. En cela, je reste convaincu que l’expert doit s’adapter au milieu qu’il expertise… Cette qualité d’adaptation, d’imprégnation se trouve être, à mon sens, celle que je dois nourrir au fil de mes prochaines expériences.

Lors d’une expertise en interne, il est primordial d’être indépendant du commanditaire, de la hiérarchie en général. Pour cette première expérience dans le domaine de l’expertise, j’estime avoir rempli mon contrat tout en ayant conscience que l’expert, en tant qu’être social, est celui qui interprète une réalité… J’ai le sentiment que j’aurais dû m’impliquer moins en tant que personne, davantage en tant que tiers-expert… la connaissance des lieux, des acteurs de la formation est venue fausser les données. Ainsi, pour répondre à la problématique posée en introduction, la rigueur est possible lors d’une expertise en interne si toutefois on fait appel sans cesse à un regard extérieur. Hadji dit à ce propos que l’objectivité est illusoire. Néanmoins, les dérives de la subjectivité restent rares si les outils utilisés sont de qualité, et s’ils ont été ont été vérifiés, validés, et expérimentés.

L’expertise en interne s’impose comme un délicat mélange de savoir-faire technique et de savoir-être… L’expert est loin de détenir une vérité qu’on doit suivre… La diplomatie de l’expert consiste à ne dire que ce qui peut l’être, ne pas froisser les susceptibilités , d’autant que j’avais pour mission d’instaurer une dynamique au sein de l’équipe de formation. Charles hadji dit à ce propos que « l’évaluateur doit rester à sa place, qui est celle d’un auxiliaire au service du bon déroulement d’un processus » . Là encore, j’ai éprouvé des difficultés à jouer sur leur terrain et le mien à la fois. L’expérience me semble être la seule réponse valable à ce genre de positionnement, mettant en jeu technicité et déontologie.

Conclusion

Grâce à ce stage, j’ai pris conscience que l’évaluateur pouvait être acteur dans une dynamique évolutive, qu’il n’était en aucun cas celui qui sanctionnait… Mon intervention dans le cadre du programme de renforcement linguistique avait pour ultime but de « concevoir un état de choses meilleur, ou en tout cas préférable » . J’ai le sentiment d’avoir rempli ma mission, en essayant de mettre en rapport les acteurs concernés, de créer des liens qui jusqu’alors avaient tardé à se mettre en place.

Mon intervention s’est inscrite dans une démarche de projet, et les recommandations élaborées en concertation avec les acteurs concernés ont été reçues comme la mise en perspectives de projets futurs motivants et réalisables.

Je retiendrai donc trois fonctions importantes du projet d’expertise :
  une fonction sociale évidente
  une fonction de dynamisation
  et une fonction de formation Cette dernière fonction me paraît primordiale, dans le sens où les responsables de formation, les formateurs et les assistants du département de français ont réfléchi ensemble, émis et vérifié des hypothèses, œuvré de manière consensuelle à l’amélioration du programme en question. En effet, « par son caractère réfléchi et novateur, être impliqué dans une démarche de projet est formatif en soi » .

Finalement, ce projet d’expertise m’aura permis d’expérimenter de nouveaux outils, d’enclencher un processus d’amélioration en termes d’actions à venir, auxquelles je participerai sous une autre forme dès la rentrée prochaine.

Bibliographie

Voici une liste des ouvrages qui m’ont aidé dans ma démarche. Certains ont déjà été cités dans mon rapport.

BARBIER, J-M., préface In Xavier ROEGIERS, Analyser une action d’éducation ou de formation, Bruxelles, De Boeck Université,1997.

BLANCHET et GOTMAN, L’Enquête et ses méthodes : l’entretien, Paris, Nathan,1992.

BOUTINET, J-P., Anthropologie du projet, Paris, PUF, 1990.

DENNERY, M., Piloter un projet de formation, du diagnostic des besoins à la mise sous assurance qualité, Paris, ESF, 1999.

GERARD F-M. et ROEGIERS X, Concevoir et évaluer des manuels scolaires, Bruxelles, De Boeck université, 1993.

HADJI Ch., L’Evaluation, règles du jeu, des intentions aux outils, Paris, ESF éditeur, 1989.

HADJI Ch., L’Evaluation des actions éducatives, Paris, PUF l’éducateur, 1992.

LE BOTERF G., L’Ingénierie et l’évaluation de la formation, Paris, Les Editions d’organisation, 1991.

LE BOTERF G., L’Ingénierie des compétences, Paris, Les Editions d’organisation, 1998.

LECOINTE M. et REDINGUET M., L’Audit de l’établissement scolaire, Paris, Les Editions d’organisation, 1994.

LE NINAN C., Pédagogie du projet, cours de DESS AIDL, 2001-2002.

LE NINAN C., Expertise de contenus et de programmes, cours de DESS AIDL, 2001-2002.

PAIN A., Evaluer les actions de formation, Paris, Les Editions d’organisation, 1992.

THIRIOT, M, Démarche qualité en formation, cours de DESS AIDL, 2001-2002.

J’ajoute un site intéressant concernant le benchmarking et les théories de Mc Namara : http://www.mapnp.org/library/evaluation/fnl_eval.htm #anchor1585345

Sigles

AIDL : Acteur international dans le domaine des langues

CCF : Centre culturel français

CDP : Centre de documentation pédagogique

CLF : Centre de langue française

DES : Diplôme d’étude supérieur

DESS : Diplôme d’étude supérieur spécialisé

FLE : Français langue étrangère

ILFA : Institut de langue française appliquée

MAE : Ministère des affaires étrangères

SCAC : Service de coopération et d’actions culturelles