Dans cette seconde partie, je vais tenter d’expliciter la démarche que j’ai utilisée afin de conduire au mieux mon action. Nous en verrons les différentes étapes, et tenterons de donner les raisons des choix qui ont été opérés. De la veille informative à la restitution du rapport d’expertise, nous verrons aussi la manière dont j’ai essayé de fiabiliser mon action, en étudiant certains processus, et en intégrant à mon discours une réflexion sur le savoir-être de l’expert de qualité.

1. Identification et veille informative

1.1 Identification des acteurs de la formation

« L’évaluation est le moment d’une communication sociale » , selon les termes de Charles Hadji, et c’est la raison pour laquelle, il est primordial de bien identifier chacun des acteurs de la formation et leur rôle au sein de l’action de formation. Le contexte dans lequel j’évoluais depuis deux ans ne m’avait pas tout à fait permis de connaître la totalité des tenants et aboutissants de ce programme de formation, ni la position de chacun des acteurs dans l’organisation.

Ainsi, l’identification des acteurs de la formation me paraissait importante : « La détection de toutes les personnes et de tous les groupes concernés, à différents titres, dans le but de les rendre participants actifs, est un premier pas nécessaire. L’institution, la hiérarchie à différents niveaux, les formateurs, les formés sont les acteurs principaux » .

Je savais qu’en connaissant le rôle et de la position de chacun au sein du programme de formation, je pourrais mieux me rendre compte des représentations différentes, voire conflictuelles des acteurs, nuancer mes approches, afin de les amener à s’impliquer autant que possible dans mon projet d’évaluation.

C’est ainsi que j’ai pu me rendre compte que le chef de département n’était pas nécessairement le véritable décisionnaire, qu’il avait été placé à cette fonction par le comité du département (composé des anciens chefs de départements, doyens, vice-doyens) plus influent que lui. Toute action devait être validé par ce comité. Il était donc important de commencer par déterminer quelles étaient les personnes influentes du département, afin de ne pas commettre d’impairs au sein même de l’institution. J’ai donc cherché des réponses auprès de l’attaché de coopération pour le français en poste depuis 4 ans, élément moteur de la mise en place du programme de renforcement linguistique au département, et susceptible de connaître toutes les personnes ressources de l’action de formation. C’est donc auprès de ces personnes ressources que j’allais commencer mon travail d’investigation.

1.2 Le diagramme de Gantt

Je m’étais investi avant le stage dans différentes lectures concernant le domaine de l’expertise et de l’audit. J’avais une idée de la manière dont j’allais procéder pour mener à bien mon projet. Il me semblait primordial de dresser le plus tôt possible un échéancier afin de le proposer au comité et au chef du département.

Cette démarche aurait pu être réalisée plus tard, mais j’avais conscience que la réalisation d’un diagramme de Gantt, où serait notées toutes les étapes de ma démarche, me dispenserait d’avoir à demander une autorisation au comité à chaque nouvelle phase de mon expertise. En effet, même si le diagramme de Gantt sert avant tout à la planification des tâches dans le temps, il est aussi un moyen d’informer le commanditaire de la démarche que l’on suivra. Dans mon cas, il me faisait économiser un temps précieux, tant la bureaucratie du système universitaire syrien comporte de contraintes.

Il est évident que le diagramme a subi quelques modifications au niveau des dates, notamment celles des réunions qui n’étaient pas planifiées au départ. Néanmoins, l’échéancier n’a guère subi de grands changements.

Réaliser un diagramme de Gantt m’a contraint à parachever mes outils dans les temps. L’échéance approchant, je savais qu’ils devaient être prêts, d’autant plus que les formateurs sont eux aussi sujets à des contraintes temporelles et humaines, et qu’il fallait toujours s’attendre à un peu de retard dans les retours.

Finalement, le diagramme de Gantt a été validé davantage comme un plan d’action inscrit dans un calendrier indicatif .

1.3 La collecte de la documentation écrite

Avant de m’intéresser aux acteurs de la formation, il me fallait commencer un travail de collecte d’informations. Partageant l’opinion de Lecointe et Redinguet, je pense qu’il faut « s’appuyer sur les informations écrites que l’établissement possède » . L’écrit sert à factualiser, et me permettait d’être ensuite plus crédible aux yeux du commanditaire.

J’ai pu ainsi obtenir ce qui avait été déterminé au préalable, le programme (peu détaillé) de l’action de formation, les résultats des précédentes années, ceux de l’année en cours, ainsi que les évaluations finales qui avaient sanctionné chaque module de FLE du programme. Beaucoup de données étaient en arabe, nécessitant la présence d’un collègue traducteur.

Cette première étape devait m’aider à collecter des données, « à appréhender leur logique afin de permettre de construire une première vue d’ensemble du produit de formation » .

Grâce à cette collecte en interne, j’ai également réussi à obtenir des renseignements qui allaient m’être d’une grande utilité pour la suite de mon action : la liste des acteurs et leurs coordonnées, les compte-rendus de réunions concernant le programme de renforcement linguistique, les projets en cours au département de français…

Ce premier travail d’identification et d’investigation m’a permis de faire ressortir les ressources informationnelles, matérielles, financières, humaines, liées au programme de formation à expertiser. C’est à partir de ces éléments parfois chiffrés que j’ai pu enregistrer de façon sommaire et réversible des pré-hypothèses, des données à observer. J’ai ainsi pu établir une sorte de première « analyse », qui s’est faite de manière très empirique et intuitive. Certaines questions semblaient s’imposer d’emblée, et me permettaient de passer à une collecte d’informations plus précise.

2. De l’enquête au pré-diagnostic

2.1 Le choix de l’entretien semi-dirigé

Après m’être imprégné de toute la documentation écrite, je décidais de mieux comprendre la teneur du programme et la manière dont il était perçu par les acteurs de la formation. « We organize interviews when we want to fully understand someone’s impressions or experiences » . Organiser des entretiens, malgré l’inconvénient majeur du coût en temps ( il fallait ajouter le temps d’exploitation des notes), devait m’aider à connaître personnellement tous les acteurs, leur expliquer aussi ma démarche afin de les rendre actifs au sein du projet, et enfin collecter des informations dans le but d’aller plus en profondeur dans mon investigation.

J’ai fait le choix de l’entretien individuel semi dirigé, car ce style d’entretien est le symbole d’une expression sans contrainte et d’une personnalisation du contact. J’étais passé à l’étape qui me permettait de mieux cerner les attentes et les objectifs de chaque acteur. C’était aussi le premier pas qui les amenait à devenir co-acteurs de l’expertise enclenchée.

Plusieurs raisons m’ont amené à choisir d’abord ce mode de collecte d’informations : notamment l’interaction sous-tendue par l’entretien lui-même, le fait que le contact puisse se faire de manière immédiate. Il me semblait intéressant d’avoir leur opinion sur un programme qu’ils connaissaient et auquel ils participaient depuis bientôt 4 ans pour la plupart. « l’audit ne s’interdit pas de prendre en compte les opinions, les représentations des acteurs, la culture de l’entreprise ou de l’établissement, mais il le fait à partir de faits, de dires étayés sur des faits » . Ma première collecte était de l’ordre de l’écrit et m’avait permis d’obtenir certains faits, certains résultats, à propos desquels des hypothèses pouvaient être formulées lors des entretiens.

Même si l’entretien semi-dirigé est un acte coûteux en temps, il s’est révélé malgré tout d’une grande richesse d’informations. Contextuellement et culturellement, l’entretien directif était impossible à réaliser, tant il aurait pu mettre en cause le statut des formateurs (docteur es lettres, je le rappelle). De même, l’entretien non dirigé leur aurait laissé trop de liberté et les digressions éventuelles nous auraient volé un temps précieux. Nous avons pu par ces entretiens suivre une trame, tout en laissant l’occasion aux différents acteurs d’en sortir s’ils avaient des points particuliers à mettre en évidence.

Dans le souci d’un respect hiérarchique, j’ai commencé par interviewer le chef de département, mais ce sont surtout les responsables de modules, les formateurs et les formés qui m’ont apporté le plus d’éléments quant aux fonctionnements et dysfonctionnements du programme. Mes stratégies différaient selon la position de l’interviewé au sein même du programme. Mais elles différaient aussi selon ce que je savais de sa personnalité. En ce sens, connaître l’institution et les acteurs m’a beaucoup aidé dans mon action. Mais, si ce mode de collecte s’est révélé aussi riche, c’est peut-être aussi grâce à la confiance que leur inspirait une personne connue. L’anonymat avait été également mentionné comme un principe de base avant toute interview et tendait à rassurer les acteurs de la formation ( surtout les étudiants qui ne voulaient pas être discrédités auprès de leurs formateurs).

Lors des entretiens, j’ai cherché surtout à ne jamais influencer le discours, à le relancer simplement lorsqu’un thème avait été oublié ou éludé, privilégiant l’écoute de l’autre plutôt que le questionnement ininterrompu.

Une seule difficulté a marqué le rythme des entretiens : la disponibilité des interviewés, dans la mesure où tous ne travaillent pas au département au même moment et que certains formateurs jonglent entre deux activités professionnelles. En revanche, je n’ai éprouvé aucune difficulté à m’entretenir avec les étudiants, se rendant facilement disponibles pour l’interview. J’ai réussi à collecter une masse d’informations non négligeable, que j’ai ensuite analysée, synthétisée, comparée avec les données écrites recueillies. Tendant à mettre de côté ce qui me semblait trop subjectif, j’ai essayé le plus possible de repérer les écarts en superposant les données factuelles et les objectifs établis pour le programme de formation.

N’ayant pu interviewer tous ceux à qui j’avais pensé, un autre mode de collecte s’est révélé nécessaire, et me permettait d’opérer de la même manière un retour réflexif d’un autre type.

2.2 Les questionnaires

« Ideally the evaluator uses a combination of methods, for example a questionnaire to quickly collect a great deal of information from a lot of people, and interviews to get in depth information from certain respondents to the questionnaires” .

J’ai délibérément voulu utiliser les questionnaires suite aux entretiens car ils avaient deux objectifs différents : celui de me renseigner sur les pratiques des formateurs, mais également de les amener à une réflexion sur leurs propres pratiques pédagogiques. J’avais dors et déjà relevé un manque de formation en didactique du FLE, et je pensais que des questionnaires concernant le domaine du module enseigné les amèneraient à s’interroger davantage.

Comme le suggère Mc Namara, les questionnaires ont d’autre part un avantage certain sur les entretiens : « we have to use questionnaires or checklists when we need to quickly or easily get lots of information from people in a non threatening way » . En effet, pour cette réflexion, ce retour sur soi quant à ses pratiques en situation d’enseignement / apprentissage, je restais convaincu que le strict anonymat du questionnaire convenait davantage, et sous-tendait un aspect moins menaçant que l’entretien. Certains formateurs avaient décliné mon invitation à venir s’entretenir avec moi, mais je savais que les retours des questionnaires seraient plus productifs dans leur cas .

Ces questionnaires ont complété mon travail d’investigation, en m’apportant des informations que j’allais pouvoir vérifier lors des observations de classes. C’est ainsi, par une série d’itérations entre les faits, les dires, les affirmations ou opinions des différents acteurs consultés, que je laissais émerger des hypothèses, dont nous débattrions plus tard lors des réunions.

2.3 L’observation en situation d’enseignement / apprentissage

L’observation en situation d’enseignement/apprentissage allait m’aider à véritablement me rendre compte de la manière dont le programme fonctionnait. Selon Hadji, « la possession d’outils de prestation ne supprime pas le problème de l’observation des comportements. Observer s’avère être nécessaire » . En effet, l’observation allait être le moment où certaines hypothèses, mises à jour lors des entretiens et des questionnaires, allaient se confirmer ou s’infirmer. Je considérais l’observation de classes comme un moment de vérité indispensable à ma démarche.

L’observation contribue au recueil d’informations également, mais elle renseigne en outre sur les pratiques. Dans la mesure où les questionnaires avaient été remplis au préalable, l’observation se révélait le moyen idéal de rendre concrets et visibles les difficultés rencontrées par les formateurs ou les formés. « Observation can help to view operations of a program, as they are actually occurring » . En ce sens, je me suis aménagé trois semaines d’observation de classes, laissant le choix aux formateurs de me faire venir ou non dans leurs classes, au moment où ils le désiraient. Une grille d’observation avait été établie et tous en avaient pris connaissance afin qu’ils ne ressentent pas ce moment comme une inspection.

J’ai été surpris de voir combien les formateurs et responsables de modules ont joué le jeu, déjà fortement impliqués dans l’expertise, dans le sens où elle avait commencé depuis plus d’un mois et demi, et qu’ils avaient été largement mis à contribution lors des dernières semaines. A aucun moment, l’observation en situation d’enseignement/apprentissage n’a été mal vécue, alors que je m’étais auparavant demandé si je n’allais pas essuyer quelques refus. L’observation, étape majeure de l’expertise, doit par conséquent être précédée d’autres étapes, susceptibles de mettre en confiance les acteurs, de les préparer psychologiquement à cette phase, qui peut très justement être ressentie comme une intrusion si elle intervient trop tôt dans le processus.

Cette phase achevée, le recueil d’informations peut désormais laisser place à l’établissement d’un diagnostic, qui sera ensuite rendu lors des réunions.

2.4 Le diagnostic

Suite à chacune des précédentes phases, j’avais complété l’analyse, en mettant en évidence les paramètres importants, afin d’établir un diagnostic limité à l’essentiel. Il est primordial de ne pas se perdre dans une kyrielle d’informations, d’opérer une sélection, de ne retenir que celles qui permettent de clarifier, d’éclairer le processus. Le diagnostic doit rendre compte de la manière la plus claire possible du fonctionnement du programme de formation, tout en mettant à jour les dysfonctionnements et les raisons de leur existence. Michel Redinguet et Michel Lecointe mettent cette idée en évidence en disant que « le diagnostic est le passage de l’écart au sens de l’écart, de la mesure à sa signification, du constat à une possibilité de solution » .

Suite aux entretiens, aux questionnaires et observations, des recoupements, des oppositions parfois, se font jour permettant néanmoins de formuler des raisons possibles aux dysfonctionnements repérés. Or, semblent dors et déjà se profiler des recommandations éventuelles.

C’est l’établissement de ce diagnostic global, mettant en avant les points forts du programme, ses points faibles ainsi que les causes des dysfonctionnements repérés, qui a été ensuite l’objet d’une profonde réflexion lors des dernières réunions afin de proposer ensemble les recommandations de l’expertise.

3. Démarche qualité et dynamique de groupe

Le monde de l’éducation n’est pas le plus ouvert au changement et à la remise en question. Or, il semble que l’expertise d’un programme de formation soit justement le moyen d’assurer la qualité du programme en question. L’expertise, quand elle est demandée, prouve en soi la volonté d’un commanditaire de mettre sous assurance qualité sa formation. Dans notre cas, il s’agissait en effet de rendre le programme de renforcement linguistique plus cohérent et efficace. Cela ne pouvait toutefois se faire sans fiabiliser certaines procédures de l’expertise. 3.1 Le diagramme des affinités.

L’expertise doit amener à un vrai changement par le biais d’une démarche collective impliquant les différentes composantes de l’institution. La dynamique à laquelle l’expertise devait contribuer ne pouvait s’instaurer que par de réels échanges entre les acteurs. « Le manque de dialogue mène à des démarches de contrôle … il ne facilite pas l’engagement des acteurs à soutenir l’action … d’où la question cruciale : comment impliquer les acteurs ? » Nous avions établi avec le chef de département la possibilité de réunir les responsables de modules et les formateurs cinq fois pendant la durée de l’expertise, sachant que la première réunion n’aurait lieu qu’après avoir terminé la collecte de documentation écrite, rencontré tous les acteurs individuellement, et après avoir terminé l’analyse des questionnaires.

Je cherchais un moyen de rassembler les acteurs, en les amenant à œuvrer ensemble vers un même but. Cette première réunion se devait de revêtir cette fonction sociale et dynamisante à laquelle le projet devait contribuer. La mise en pratique d’un diagramme des affinités, dont je connaissais les rouages depuis peu grâce au cours de M. Thiriot, me semblait le moyen idéal de fiabiliser ma démarche tout en m’aidant à « motiver les acteurs, en leur donnant un but à atteindre et en proposant des modes d’organisation nouveaux » .

Cet outil allait me permettre de mieux cerner les atouts et les problèmes du programme de renforcement linguistique, tout en rétablissant une communication qui me paraissait quasi inexistante entre les formateurs. Rappelons que le diagramme des affinités est « un outil d’animation et de travail de groupe, dont l’objectif est d’aboutir à une représentation structurée et commune d’un problème, à partir de réalités individuelles différentes » . La mise en place de ce diagramme des affinités n’a pas été totalement à l’image de ce qu’on en dit théoriquement, dans la mesure où le nombre de personnes participant à la première réunion dépassait largement les 4 à 7 formateurs conseilles, tous de surcroît peu enclins à participer à ce qui ressemblait de prime abord à un jeu. En tant qu’animateur de la réunion et instigateur de ce travail de groupe, il a fallu que je passe du temps à montrer l’intérêt de l’outil. Le matériel a été distribué (post-it, marqueurs…), n’ayant pas de papier craft à disposition, nous avons utilisé les tableaux blancs existants. Le travail a pu commencé dans les deux groupes que j’avais dû constituer, tous chargés de trouver les points faibles et points forts de la formation proposée en première année, afin de mettre en évidence autant les difficultés que ce qu’ils estimaient être des réussites. Nous nous étions donnés deux heures trente pour faire ce travail, dans le sens où il est difficile de bloquer les formateurs sur davantage de temps. Dans les deux groupes, il a fallu que j’insiste sur l’importance de mentionner uniquement des faits. A plusieurs reprises, j’ai dû intervenir en leur demandant s’il ne s’agissait pas d’une opinion, et si nous pouvions avoir la preuve de ce qu’ils avançaient. Le travail de collecte d’information a été long. Au terme des deux heures trente de travail, nous avions tout juste terminé le regroupement des fiches. Néanmoins, ce premier travail réalisé collectivement avait clarifié la vision qu’ils avaient du programme et nous commencions à voir se dessiner les points positifs et négatifs rencontrés lors de cette formation.

Une seconde réunion a été prévue pour continuer ce travail ensemble. Pour des raisons de contraintes d’emploi du temps, tous n’ont pas pu venir à cette seconde réunion. Toutefois, nous avons décidé de ne pas ajourner la réunion, et de continuer le travail en leur faisant un compte-rendu qu’ils valideraient ensuite, afin de ne pas les écarter du travail commencé. Ils ont titré les regroupements faits, opéré de macro-regroupements, qu’ils ont également nommés. Ainsi des problèmes liés à la formation des enseignants, et à la communication entre formateurs sont apparus… Nous savions quels seraient les points sur lesquels nous devions nous pencher. Ils venaient d’ailleurs confirmer ce que les entretiens et les questionnaires avaient révélé au moment de leur analyse.

Cet outil destiné à rendre plus fiables les résultats de l’analyse, a permis surtout de ne pas rester sur des opinions, de dépasser la subjectivité qui transparaissait nécessairement dans les entretiens semi-dirigés. D’autre part, les deux premières réunions les ont réhabitués à travailler ensemble, à faire des choix de manière consensuelle …La communication a pu être rétablie, et a suivi son chemin lors des autres réunions, où nous avons réussi à proposer des recommandations, ne retenant que celles que nous validions tous.

3.2 Le « savoir-être » dans le domaine de l’expertise

La dynamique qui a été ranimée au département de français lors de l’expertise, ne l’aurait peut-être pas été si je n’avais pas appris à développer pendant ces trois mois et demi de stage certaines qualités, qui me semblent indispensables à toute personne chargée d’expertiser. « Pour pouvoir réaliser une expertise, il faut que l’expert réunisse les six conditions suivantes : être compétent, être neutre, être indépendant, avoir accès aux informations nécessaires, être capable de respecter la confidentialité des informations, disposer du temps nécessaire » . Tels sont les principes de tout expert, et j’ai tenté de les suivre autant que possible. Mais il me semble que l’expertise, surtout lorsqu’elle est réalisée en interne, requiert une autre qualité : la diplomatie. Le savoir-être et le savoir-agir d’une personne ayant à porter deux casquettes !

C’est lors des premiers entretiens que j’ai réalisé combien le savoir-être de l’évaluateur était primordial dans la réussite même du processus. Il ne faut pas oublier que l’expertise est un moment de communication sociale. Or, le fait de connaître l’équipe de formation implique davantage de recul. Il faut toutefois savoir le doser, de peur qu’il y ait incompréhension de l’autre part, peut-être même mutisme. Hadji dit à propos de l’évaluateur « qu’il doit rester à sa place, qui est celle d’un auxiliaire au service du bon déroulement d’un processus » . C’est pourquoi il doit développer certaines vertus, composantes nécessaires du savoir-être et de la compétence :
  « sobriété, pour se protéger de la griserie du pouvoir et de celle des mots.
  humilité et respect des autres
  modestie, pour se garder de toutes les prétentions : de savoir, de comprendre, de modeler à sa guise » . En ce sens, le savoir-être contribue également à la qualité de l’action.

3.3 Validation et restitution des recommandations

Afin de rendre ma démarche plus fiable, chaque étape a également été validée par le chef de département et les responsables de module. De même, lorsqu’il a fallu proposer des améliorations, nous y avons travailler tous ensemble et les avons validées une à une. Il était question de relativiser le diagnostic de manière collective. Les trois dernières réunions ont été consacrées à la formulation de propositions d’action, de remédiations, de stratégies, auxquelles nous devions apporter de la clarté.

Me référant à ce que Michel Redinguet et Michel Lecointe avaient écrit à ce sujet , je les voulais : « audibles, peu nombreuses, mais hiérarchisées, limitées en ampleur, c’est-à-dire ne préconisant pas un bouleversement de l’établissement, inductives, opérationalisables, diverses quant à leur nature… » . Ces recommandations ont été le résultat de toute une équipe de formateurs, validées pour chacune d’elles par vote consensuel, et toutes ont été déterminées en fonction du suivi à réaliser dès l’année 2002-2003. Le détail de ces recommandations a été abordé dans la première partie de ce rapport ; elles ont en revanche pris en compte les conceptions et fonctionnements de l’institution, tout en cherchant une évolution. Sans remettre en question leur système de représentation, la discussion qui a eu lieu autour de ces recommandations lors des dernières réunions montrait leur engagement désormais visible dans ce programme de formation.

La restitution de ces recommandations constitue ainsi la dernière étape de ma démarche, sachant qu’elle correspond à la phase de clôture de l’expertise. Si en principe la restitution ne concerne que le commanditaire, « dans la pratique, le groupe destinataire se trouve souvent élargi » . Il est évident qu’ayant participé activement à cette action d’évaluation, l’équipe de formateurs s’attendaient à un retour de notre travail commun. La restitution s’est réalisée en deux temps, dans le sens où j’estimais qu’avant d’être consignée par écrit, mieux valait que le commanditaire en connaisse le contenu oralement, dans le but d’envisager des modifications si il estimait que certaines des recommandations étaient parfaitement irréalisables. Lors de cet entretien, j’ai demandé à être assisté par certains des membres de l’équipe de formateurs, afin de les impliquer jusqu’au bout dans le processus d’évaluation. Le travail réalisé a été validé, et la restitution écrite a suivi, sous la forme d’un rapport final , voué à être lu ou consulté par l’équipe du programme de renforcement linguistique. La mise en forme du rapport a été largement inspiré des propositions de Mc Namara quant à l’écriture d’un rapport d’expertise. J’ai suivi cette démarche dans un souci de clarté et parce qu’elle me semblait être intelligible.

Un élément doit être mentionné : l’existence pratique de deux rapports. En effet, pour que le rapport du commanditaire puisse être consulté également par le doyen et le recteur de l’université de Damas, le chef de département m’a expressément demandé de ne pas y faire figurer la totalité des outils utilisés, ni la transcription des entretiens. Ce second rapport rendant compte de la totalité des documents a été communiqué à l’ambassade de France (aux attachés de coopération notamment), afin de les aider dans leur action future, et dans un souci informatif. Ceci avait été discuté et approuvé par le chef de département dès le début du projet d’expertise.