Le Pisa nouveau est arrivé ! Et avec lui sa cohorte de commentaires plus ou moins avisés. On déplore les piètres résultats pour les uns, on s’étonne des améliorations des autres, on critique la représentativité, la nature des tests, les conditions de passation, la notation, les échantillonnages d’élèves… J’ai même lu quelque part que pour la France, il aurait fallu tester uniquement les élèves parisiens !
PISA : Programme for International Student Assessment ou programme d’évaluation internationale des élèves. Voilà ce qu’est le PISA : un outil d’évaluation, rien d’autre. Et voilà ce qu’il devrait rester.
Pourquoi évalue-t-on ? Pour constater l’état d’une performance et en tirer les conséquences, ce que devraient faire les États concernés. PISA est donc à ce titre un outil intéressant.
Le document de synthèse proposé comporte un chapitre intitulé Les clés de la réussite des établissements d’enseignement. Il contient une liste d’éléments supposés avoir un rapport avec les succès des écoles concernées. Par exemple, on constate que les pays bien placés rémunèrent bien leurs enseignants mais ne réduisent pas les effectifs des classes. Au milieu de cette énumération, il est tout de même précisé que l’enquête PISA n’évalue pas les relations de cause à effet. Mais alors pourquoi énumérer des éléments qui ne sont que des hypothèses, sous une rubrique intitulée Les clés de la réussite ?
Éléments qui ne manqueront pas d’être récupérés (tout au moins certains d’entre eux) au titre de preuve avérée pour une amélioration de l’enseignement. Il serait par ailleurs surprenant que l’argument relatif aux salaires des enseignants soit repris par l’Éducation Nationale française !
L’enquête PISA doit rester ce qu’elle est : une mesure, un constat de départ. Le problème pour ce qui nous concerne en France est que ce constat sera suivi de décisions péremptoires : par exemple, les élèves sont faibles en sciences, le ministère promet déjà un Plan sciences. Ce plan reposera sur quelles données probantes en matière d’efficacité de l’enseignement des sciences ? Cela n’empêchera certainement pas les résultats du prochain PISA d’être aussi mauvais. Pourquoi donc ?
Parce que la démarche est erronée. Une fois le constat de départ réalisé, il y aurait plusieurs choses à faire : prendre les hypothèses mises en exergue sous le terme Les clés de la réussite et, par des études complémentaires (de niveaux 2 puis 3 dans la classification Ellis & Fouts), en déterminer la validité. A cela on pourrait ajouter également une étude approfondie des pays qui réussissent, en particulier sur le plan des méthodes pédagogiques. Il est en effet extraordinaire, à l’heure où les données probantes sont unanimes pour dire que toutes les méthodes pédagogiques ne se valent pas, qu’une enquête de l’ampleur de PISA, élude la question. Cela ne peut pas être un effet du hasard. Il est difficile de croire que le grand nombre de spécialistes en charge de cette étude n’aient pas eu connaissance de la méta-analyse de Wang, Haertel et Walberg qui prouve l’importance des méthodes utilisées par les enseignants dans la réussite des élèves.
Il est dangereux de passer du stade de l’hypothèse à celui de l’injonction pédagogique. En voici un exemple connu. Longtemps, on a cru que la réussite scolaire était liée à l’estime de soi. Et cette hypothèse qui aurait dû être traitée dans les niveaux 2 & 3 est passée directement au stade de vérité. On a alors basé nombre de méthodes pédagogiques sur le développement de l’estime de soi. C’était un but en soi. Jusqu’au jour on l’on s’est rendu compte, par des études de niveaux 2 et 3, que ce lien existait bien, mais il était inversé : c’est la réussite scolaire qui provoque l’estime de soi. Cela fut brillamment prouvé par les résultats du projet Follow Through dans lesquels le Direct Instruction arrivait en tête, y compris dans les dimensions affectives comme l’estime de soi. Alors que d’autres méthodes centrées sur celle-ci avaient de bien piètres résultats.
Un peu de la même façon, dans les années 2000, les résultats en lecture des élèves new-yorkais étaient très bas. La ville a alors décidé d’augmenter les horaires de cet enseignement en primaire jusqu’à 120 minutes par jour ; temps consacré au décodage, à la préparation phono-alphabétique et à la fluidité. Si les résultats se sont améliorés en CM1, ils n’ont pas bougé en 4ème pour les mêmes élèves. Tout simplement parce que l’on a fait comme si la performance en lecture reposait uniquement sur le décodage ; aucun travail n’a été fait sur la compréhension, c’est-à-dire sur la langue et sur la culture générale. Or, les évaluations de 4ème mesurent essentiellement la compréhension, ce qui est normal. Autrement dit, on a engagé une lourde procédure de remédiation sans tenir compte d’une donnée probante essentielle : la lecture est le fruit du décodage et de la compréhension, et les deux éléments doivent être enseignés à l’école de manière équivalente.
L’enquête PISA est un bel outil qui pourrait (qui devrait) être le point de départ d’une réelle amélioration de l’enseignement. Il est difficile d’admettre que son utilisation se cantonne à la déclaration d’intention et à l’annonce d’un énième plan ne reposant sur aucune donnée probante, sur aucune étude scientifique. Il est difficile de croire qu’aucun décideur ne veuille aller plus loin dans l’analyse et l’étude des données, montrant ainsi que l’éducation reste un domaine à part, qui refuse toujours l’utilisation des données probantes, lui préférant les idées reçues, pédagogiquement correctes.
L’enquête PISA devrait être la voie royale pour l’utilisation des données probantes en éducation, mais le manque de volonté des décideurs en fait un thermomètre qui n’a d’autre but que celui de mesurer la température encore et encore.
