Translate

samedi 18 décembre 2010

PISA et les données probantes


Le Pisa nouveau est arrivé ! Et avec lui sa cohorte de commentaires plus ou moins avisés. On déplore les piètres résultats pour les uns, on s’étonne des améliorations des autres, on critique la représentativité, la nature des tests, les conditions de passation, la notation, les échantillonnages d’élèves… J’ai même lu quelque part que pour la France, il aurait fallu tester uniquement les élèves parisiens !

PISA : Programme for International Student Assessment ou programme d’évaluation internationale des élèves. Voilà ce qu’est le PISA : un outil d’évaluation, rien d’autre. Et voilà ce qu’il devrait rester.

Pourquoi évalue-t-on ? Pour constater l’état d’une performance et en tirer les conséquences, ce que devraient faire les États concernés. PISA est donc à ce titre un outil intéressant.
Le document de synthèse proposé comporte un chapitre intitulé Les clés de la réussite des établissements d’enseignement. Il contient une liste d’éléments supposés avoir un rapport avec les succès des écoles concernées. Par exemple, on constate que les pays bien placés rémunèrent bien leurs enseignants mais ne réduisent pas les effectifs des classes. Au milieu de cette énumération, il est tout de même précisé que l’enquête PISA n’évalue pas les relations de cause à effet. Mais alors pourquoi énumérer des éléments qui ne sont que des hypothèses, sous une rubrique intitulée Les clés de la réussite ?

Éléments qui ne manqueront pas d’être récupérés (tout au moins certains d’entre eux) au titre de preuve avérée pour une amélioration de l’enseignement. Il serait par ailleurs surprenant que l’argument relatif aux salaires des enseignants soit repris par l’Éducation Nationale française !
L’enquête PISA doit rester ce qu’elle est : une mesure, un constat de départ. Le problème pour ce qui nous concerne en France est que ce constat sera suivi de décisions péremptoires : par exemple, les élèves sont faibles en sciences, le ministère promet déjà un Plan sciences. Ce plan reposera sur quelles données probantes en matière d’efficacité de l’enseignement des sciences ? Cela  n’empêchera certainement pas les résultats du prochain PISA d’être aussi mauvais. Pourquoi donc ?

Parce que la démarche est erronée. Une fois le constat de départ réalisé, il y aurait plusieurs choses à faire : prendre les hypothèses mises en exergue sous le terme Les clés de la réussite et, par des études complémentaires (de niveaux 2 puis 3 dans la classification Ellis & Fouts), en déterminer la validité. A cela on pourrait ajouter également une étude approfondie des pays qui réussissent, en particulier sur le plan des méthodes pédagogiques. Il est en effet extraordinaire, à l’heure où les données probantes sont unanimes pour dire que toutes les méthodes pédagogiques ne se valent pas, qu’une enquête de l’ampleur de PISA, élude la question. Cela ne peut pas être un effet du hasard. Il est difficile de croire que le grand nombre de spécialistes en charge de cette étude n’aient pas eu connaissance de la méta-analyse de Wang, Haertel et Walberg qui prouve l’importance des méthodes utilisées par les enseignants dans la réussite des élèves.

Il est dangereux de passer du stade de l’hypothèse à celui de l’injonction pédagogique. En voici un exemple connu. Longtemps, on a cru que la réussite scolaire était liée à l’estime de soi. Et cette hypothèse qui aurait dû être traitée dans les niveaux 2 & 3 est passée directement au stade de vérité. On a alors basé nombre de méthodes pédagogiques sur le développement de l’estime de soi. C’était un but en soi. Jusqu’au jour on l’on s’est rendu compte, par des études de niveaux 2 et 3, que ce lien existait bien, mais il était inversé : c’est la réussite scolaire qui provoque l’estime de soi. Cela fut brillamment prouvé par les résultats du projet Follow Through dans lesquels le Direct Instruction arrivait en tête, y compris dans les dimensions affectives comme l’estime de soi. Alors que d’autres méthodes centrées sur celle-ci avaient de bien piètres résultats.

Un peu de la même façon, dans les années 2000, les résultats en lecture des élèves new-yorkais étaient très bas. La ville a alors décidé d’augmenter les horaires de cet enseignement en primaire jusqu’à 120 minutes par jour ; temps consacré au décodage, à la préparation phono-alphabétique et à la fluidité. Si les résultats se sont améliorés en CM1, ils n’ont pas bougé en 4ème pour les mêmes élèves. Tout simplement parce que l’on a fait comme si la performance en lecture reposait uniquement sur le décodage ; aucun travail n’a été fait sur la compréhension, c’est-à-dire sur la langue et sur la culture générale. Or, les évaluations de 4ème mesurent essentiellement la compréhension, ce qui est normal. Autrement dit, on a engagé une lourde procédure de remédiation sans tenir compte d’une donnée probante essentielle : la lecture est le fruit du décodage et de la compréhension, et les deux éléments doivent être enseignés à l’école de manière équivalente.

L’enquête PISA est un bel outil qui pourrait (qui devrait) être le point de départ d’une réelle amélioration de l’enseignement. Il est difficile d’admettre que son utilisation se cantonne à la déclaration d’intention et à l’annonce d’un énième plan ne reposant sur aucune donnée probante, sur aucune étude scientifique. Il est difficile de croire qu’aucun décideur ne veuille aller plus loin dans l’analyse et l’étude des données, montrant ainsi que l’éducation reste un domaine à part, qui refuse toujours l’utilisation des données probantes, lui préférant les idées reçues, pédagogiquement correctes.


L’enquête PISA devrait être la voie royale pour l’utilisation des données probantes en éducation, mais le manque de volonté des décideurs en fait un thermomètre qui n’a d’autre but que celui de mesurer la température encore et encore.



lundi 1 février 2010

Pour ou contre les TICE à l'école ?



Le débat entre technophobes et technophiles est une autre facette de la querelle pédagogique qui a cours aujourd’hui. Choisir une option, pro ou anti, induit l’attachement à l’un ou l’autre des camps en présence. Non seulement, cela ne fait pas avancer les choses, mais contribue à crisper les esprits. Il serait temps de réaliser que les technologies nouvelles sont soumises à l’utilisation qu’en fait l’enseignant et de cesser de faire croire qu’elles vont envahir l’école, sonnant le glas des acquisitions qui sont supposées s’y faire. L’enseignant reste maître à bord et choisit, dans le cadre de ses propres pratiques pédagogiques, la manière dont il va les utiliser. On peut les considérer de deux points de vue, celui des élèves et celui de l’enseignant.

Si nous regardons vers les élèves, la question est : ces technologies favorisent-elles, sur un plan cognitif, les acquisitions scolaires ? La réponse n’est pas si simple. Les méta-analyses de Slavin, par exemple concluent que ce sont les méthodes d’enseignement qui ont le plus d’effets sur les élèves, devant les programmes et les moyens technologiques. Il est clair qu’une méthode pédagogique inefficace restera inchangée, même si elle baigne dans le plus high tech des environnements numériques. Si en même temps qu’on enseigne l’usage de la calculette, on décide de ne plus demander aux élèves d’apprendre leurs tables de multiplication, il est clair qu’ils ne les connaîtront pas. Mais cela n’empêche pas la rumeur d’imputer à l’arrivée de la calculette dans les classes, les déficiences en calcul.

Autre angle d’attaque : ces technologies améliorent-elles les pratiques des enseignants ? Sont-ils, grâce à elles plus efficaces dans l’atteinte de leurs objectifs ? Seront-t-ils plus efficaces avec des craies multicolores, un tableau vert et une brosse ? Ou bien avec un TNI, ses palettes d’outils graphiques, ses capacités de stockage, etc. ? Préfèreront-t-ils avoir recours à des manuels papier pour chaque élève, aux manuels numériques ou encore préfèreront-t-ils préparer leurs propres leçons sur un support numérique ?

Une idée très courante est d’associer les nouvelles technologies aux pratiques pédagogiques non transmissives, pédagogies de projet centrées sur l’enfant et autres pédagogies actives. Le rapport Fourgous ne se prive pas de le rappeler. Ainsi, il établit d’emblée une relation de cause à effet entre les résultats aux tests PISA et les équipements informatiques des pays concernés. C’est extrêmement réducteur car d’autres pratiques pédagogiques ont tout à y gagner, c’est le cas de la pédagogie explicite par exemple. Un outil comme le TNI y est particulièrement adapté et permet un gain de temps considérable en classe.

En vertu de la liberté pédagogique, l’enseignant reste maître du choix de ses méthodes, mais est aussi redevable des résultats obtenus en classe. L’environnement, qu’il soit numérique ou non, doit être au service de cette pratique et à celui des résultats obtenus par les élèves. Même si, personnellement, je reste persuadée qu’il ne faut pas débrancher les écoles, mon expérience de terrain me conduit à dire que ce qui fait la différence, c’est la méthode pédagogique.

Enfin, reste la question de la formation des enseignants aux nouvelles technologies. A la différence de leurs élèves, beaucoup d’entre eux ne sont pas nés dans l’ère numérique, et il faudrait autre chose que quelques stages d’un ou deux jours pour leur donner un niveau de maîtrise suffisant. Il serait enfin temps qu’une véritable formation vienne remplacer l’auto-formation trop souvent seule ressource dans le monde enseignant.