IL est de plus en plus admis dans la plupart des pays que les systèmes d'éducation constituent des voies menant au développement économique. Cette évolution, à laquelle s'ajoutent les dépenses publiques considérables dévolues à l'éducation, a intensifié la demande des gouvernements et de l'opinion public en faveur d'une plus grande transparence et d'un examen plus attentif de la qualité de l'éducation.

Des dispositifs de suivi et d'évaluation des systèmes éducatifs ont déjà été mis en place dans de nombreux pays industrialisés. Ces dernières années, des pays en développement d'Asie, d'Amérique latine et d'Afrique ont aussi commencé à intensifier leurs efforts pour rendre les planificateurs de l'éducation mieux à même de mettre en place des dispositifs analogues au titre d'une stratégie générale de planification de la qualité de l'éducation.

Des initiatives importantes ont été prises au niveau transnational par un organisme appelé Association internationale pour l'évaluation du rendement scolaire ou IEA (voir encadré p.3). L'IEA organise des enquêtes internationales de grande envergure sur l'éducation qui permettent aux pays de faire entre eux des comparaisons portant sur des politiques, des pratiques, des programmes et des résultats éducatifs très divers. La recherche de l'IEA s'est toujours distinguée par la place prépondérante qu'elle occupe dans le monde dans la mise au point et l'application de méthodes de recherche de pointe sur l'évaluation des acquis des élèves et la sélection scientifique d'échantillons d'écoles et d'élèves. Au cours des dernières années, les aspects les plus connus des recherches menées par l'IEA ont concerné l'évaluation des résultats des élèves en lecture, en mathématiques et en science.

En novembre 1996, l'IEA a publié les premiers comptes rendus de recherche de son étude la plus vaste et la plus complexe: la Troisième étude internationale sur les mathématiques et les sciences (TIMSS). Cette étude comprend la collecte, l'analyse et l'enregistrement systématiques des données provenant de quelque 500.000 élèves dans 15.000 écoles de 40 pays. Les premiers rapports présentent les données relatives à des échantillons d'élèves sélectionnés dans les classes de 7e et 8e années d'études. Ces élèves ont subi des épreuves concernant six aspects de la maîtrise des mathématiques (nombre, mesure, proportionnalité, analyse de données, géométrie et algèbre) et cinq aspects de la maîtrise des sciences (science de la terre, science de la vie, physique, chimie et science de l'environnement). Les résultats en mathématiques de la 8e année d'étude sont présentés en page 3 de ce numéro.

L'une des contributions méthodologiques importantes de l'étude TIMSS tient à la manière dont les chercheurs de l'IEA s'y sont pris pour que les épreuves subies par les élèves soient équitables d'un pays à l'autre. Ils y sont parvenus en utilisant des schémas détaillés des programmes scolaires de tous les pays participants pour élaborer les questions des tests, et en recueillant les résultats des élèves

En outre, les notes générales des tests centrés sur un ensemble commun de questions ont été comparées à un ensemble de notes calculées pour chaque pays en utilisant des questions conformes aux programmes scolaires de chacun des pays. Les résultats de ces calculs montrent que les notes d'ensemble des épreuves sont équitables dans la mesure où les différences sont minimes entre la note d'ensemble moyenne obtenue par chaque pays, la note moyenne correspondant à son propre programme scolaire et la série des notes moyennes calculées en utilisant les schémas des programmes scolaires d'autres pays. A titre d'exemple, au niveau de la 8e année d'étude, les élèves japonais ont obtenu 73% de réponses justes à l'épreuve générale de mathématiques, 73% pour le programme scolaire japonais, et respectivement 74%, 75% et 73% de réponses correctes pour les programmes scolaires de la République de Corée, de l'Angleterre et des Etats-Unis. De même, les Etats-Unis ont obtenu 53% de réponses correctes dans l'épreuve générale de mathématiques, 53% pour le programme scolaire américain, et respectivement 53, 54 et 56% de réponses correctes pour les programmes scolaires du Japon, de la République de Corée et de l'Angleterre.

Parmi les élèves de la 8e année d'études, les quatre pays qui ont obtenu les meilleurs résultats en mathématiques sont tous asiatiques : Singapour, la République de Corée, le Japon et Hong-Kong. Singapour, la République de Corée et le Japon obtiennent également les meilleurs résultats en sciences. Par contre, de nombreux pays occidentaux, où l'éducation est depuis toujours vigoureuse et bien financée, ont eu des résultats relativement décevants. Par exemple, la Suède, l'Allemagne, la Nouvelle-Zélande, l'Angleterre, la Norvège, le Danemark, les Etats-Unis et l'Ecosse se situent dans la moitié inférieure des notes en mathématiques, tandis que les notes obtenues par la Suisse, la France, le Danemark et l'Ecosse les placent dans la moitié inférieure en sciences.

Quelques-uns des résultats de recherche présentés dans les premiers rapports de la TIMSS ont surpris de nombreux spécialistes de l'éducation, agité les média, choqué les hommes politiques et posé des questions intéressantes aux planificateurs de l'éducation dans le monde entier. Dans certains cas, les résultats semblent aller à l'encontre des idées reçues. Il a été, par exemple, largement rapporté que les élèves de certains pays d'Asie qui se situent en tête des tableaux de réussite moyenne de la TIMSS étudient dans des conditions relativement moins favorables que les élèves de plusieurs pays occidentaux qui occupent la moitié inférieure des tableaux de la TIMSS.

Pour illustrer cette contradiction apparente, quelques descriptions simples des facteurs définissant l'environnement scolaire des élèves de mathématiques de la 8e année d'études dans quatre pays sont récapitulées ci-dessous. Cette information concerne le Japon et la République de Corée, dont les élèves arrivent en tête des résultats internationaux en mathématiques, et les Etats-Unis et l'Angleterre qui se situent à l'extrêmité inférieure de ces résultats. Cinq facteurs qui décrivent des aspects importants de l'environnement scolaire ont été examinés : l'effectif des classes, l'expérience des enseignants, l'organisation des classes, le suivi des progrès des élèves, et l'utilisation des nouvelles technologies (calculatrices et ordinateurs).

L'effectif des classes. Au Japon et en République de Corée, près de 96% des élèves fréquentent des classes de plus de 30 élèves.

En Corée 93% des élèves sont plus de 40 par classe. Aux Etats-Unis et en Angleterre, les effectifs des classes sont bien moins nombreux puisque respectivement 16% et 20% des élèves de ces pays fréquentent des classes de plus de 30 élèves.

L'expérience des enseignants. Aux Etats-Unis et en Angleterre, près de respectivement 61% et 70% des élèves ont des professeurs de mathématiques qui ont plus de 10 ans d'expérience de l'enseignement. Au contraire, au Japon et en République de Corée il n'y a que respectivement 55% et 43% des élèves dont les enseignants ont ce niveau d'expérience.

L'organisation de la classe. Au Japon et en République de Corée, l'enseignement global de toute la classe est l'expérience vécue, ans la plupart des cours, par 80 à 90% des élèves. Au contraire, cette façon d'enseigner concerne moins de 50% des élèves aux Etats-Unis et en Angleterre - dans ces deux pays, les enseignants font une très large place au travail individuel avec l'assistance du maître.

Le suivi des progrès des élèves. Une plus grande importance est acordée au suivi des acquis chez les élèves des Etats-Unis et d'Angleterre, où respectivement 85% et 50% d'entre eux disent avoir passé un contrôle de classe ou un examen. Au Japon et en République de Corée, les enseignants consacrent nettement moins de temps à cette activité ; respectivement 41% et 26% seulement des élèves de ces pays font état d'un suivi de ce type.

Utilisation des nouvelles technologies. Les chiffres qui traduisent l'utilisation des nouvelles technologies dans les classes de mathématiques font apparaître une différence sensible entre les deux pays asiatiques et les deux pays européens. Les professeurs de mathématiques américains et anglais font observer que respectivement 62% et 83% des élèves se servent de calculatrices presque tous les jours, et que 24% et 48% d'entre eux se servent de l'ordinateur, soit par intermittence, soit la plupart du temps. Au Japon et en République de Corée, seuls 2% environ des élèves se servent d'une calculatrice presque tous les jours, et seuls 10% des élèves japonais et 4% des élèves coréens utilisent l'ordinateur par intermittence ou la plupart du temps.

Ce graphique présente un exemple hypothétique dans lequel les notes obtenues en mathématiques par les élèves de trois pays (A: représenté par les triangles, B: représenté par les cercles et C: représenté par les carrés) occupent l'axe vertical alors que la variable de l'environnement scolaire occupe l'axe horizontal. Les trois paires de moyennes nationales (représentées par des croix en gras) semblent indiquer une relation positive forte entre les deux variables parce que les niveaux plus élevés de la variable de l'environnement scolaire s'accompagnent de meilleures notes obtenues par les élèves aux épreuves de mathématiques, et vice versa. Toutefois, un examen plus attentif du "nuage de points" au niveau des élèves fait apparaître i) une relation négative forte à l'intérieur de chacun des pays et ii) une relation faible ou nulle quand les trois pays sont analysés ensemble.

Supposons qu'un planificateur exerçant son activité dans un pays occidental soit invité à utiliser les premiers résultats des recherches de la TIMSS pour donner à son Ministère de l'éducation un avis peu onéreux à mettre en oeuvre afin d'améliorer la qualité de l'éducation. Pour ce planificateur, les résultats qui ont été résumés ci-dessus pourraient paraître trop beaux pour être vrais. En effet, ils semblent indiquer que les résultats en mathématiques de la 8e année d'études s'amélioreraient (ou, à tout le moins, n'en pâtiraient pas) si les pouvoirs publics réduisaient massivement le budget de l'éducation nationale, premièrement en confiant des classes plus nombreuses à des enseignants moins expérimentés (et moins bien payés), et deuxièmement, en supprimant plusieurs composantes des programmes de formation initiale et en cours de service , puisque les enseignants n'auraient pas besoin d'être formés aux arts pédagogiques reconnus qui concernent l'enseignement personnalisé, le suivi des progrès des élèves, et la façon d'exploiter les nouvelles technologies.

Malheureusement pour notre planificateur occidental imaginaire, il serait très dangereux d'utiliser les résultats des premières recherche de la TIMSS pour tirer des conclusions de ce genre. La prudence s'impose en la matière, et ce pour deux raisons.

Le sophisme écologique. Un artefact statistique connu sous le nom de sophisme écologique, élaboré au cours des années 50 par un sociologue américain, W.S. Robinson, peut servir à démontrer qu'il est inexact de supposer qu'un rapport établi entre des indicateurs rassemblés au niveau du système éducatif s'applique automatiquement (que ce soit par l'ordre de grandeur ou par le sens) à chaque élève. A titre d'illustration, les résultats de la recherche menée au titre de la TIMSS sur le suivi des progrès des élèves montrent que les notes nationales moyennes en mathématiques sont supérieures dans les deux pays qui attachent moins d'importance au suivi régulier, et inférieures dans les deux pays qui lui font une grande place. La théorie statistique qui découle du sophisme écologique ne permet pas d'utiliser cet élément d'information à lui tout seul pour prouver que les élèves moins souvent évalués obtiennent en général de meilleures notes en mathématiques et vice versa. Il se peut d'ailleurs que le rapport soit inversé au niveau des élèves dans chaque pays !

Il est aussi possible que si toutes les données relatives aux élèves étaient associées pour les quatre pays afin de procéder à une analyse commune, on ne trouverait absolument aucun rapport ! Il convient de faire remarquer ici que le sophisme écologique peut aussi soulever des difficultés pour les planificateurs de l'éducation qui travaillent sur les données agrégées d'un seul pays. Les problèmes risquent de se poser à cet égard dès lors que l'on suppose que les rapports établis entre des indicateurs agrégés au niveau des régions administratives d'un même pays s'appliquent à l'identique aux écoles et aux élèves.

Autres variables non mesurées. Bien que les populations cibles de la plupart des pays qui participent à l'enquête de la TIMSS soient très semblables sur certains aspects importants tels que l'âge des élèves et leurs notes, il ne s'ensuit pas nécessairement que le réseau de relations de cause à effet établi dans un pays puisse s'appliquer à d'autres populations cibles. Le problème se pose du fait qu'aucune recherche ne peut, à elle seule, tenir compte de toutes les variables possibles - notamment celles qui définissent le contexte socioculturel dans lequel le système d'éducation fonctionne. C'est pourquoi l'on peut s'interroger sur de nombreux facteurs extérieurs à la collecte des données effectuée par la TIMSS qui pourraient expliquer les différences résumées ci-dessus entre les deux pays asiatiques et les deux pays européens. Il se peut, par exemple, que la politesse et l'esprit de coopération qui sont de mise au Japon et en République de Corée permettent aux enseignants de gérer bien plus facilement des classes plus nombreuses; peut-être aussi qu'apprendre à lire une langue faite d'idéogrammes, par opposition aux langues fondées sur les phonogrammes, représente une forme de décodage algébrique qui rend plus facile l'apprentissage des mathématiques. Il se pourrait encore que l'homogénéité ethnique des populations du Japon et de la République de Corée (comparée à l'hétérogénéité des populations des Etats-Unis et de l'Angleterre) se traduise par un alignement plus étroit es finalités éducatives des écoles, des familles, des communautés et des pouvoirs publics, et aboutisse à son tour à un environnement scolaire plus propice; sans doute aussi l'utilisation très répandue des leçons particulières au Japon et en République de Corée ajoute-t-elle au temps passé par les élèves à acquérir la maîtrise des mathématiques.

Le principal message qui se dégage de la discussion précédente pour les planificateurs de l'éducation est que la prudence s'impose avant d'en tirer des messages quant à l'action à entreprendre à partir des premiers rapports de la TIMSS. Les statistiques présentées dans ces rapports se limitent à l'information de niveau national, ce qui signifie que les planificateurs qui cherchent des orientations fondées sur les rapports de cause à effet entre indicateurs à divers niveaux d'analyse devront attendre que d'autres rapports de la TIMSS fondés sur des modèles analytiques de données comprenant plusieurs variables et plusieurs niveaux aient été menés à bien.

En attendant, les descriptions par pays que l'on trouve dans les premiers rapports de recherche de la TIMSS fournissent des portraits à la fois précieux et curieux de l'environnement scolaire qui caractérise nombre de systèmes éducatifs. Elles soulèvent aussi, en matière de recherche, certaines questions fascinantes qui seront étudiées par les planificateurs de l'éducation quand les données de la TIMSS seront mises à la disposition du public. Par exemple : les champs couverts et les orientations des diverses relations entre les cinq variables de l'environnement scolaire et les résultats en mathématiques présentés ci-dessus pour le Japon, la République de Corée, les Etats-Unis et l'Angleterre sont-ils identiques, plus faibles, plus forts, inversés à d'autres niveaux d'analyse dans tous les pays qui participent à la TIMSS, dans certains, ou dans aucun d'entre eux ?