Cours international d’été sur les Méthodes quantitatives de recherche pour planifier la qualité de l’éducation : « Le point de vue du consommateur»



Bijaya Thapa, du Centre de recherche, d’innovation et de développement de l’éducation de l’université Tribhuvan de Katmandou au Népal et Thea Seefeldt du ministère de l’Education de base et de la Culture de Swakopmund en Namibie figuraient parmi les 14 participants au cours international d’été de l’IIPE sur « Les méthodes quantitatives de recherche pour la planification de la qualité de l’éducation» qui s’est tenu à Paris en août 1997. Après consultations avec les autres participants, ils ont préparé «le point de vue du consommateur » que voici...

PENDANT les deux premiers jours du cours international d'été, nous avons été plongés dans le monde de la recherche. Nous avons d'abord appris les principales étapes à suivre pour un projet de recherche de haut niveau sur la politique éducative, ainsi que les normes internationales de qualité qui sont essentielles à chaque étape. Les propositions de recherche que nous avions préparées au cours de notre travail de routine dans notre pays ont rapidement semblé inadéquates à beaucoup d'entre nous. Aussitôt après, on nous a posé une série de questions sur la politique éducative, en nous demandant de nous servir de l'ordinateur pour préparer des tableaux récapitulatifs, puis de faire la liste des conséquences de ces analyses pour la politique éducative. Nous avons effectué tous les calculs avec le logiciel statistique SPSS et une série de données sur les élèves de Namibie de la sixième année (pour

lesquels nous disposions des questionnaires et de la liste des variables stockées dans l'ordinateur).

La seconde après-midi, nous avons procédé aux analyses factorielles avec des rotations varimax, puis nous avons utilisé les scores factoriels pour prévoir les niveaux de capacité en lecture des élèves ! On nous a dit que le « plongeon dans les profondeurs de la recherche » s'arrêterait à la fin de la deuxième journée et que nous adopterions ensuite un rythme plus lent. En fait, il ne nous a pas fallu longtemps pour comprendre qu'il n'en serait rien, par suite des exigences du cours : le rythme de l'enseignement, l'étendue des sessions de travail informatique et la longueur des travaux à faire à la maison se sont progressivement accrus. Ces efforts devaient donner aux participants la possibilité d'acquérir une expérience pratique des méthodologies informatisées, afin d'intégrer la recherche avec la formulation et l'analyse des politiques.

Constitution d'un échantillon pour la recherche éducative

Les concepts d'échantillon « biaisé » et «erroné » ont été bien expliqués, mais ous sommes passés très rapidement de l'échantillonnage aléatoire simple à l'échantillonnage en deux étapes portant sur des écoles choisies avec une probabilité proportionnelle à la taille. Nous n'avons pas seulement étudié la théorie de l'échantillonnage, mais nous avons également utilisé des programmes informatiques pour constituer des échantillons nationaux des écoles et appris à réviser les cadres de l'échantillonnage pour prendre en compte la création de pseudo-écoles. De là, nous sommes passés à la pondération informatique des échantillons pour corriger les disproportions entre strates. Pour ces données pondérées, nous avons utilisé le logiciel PC-CARP pour calculer les erreurs d'échantillonnage concernant les échantillons en grappes stratifiées. Cette session a été considérée comme importante et utile par les participants, parce que beaucoup d'entre eux ont été confrontés dans leur pays aux problèmes pratiques posés par la constitution d'échantillons au niveau national.

Approches modernes de l'élaboration des tests

Plusieurs sessions ont été consacrées à l'élaboration de tests (notamment d'agréables sessions de travail en groupe portant sur la rédaction d'items de tests pour évaluer les capacités en lecture des élèves) et à l'application de l'analyse classique d'item (en utilisant le logiciel ITEMAN) pour développer des tests, ainsi que l'échelonnage de Rasch (en utilisant le logiciel QUEST) pour des essais et un échelonnage de grande ampleur. Les avantages de l'échelonnage de Rasch sont devenus évidents pour tous, bien que beaucoup d'entre nous aient trouvé que l'interface du programme Quest aurait pu être un peu plus conviviale !

L'échelonnage de Rasch a été utilisé de manière plus approfondie pour élaborer une échelle de capacité en lecture dans		 cinq pays engagés dans le projet initial de recherche de politique éducative du Consortium d'Afrique australe pour le pilotage de la qualité de l'éducation (SACMEQ). On nous a montré comment ancrer l'échelle en utilisant un sous-ensemble d'items de tests qui avaient été complétés par des élèves de tous les pays du SACMEQ. Nous avons ensuite appris à utiliser différents ensembles d'items de test considérés comme «essentiels » par chacun des pays pour élaborer une échelle commune de capacité en lecture. Une séance comportant l'utilisation de QUEST a été consacrée à l'élaboration du questionnaire et d'une échelle d'attitudes ; elle a intéressé les participants qui sont souvent responsables de l'élaboration d'une vaste gamme d'instruments.

Gérer et analyser les données de la recherche

Plusieurs sessions ont été consacrées à l'utilisation du programme spécifique du logiciel de gestio de saisie des données (DEM), afin d'entrer et d'apurer les données informatiques. Certains participants étaient gestionnaires de projets et cet aspect du cours leur a fait prendre conscience du caractère fastidieux et pénible, mais nécessaire, du travail qui consiste à apurer les données de la recherche en éducation de manière professionnelle, avant d'analyser les principales données. Nous avons appris à utiliser le logiciel DEM pour identifier les opérateurs de saisie qui font beaucoup d'erreurs et nous avons également eu la possibilité d'apprendre à valider des données pour vérifier les «codes incorrects» et intercepter les codes de données incohérentes.

Un certain nombre de participants avaient beaucoup d'erreurs de saisie des données, ce qui a surpris parce que nous pensions que la phase de saisie des données d'un projet ne constituait qu'un simple travail de bureau. C'était la première fois que les participants suivaient une formation formelle pratique dans ce domaine clé de la recherche en éducation.

L'apprentissage de l'application des procédures complexes avec le logiciel SPSS pour fusionner les fichiers, désagréger les données du niveau de l'école à celui de l'élève et vice versa était à la fois fascinant et difficile. Les exemples utilisés pour ces activités étaient excellents, parce qu'ils étaient assez simples pour être faits à la main, ce qui nous a permis de mieux comprendre ce qui se passait exactement quand on effectuait les mêmes opérations avec l'ordinateur.

Modèles d'analyse causale pour des fins politiques

En utilisant les données du SACMEQ pour les élèves de Namibie de la sixième année, les participants ont travaillé sur la conceptualisation et la construction de modèles de pistes causales. Il a fallu pour cela préparer une justification des construits et des pistes entre construits associés, mais cela a également exigé beaucoup de travail préliminaire en utilisant l'analyse en composantes principales et les corrélations partielles, afin de sélectionner des variables et d'élaborer des construits.

Les participants ont appris à utiliser le logiciel PLSPath puis ont testé plusieurs modèles d'analyse causale. Trois groupes ont préparé leurs propres modèles et la discussion et les débats animés découlant de la comparaison de ces modèles ont été stimulants et agréables. Nous avons rapidement appris que l'élaboration d'un modèle d'analyse causale pour l'éducation nécessite une combinaison de compétences psychométriques, de connaissances des théories sur le développement de l'enfant et du travail dans la classe, ainsi qu'un certain flair artistique.

Thèmes spécifiques pour la planification

Pendant trois étapes du cours, des «sessions spéciales » ont été organisés sur des thèmes importants pour les approches modernes de la planification de l'éducation. Il s'agissait : de la gestion d'un projet, des indicateurs éducatifs et de la mesure des attitudes. Dans la session consacrée à la gestion d'un projet les participants devaient définir les grandes lignes d'un projet (comportant les ressources, la logistique, le budget et le calendrier).

La seconde session comportait une conférence éclairante suivie d'une discussion sur les tendances actuelles et prévisibles dans le domaine des indicateurs éducatifs. Enfin, une présentation consacrée à un guide pratique pour la construction d'échelles d'attitudes a été suivie d'une demande faite aux participants d'élaborer une échelle mesurant « Les attitudes des participants au cours d'été de l'IIPE », d'y répondre et de l'analyser ensuite !

Conclusion

Lorsque nous sommes arrivés à Paris, nous ne savions pas vraiment si le contenu du cours nous servirait dans notre travail quotidien. Nous avons tous été agréablement surpris de voir qu'il se centrait sur des connaissances et des compétences pratiques qui étaient au coeur de notre travail en tant que planificateurs et chercheurs dans le domaine de l'éducation. Les participants ont été généralement d'accord pour considérer que le cours comportait quatre caractéristiques principales qui leur ont permis d'en tirer un bénéfice maximum sur le plan pratique. Nous avons d'abord appris que les objectifs d'un projet éducatif doivent être très clairs et définis de façon opérationnelle avant de rédiger une proposition de recherche. Toutes les étapes de la conception et de la mise en oeuvre d'une recherche découlent de ces objectifs et s'il y a un problème dans ce domaine, tout le projet sera alors inutile, même s'il est bien mis en oeuvre sur le terrain.

En second lieu, nous avons appris que des études qui peuvent avoir de grandes conséquences pour la politique éducative doivent être guidées du début à la fin par une analyse préalable fine et détaillée des préoccupations en matière de politique des principaux décideurs du ministère de l'Education.

Malgré la forte chaleur qui régnait à Paris pendant ce séjour, nous avons formé un très bon groupe sur le plan du travail et des activités sociales. Nous avons travaillé à un rythme si intensif que les trois semaines nous ont semblé n'en faire qu'une. Nous avons néanmoins quitté Paris avec le sentiment d'avoir fait partie des quelques privilégiés qui ont bénéficié de cette chance et d'avoir été guidés pendant tout le cours par des personnes de qualité et de compétence exceptionnelles – ce qui a souvent manqué dans de nombreux autres ateliers auxquels nous avons participé.

Le Dr Kenneth Ross, directeur du cours d’été remercie T. Neville Postlethwaite (Professeur émérite, Université de Hambourg), Patrick Griffin (Professeur, Université de Melbourne), Andreas Schleicher (directeur des statistiques, OCDE) et Heiko Junglaus (directeur, Centre informatique de l’IEA) pour leur contribution à la réussite de ce cours. Nos sincères remerciements aussi au Prof. Barry McGaw et au Dr. Ray Adams (Australian Council for Educational Research) qui a donné gratuitement à chaque participant une copie du logiciel QUEST ainsi que des manuels.