Entre recherche en éducation et château de cartes

En éducation, les données dites «probantes» présentent des limites, estiment les auteurs.
Photo: Jacques Grenier archives Le Devoir En éducation, les données dites «probantes» présentent des limites, estiment les auteurs.

Il y a quelques jours, nous lisions dans les pages du Devoir une chronique qui prétendait en quelque sorte faire état de l’avancée des connaissances sur divers sujets en éducation, en particulier la méditation pleine conscience, la conception universelle des apprentissages et l’intelligence artificielle. L’argumentaire avancé pour porter un regard critique sur ces approches s’appuie sur la « solidité » que semble davantage reconnaître l’auteur à certaines méthodologies qui, selon lui, permettraient de « mesurer avec les faits ». À nos yeux, ce regard étroit sur ce qu’est montrer ou démontrer en sciences de l’éducation conduit à bâtir un argumentaire dont la structure est aussi frêle que celle d’un château de cartes…

Les données dites « probantes », générées par une forme très spécifique de recherche, sont très prisées par certains, voire parfois jugées seul gage d’« efficacité » ou de pertinence. Elles sont issues de la médecine, un domaine dont le fonctionnement est bien différent de celui de l’éducation. De telles données conviennent peut-être lorsque des protocoles stricts de traitement peuvent être appliqués et quand on peut mesurer précisément les effets à partir d’outils uniformes.

En éducation, toutefois, les données dites « probantes » présentent des limites, notamment à cause de la variabilité des interventions et des pratiques enseignantes, puis à cause de l’influence importante du contexte, tant scolaire que familial. Dans ce sens, elles ne devraient pas servir de seul indicateur de la pertinence des approches.

L’obtention de données probantes découle de la capacité à isoler des variables. Il s’agit de contrôler, par exemple, qu’un résultat donné n’est le fruit d’aucun autre facteur que de l’intervention qu’on cherche à évaluer. Or, un tel espoir est difficile à combler en éducation, puisqu’un résultat ou une performance peut être influencé(e) par le bagage des élèves, le soutien familial qu’ils reçoivent, les interactions avec les autres élèves de la classe, les circonstances du moment, les fondements d’une discipline scolaire, les valeurs éducatives promues, etc. Pour limiter le poids des variations, on cherche à obtenir de grands échantillons.

Multiplier les approches

 

Vient ensuite un autre enjeu. Encore faut-il être capable de bien mesurer le concept qu’on prétend mesurer et l’avoir adéquatement défini en amont. En évaluant des articles scientifiques, il arrive d’en rencontrer qui prétendent étudier des processus (par exemple la résilience), en utilisant toutefois des mesures qui rendent plutôt compte de qualités personnelles. Certes, on y trouve des gages de rigueur pour les tenants des données probantes : échantillons volumineux, résultats statistiquement significatifs, tailles d’effet imposantes. Pourtant, à la base, on n’évaluait pas le concept qu’on prétendait évaluer, ce qui pose un problème de fond important : la validité de construit.

De plus, ce type d’étude peut parfois nous permettre de relier des variables et de documenter des effets, mais elles sont souvent peu évocatrices sur les raisons qui permettent de les expliquer, la manière de les mettre en oeuvre ou les conditions du contexte qui peuvent les favoriser. C’est une des raisons pour lesquelles des approches qualitatives de recherche méritent d’être considérées et davantage valorisées, dans le respect de leurs critères de rigueur scientifique.

Les méta-analyses fournissent un type de données probantes. Bien qu’elles puissent permettre d’accéder à un survol synthétique d’une plus ou moins grande variété d’études, il faut savoir qu’elles excluent généralement les études qualitatives. Puis, on s’efforce de comparer des études qui ne définissent pas nécessairement les concepts de la même manière, ni ne les mesurent sur la base des mêmes instruments. Quand il est question d’interventions ou de pratiques spécifiques, celles-ci sont généralement peu décrites. On ne sait donc pas selon quelles procédures exactes elles ont été menées ni les contextes dans lesquels elles se sont déroulées.

Bien qu’elles s’avèrent utiles et qu’elles puissent permettre une économie de temps au lecteur ou à la lectrice qui ne peut lire chaque étude qui la compose, il convient d’exploiter les méta-analyses pour avoir un portrait partiel des études sur un sujet donné, tout en considérant leurs limites. Elles ne devraient pas servir à elles seules à discréditer ou à encenser des pratiques qui sont souvent peu définies.

Apprécier les nuances

 

Par ailleurs, il importe d’interroger le concept d’efficacité. Pour quelle(s) finalité(s) ? Que souhaite-t-on développer chez les élèves ? Désire-t-on en faire des performateurs d’examens ? De futurs citoyens engagés capables d’esprit critique ? Ou quoi d’autre… Ces questions sont fondamentales parce qu’il est illusoire de penser qu’une seule approche peut permettre d’atteindre toutes les finalités en même temps.

Quand il est question d’apprentissage, une note d’examen capte-t-elle bien à elle seule l’ensemble des apprentissages réalisés par les élèves ? Tout se quantifie-t-il ? Comment devrait-on mesurer l’efficacité d’une approche sur le développement des habiletés sociales et émotionnelles des élèves ? De leur créativité ? Voilà quelques questions auxquelles on réfléchit trop peu avant de juger de l’efficacité en éducation.

Concluons en trois mots : nuance, nuance, nuance ! En éducation, il importe de cesser la hiérarchisation des approches de recherche et de distribuer des injonctions, surtout sur la base d’écrits scientifiques fragmentaires. Plutôt que de prétendre rendre compte de LA recherche, comme s’il s’agissait d’un bloc monolithique et qu’il y avait consensus absolu, demeurons transparents, critiques et humbles dans nos interprétations. Ce n’est pas parce que des études recommandent que plus de recherches soient menées sur un sujet donné, notamment dans le cas d’approches innovantes, que cela signifie que de telles approches sont impertinentes ou inutiles pour le milieu scolaire. C’est une interprétation trompeuse.

À voir en vidéo