Le palmarès des écoles secondaires, prise 3

Le troisième Bulletin des écoles secondaires du Québec de l'Institut économique de Montréal et de l'Institut Fraser de Vancouver sera présenté demain en conférence de presse. De plus, la revue L'Actualité publiera elle aussi, dans un numéro spécial, un résumé des données contenues dans le Bulletin.

Cette importante diffusion d'un classement des écoles selon les scores moyens pour chaque école à quatre épreuves de la fin du secondaire du ministère de l'Éducation soulève plusieurs questions. En effet, malgré d'importantes lacunes méthodologiques et plusieurs ellipses intellectuelles commises dans ce bulletin, les commanditaires récidivent de la même manière cette année, comme si de rien n'était. Si ce classement était présenté dans un obscur congrès au Kansas, on ne trouverait rien à y redire. Mais lorsqu'on le publie à 400 000 exemplaires et qu'on lui donne autant de visibilité médiatique, il y a lieu de s'interroger, étant donné les importantes réserves méthodologiques émises à son sujet, sur les véritables motifs de tout ce branle-bas. Je désire donc profiter de cette troisième publication pour remettre en perspective trois facettes de l'opération de l'IEDM et de l'IF avec leur Bulletin des écoles secondaires:

- les glissements conceptuels commis par les auteurs mais ne découlant pas des caractéristiques des données utilisées;

- les techniques empruntées par l'IEDM et l'IF au domaine des relations publiques;

- l'objectif de diffusion de l'information à la population.

Le Bulletin des écoles: les glissements

Les auteurs relient continuellement la performance de l'école aux résultats moyens des élèves aux épreuves du ministère. Ainsi, on glisse, ou on surfe, dans une perspective de cause à effet, entre les résultats moyens aux épreuves, qui constituent l'information de référence, et ce qu'on appelle l'«efficacité» de l'école. Malheureusement, les données utilisées ne permettent pas d'être aussi audacieux. Rappelons-le, ce ne sont pas les résultats des écoles qui sont observés, ce sont les scores des élèves à quatre épreuves d'une durée de trois heures chacune. En associant directement les scores moyens des élèves aux épreuves de la fin du secondaire à une caractéristique générale de l'école ou encore à un effet de l'enseignement, on prend un raccourci qui ne conduit nul part.

Il y a plusieurs éléments qui militent contre ce genre d'ellipse intellectuelle: l'absence de la démonstration de l'existence d'une mesure, l'utilisation de la seule moyenne plutôt que de l'ensemble des résultats, la non-prise en considération de l'erreur de mesure et de l'erreur d'échantillonnage, les fluctuations dans la clientèle des élèves et les changements dans le corps enseignant, l'ignorance des caractéristiques métriques des épreuves du ministère, etc.

La mesure

Les auteurs avancent qu'ils «peuvent mesurer non seulement le rendement annuel de l'école mais aussi leur [sic] progrès ou leur [sic] recul au fil des ans». Mais quelle sorte de mesure utilisent-ils? Avec quelle sorte de balance réussissent-ils à peser les écoles les unes contres les autres?

D'abord, pour obtenir une mesure, il ne s'agit pas seulement de compter le nombre de bonnes réponses, d'obtenir un total, de faire la moyenne des totaux des élèves et d'additionner, soustraire, multiplier ou diviser ces moyennes. La mesure n'existe pas seulement par la magie des nombres: ceux-ci ne sont qu'un support dont la structure est très commode. La mesure existe parce qu'on peut faire la démonstration qu'il existe des unités de mesure qui représentent des rapports entre des grandeurs, comme pour la seconde ou le candela par exemple, et parce qu'on peut démontrer qu'il existe une façon de combiner les unités de mesure, par exemple en les concaténant. Pour mesurer, il faut aussi mettre au point un instrument qui permettra de produire la preuve de la régularité de la grandeur de l'unité de mesure, comme une montre qui mesure le temps écoulé.

Qu'en est-il des nombreuses «mesures» du Bulletin? En fait, la principale mesure concoctée par les auteurs du Bulletin est ce qu'on appelle une mesure par fiat, c'est-à-dire une mesure qui n'existe que par la volonté de celui qui la crée, comme la personne qui prétend que l'intelligence consiste en ce que le test d'intelligence mesure. L'IF concocte d'ailleurs des mesures de l'efficacité des écoles de la Colombie-Britannique, de l'Alberta, de l'Ontario et du Québec. Pour chacune de ces provinces, les variables utilisées pour construire la cote ne sont pas les mêmes. Il y aurait donc quatre unités différentes pour mesurer la même chose, soit l'efficacité de l'école, dans quatre cultures éducatives différentes.

L'opération ne tient pas compte de l'erreur de mesure inhérente aux épreuves standardisées du type de celles du ministère, où la perspective métrique relève plus de la fidélité des scores que de leur validité. À titre d'exemple, la tâche de l'épreuve écrite en langue maternelle varie d'une année à l'autre et, certaines années, la tâche peut être plus complexe pour ceux qui rédigent le texte et pour ceux qui le corrigent. Les scores à ces épreuves sont ainsi marqués, à divers degrés d'une année à l'autre, par une erreur de mesure associée au thème à développer. Le recul ou le progrès du «système» ou d'une école particulière peut ainsi n'être qu'un artéfact de la tâche à réaliser.

Lorsqu'on utilise uniquement la moyenne pour représenter les résultats des écoles, on oublie que cette statistique est très sensible à l'asymétrie de la distribution des scores et aux valeurs extrêmes qui peuvent la contaminer et l'empêcher d'être un indicateur valide. De plus, les modèles psychométriques utilisés pour étudier les caractéristiques de fidélité et de validité des épreuves du ministère sont des modèles valides pour les individus, pas pour un collectif d'individus représenté par une moyenne.

L'opération de diffusion des résultats

Dans l'industrie des relations publiques, il existe différentes techniques de diffusion des messages qu'on veut faire passer. Parmi ces techniques, il y en a deux qui ressemblent drôlement à ce qui est fait par l'IEDM et l'IF dans l'opération Bulletin. Il s'agit de la technique dite du troisième homme et de la technique du reportage gracieusement proposé. En fait, il s'agit d'utiliser la position d'expertise de la science et de l'allier à la puissance des médias de grande diffusion. Aux États-Unis, le monde des affaires et les think-tanks conservateurs ont souvent recours à ces techniques, et on retrouve plusieurs études de cas bien documentées dans le livre de l'historien S. McEwen, PR! - A Social History Of Spin. Il s'agit tout simplement de passer une commande à un expert crédible, un universitaire la plupart du temps, qui partage, en partie ou en totalité, vos idées et vos objectifs, et, ensuite, d'offrir gratuitement le fruit de ce travail commandité à un média à grand tirage qui accepte de le rendre public parce qu'il partage aussi une partie de vos idées et de vos objectifs. Quel est l'objectif de ce genre d'opération? Généralement, il s'agit d'influencer l'opinion publique dans une direction qui converge vers les intérêts des commanditaires.

Quel est l'intérêt des commanditaires dans le cas de l'opération Bulletin? L'orientation idéologique de l'IF est assez claire. L'IF se fait le propagandiste du marché et de la liberté de choix. Ainsi, peut-être ne faut-il pas chercher très profondément les raisons qui mènent l'IF et l'IEDM à commanditer et à diffuser largement ce bulletin: le marché, tout simplement. Certains acteurs de l'industrie des relations publiques, théories psychologiques des masses à l'appui, sont persuadés de l'efficacité d'une démarche planifiée de cette façon. Une espèce de publicité-propagande subliminale, en somme. Cela fonctionne-t-il? Difficile à dire dans le cas du Bulletin des écoles secondaires, mais si on se réfère à l'air du temps politique au Québec et aux débats qui ont lieu à propos de la santé, il est probable que ce type d'opération ait actuellement un impact sur l'opinion publique.

Une étude indépendante?

Les auteurs du Bulletin 2001 mentionnent qu'«une dépense publique d'une pareille ampleur appelle une mesure constante et indépendante». En fait, il faudrait plutôt dire: «un des deux auteurs mentionne que... ». En effet, les tâches sont partagées, et c'est un employé de l'IF qui est responsable de la partie «littéraire» du rapport. L'étude est peut-être indépendante, mais on remarque que la partie littéraire des bulletins 2000 et 2001 pour le Québec s'inspire toujours très fortement des autres rapports du même type publiés par l'IF. Par exemple, dans le rapport 2000 du Québec, on retrouve des morceaux de texte provenant directement, sans référence, du rapport de la Colombie-Britannique. Dans le rapport 2001, ce sont des morceaux de texte du rapport de l'Ontario que l'on retrouve tel quel, à des nuances de traduction près. Ainsi, il existe une espèce de coquille d'interprétation passe-partout, fournie par l'IF, à laquelle on greffe une analyse de données pour produire un classement des écoles en Colombie-Britannique, en Alberta, en Ontario et au Québec. Si les commanditaires et les auteurs du Bulletin décidaient de soumettre leurs travaux à un comité de pairs indépendants qui jugerait de la qualité du travail réalisé, il y aurait un pas de fait vers une réelle indépendance et pas uniquement une indépendance déclarée.

Informer la population

Pour ce qui est de fournir de l'information à la population, il est difficile de dire si l'objectif est atteint car l'information transmise est incomplète et invalide sous plusieurs aspects. Le public n'est pas dupe de ce genre d'opération. Dans le sondage publié par L'Actualité dans le cadre de son numéro spécial 2001, les répondants étaient d'accord à 82 % avec l'énoncé voulant que «la publication des bulletins aide les parents à choisir une école», mais 62 % des répondants étaient aussi d'accord avec l'énoncé selon lequel «les bulletins ne sont pas représentatifs de la réalité car certaines données importantes ne sont pas prises en considération». Bien dit.

Évidemment, les choses pourraient toujours être meilleures pour tous et partout, mais il n'en demeure pas moins que 40 ans après la publication du rapport Parent, notre système d'éducation a trouvé un rythme de croisière qui fait l'envie de plusieurs. Cependant, comme tous les systèmes complexes, il nécessite des ajustements périodiques. Cela non plus, il ne faut pas l'oublier. Il y a place à des ajustements, mais que les sceptiques en parlent aux parents qui ont des enfants qui fréquentent l'école, publique ou privée, au Québec. D'après les enquêtes des 20 dernières années sur ce sujet, ils sont en général assez satisfaits. Alors, peut-être est-ce le temps de cesser de regarder les moyennes des écoles à des épreuves standardisées de trois heures et de recentrer le débat sur l'acquisition de connaissances, la réalisation d'apprentissages et le développement de compétences au bénéfice de tous les élèves, de toute la population et pour toute la durée des études. Si le passé est garant de l'avenir, les élèves du Québec bénéficieront, à n'en pas douter, d'un accompagnement de qualité et sans cesse renouvelé dans cette direction.