Passer à la version normale du sitePasser à la version large du siteTaille d'écran
  • Facebook
  • Twitter
  • RSS
  • fermer

    Connexion au Devoir.com

    Mot de passe oublié?

    La puissance du nombre

    Les effets pervers des indicateurs d’excellence dans le monde de la recherche

    Les universités s’emploient ainsi à « développer leur image pour vendre leurs produits à des acheteurs potentiels, c’est-à-dire les étudiants ».
    Photo: Annik MH De Carufel - Le Devoir Les universités s’emploient ainsi à « développer leur image pour vendre leurs produits à des acheteurs potentiels, c’est-à-dire les étudiants ».
    Le Classement de Shangai 2013

    1ère  Harvard University
    2e  Stanford University
    3e  University of California Berkeley
    4e  Massachusetts Institute of Technology (MIT)
    5e  University of Cambridge
    6e  California Institute of Technology
    7e  Princeton University
    8e  Columbia University
    9e  University of Chicago
    10e  University of Oxford
    28e  Université de Toronto
    37e  Université Pierre et Marie Curie Paris 6
    40e  Université de la Colombie-Britannique (UBC)
    58e  Université McGill
    71e  École Normale Supérieure (ENS) Paris
    140e  Université de Montréal
    215e  Université Laval
    411e Université Concordia
    482e  Université du Québec
    485e  Université de Sherbrooke

    Depuis une dizaine d’années, on évalue, on note et on classe les chercheurs, les universités, voire les pays, à l’aide d’« indicateurs d’excellence » qui souvent ne reflètent pas vraiment la qualité de la recherche mais répondent avant tout à des impératifs de marketing. Le sociologue des sciences à l’UQAM, Yves Gingras, décrit dans son dernier livre les dérives de l’évaluation de la recherche et montre les dangers de vouloir tout résumer à un chiffre.


    Le 15 août dernier, l’Université McGill se réjouissait d’avoir amélioré son rang dans le classement académique des universités mondiales, communément appelé Classement de Shanghaï. Bien que rangée derrière l’Université de Toronto et l’Université de la Colombie-Britannique, McGill avait gravi cinq échelons en un an, pour atteindre la 58e place, son record depuis 2003, la première année de publication de ce classement établi par des chercheurs de l’Université de Jiao-Tong à Shanghai, en Chine.

     

    En maintenant sa position dans la fourchette des 101 à 150 premières, l’Université de Montréal, quant à elle, se rassurait en soulignant que « se maintenir à son rang est d’autant plus difficile que montent les universités des pays émergents », comme l’écrivait le doyen de la Faculté des arts et des sciences au lendemain de l’annonce du classement.

     

    Chaque année, l’Université McGill ne manque pas non plus de faire savoir qu’elle conserve sa place au sommet du palmarès des meilleures universités canadiennes offrant un doctorat en médecine, établi par le magazine Maclean’s.

     

    « Les universités qui se drapent dans leur bon rang à ces divers classements me font penser au conte d’Andersen Les habits neufs de l’empereur », lance d’entrée de jeu Yves Gingras, que nous avons rencontré à l’occasion de la sortie de son livre Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie, publié aux éditions Raisons d’agir. « L’émergence [et la prolifération] des classements mondiaux s’inscrit dans ce courant néolibéral qui fait des universités un marché comme un autre. Or qui dit marché dit compétition et marketing. »

     

    Les universités s’emploient ainsi à « développer leur image pour vendre leurs produits à des acheteurs potentiels, c’est-à-dire les étudiants ». Elles « s’évertuent à trouver un classement dans lequel elles figurent parmi les meilleures […] pour vendre leur « qualité ». […] Or, les universités sont censées incarner la quête de la vérité et non tenter de vendre à tout prix des produits. »

     

    Yves Gingras se réjouit du fait que certains avouent publiquement l’invalidité de ces classements qui ne font qu’illusion. Il relate la sortie de David Naylor, président de l’Université de Toronto, qui écrivait en 2006 dans l’Ottawa Citizen que le classement des institutions proposé par le magazine Maclean’s n’était utile que pour le marketing.

     

    « Personne, parmi nous, ne croit réellement que ce classement ait une quelconque rigueur intellectuelle, écrivait-il. Un seul chiffre est séduisant. C’est facile de le placer dans un communiqué de presse ou d’en mentionner quelques-uns sur la couverture d’un magazine. […] Ces classements masquent les problèmes des mieux classés et cachent les forces des mal classés. »

     

    L’importance accordée à ces palmarès des universités est aussi reliée à la « recherche d’une clientèle étrangère lucrative qui viendrait ainsi combler les revenus déclinants des universités » publiques, poursuit Gingras. C’est aussi cette recherche de clientèle étrangère qui explique la décision récente, en France, de permettre aux universités de donner des cours en anglais.

     

    L’invalidité scientifique

     

    Mais ce qui est plus grave encore, c’est l’invalidité scientifique des classements, martèle le chercheur. Premièrement, « il est impossible que des universités montent de quatre rangs ou glissent de cinq échelons en une année, car les institutions universitaires sont comme de lourds paquebots qui ne changent pas de cap très rapidement ». De telles fluctuations annuelles ne sont qu’un « artefact dû à des indicateurs dont la validité est douteuse ».

     

    Le classement de Shanghai est fondé sur six indicateurs de qualité, « qui ne reflètent pas toujours la réalité actuelle et dont le poids est arbitraire » dans la somme totale, précise-t-il. Notamment, on accorde des points aux universités qui ont formé ou employé un Prix Nobel ou un récipiendaire de la médaille Fields (en mathématiques).

     

    « Or le Nobel est accordé en moyenne 25 ans après la découverte qu’il récompense. Il est donc complètement absurde d’utiliser un tel critère pour mesurer la qualité actuelle d’une université », fait remarquer Yves Gingras qui, dans son livre, donne l’exemple d’Albert Einstein, qui était associé à l’Université de Berlin quand il a reçu son prix Nobel en 1922.

     

    « C’est donc cette université qui obtient les points dans le classement. Mais, à la fin de la Seconde Guerre mondiale, elle s’est scindée en deux, la partie Est, sous le régime communiste, devenant l’Université Humboldt, et la partie Ouest créant l’Université libre de Berlin. Évidemment, les deux revendiquent Einstein car le simple fait de l’associer à l’une ou l’autre institution fait bouger sa position de plus de 100 places dans le classement ! »

     

    Le classement de Shanghai comptabilise aussi le nombre de publications dans les deux revues scientifiques Nature et Science, « qui sont incontestablement des publications phares. Cependant, toutes les disciplines ne peuvent pas être traitées dans ces revues. Il ne faut donc pas en faire un étalon de mesure. Elles refusent énormément de très bons textes parce qu’elles privilégient des articles sexy qui plairont aux journalistes », souligne le sociologue des sciences.

     

    Yves Gingras souligne le fait que très peu d’universités françaises figurent dans le classement de Shanghai, alors que de nombreuses universités canadiennes y sont assez bien positionnées. « Cela ne veut surtout pas dire que les canadiennes sont meilleures que les françaises en sciences ; c’est plutôt le classement de Shanghai qui n’est pas bon pour mesurer la qualité de la recherche », dit-il.

     

    L’argent, le nerf de la guerre

     

    Pour le fondateur et directeur scientifique de l’Observatoire des sciences et des technologies, la moyenne relative (c’est-à-dire tenant compte de la discipline) des citations par article, pendant une durée fixe, est probablement le meilleur indicateur pour mesurer la qualité de la recherche au niveau institutionnel et national. « Or, avec cet indicateur, une bonne dizaine d’universités françaises se classent bien avant n’importe quelle université canadienne. Ce qui est normal car les Français sont beaucoup plus nombreux que les Canadiens à obtenir des Prix Nobel et des médailles Fields. »

     

    « En recherche, le nerf de la guerre, c’est aussi l’argent. Aucune université dans le monde ne peut se comparer à l’Harvard University, qui est en tête de tous les classements car sa fondation compte 33 milliards de dollars. Les dix meilleures universités du monde en recherche sont toutes privées, à l’exception de l’University of California, Berkeley, qui est publique », poursuit Yves Gingras, qui a lui-même effectué un stage postdoctoral à Harvard. Pour faire ressortir la véritable productivité d’une université, il faut plutôt la comparer à des universités qui disposent d’un financement équivalent au sien.

     

    L’évaluation par les pairs

     

    Les demandes de subventions formulées par les chercheurs sont évaluées par un comité de pairs au Canada, aux États-Unis et en France, pour ne nommer que ceux-là. Cette évaluation « n’est pas parfaite », mais c’est la meilleure façon d’évaluer des individus, affirme M. Gingras. Les pairs, qui sont des chercheurs du domaine, connaissent les bonnes revues de leur discipline et peuvent ainsi reconnaître si un candidat a publié dans des revues de qualité.

     

    Mais, dans le but d’améliorer l’objectivité de ce type d’appréciation, certains ont voulu avoir recours à des outils bibliométriques pour évaluer la productivité des individus, car « les nombres ont depuis longtemps une apparence d’objectivité ».

     

    Parmi ces outils figurent l’indice « h », qui est égal au nombre d’articles qu’un chercheur a publiés et qui ont obtenu x citations chacun depuis leur publication, sans égard à leur qualité ; le « facteur d’impact » (FI) d’une revue [dans laquelle un chercheur a publié ses articles] est quant à lui une simple moyenne arithmétique du nombre de citations (et autocitations de la revue !) obtenues par les articles publiés dans cette revue sur une période de deux ans ; et finalement, le nombre de citations qu’ont récoltées les articles d’un chercheur.

     

    « Ces outils ne sont absolument pas adaptés à l’évaluation de la recherche menée par un individu », tranche Gingras. L’importance accordée aux facteurs d’impact et au classement des revues fait en sorte que les chercheurs négligent de s’intéresser à « des sujets locaux, marginaux ou peu à la mode », de peur de ne pas être publiés dans des revues classées et internationales. Un chercheur qui veut figurer dans les publications les plus visibles a intérêt à étudier l’économie des États-Unis plutôt que les spécificités économiques de son pays », explique Yves Gingras.

     

    Et de rappeler que « sur la seule base des citations de son oeuvre, Lyssenko [l’ingénieur agronome soviétique qui développa une théorie génétique pseudo-scientifique encensée par Staline] serait considéré comme l’un des plus grands chercheurs de la décennie 1950 ».

     

    Le nombre de citations

     

    « Le nombre de citations ne peut remplacer le jugement [d’un comité de pairs] qui doit prendre en considération d’autres variables que ce simple décompte, car celui-ci dépend de la nature de l’article. Un papier traitant de méthode, qui décrit une procédure, est cité beaucoup plus longtemps qu’une contribution typique à l’avancement des connaissances, et un article de synthèse, qui fait le point sur l’état des savoirs sur un sujet donné, est voué à être cité plus longtemps même s’il n’annonce pas vraiment une découverte », souligne-t-il.

     

    Par contre, la bibliométrie peut permettre de vérifier si le processus d’évaluation par les pairs permet bien de sélectionner les meilleurs chercheurs. Yves Gingras a lui-même effectué une telle analyse. Il a comparé le classement auquel en étaient arrivés les comités de pairs à celui obtenu en mesurant la moyenne relative des citations des chercheurs considérés comme très bons.

     

    « En moyenne, les candidats retenus par les comités de pairs étaient aussi les meilleurs, tel que mesuré par la moyenne relative des citations. Ce qui prouve que les comités de pairs ne se trompent pas et que cette façon de faire fonctionne. Ces résultats permettent de contrer les critiques affirmant que le processus d’évaluation par les pairs est fondamentalement biaisé », conclut-il.


    Yves Gingras donnera une conférence sur les dérives de l’évaluation de la recherche au Coeur des sciences de l’UQAM le mercredi 5 mars, à 19h.

    Les universités s’emploient ainsi à « développer leur image pour vendre leurs produits à des acheteurs potentiels, c’est-à-dire les étudiants ». Le sociologue des sciences Yves Gingras : « L’émergence [et la prolifération] des classements mondiaux s’inscrit dans ce courant néolibéral qui fait des universités un marché comme un autre. Or qui dit marché dit compétition et marketing. »
     
     
    Édition abonné
    La version longue de certains articles (environ 1 article sur 5) est réservée aux abonnés du Devoir. Ils sont signalés par le symbole suivant :
     
     












    CAPTCHA Image Générer un nouveau code

    Envoyer
    Fermer
    Blogues

    Articles les plus : Commentés|Aimés
    Abonnez-vous pour recevoir nos Infolettres par courriel