Sarah Wysocki était une enseignante expérimentée et compétente. Elle fut néanmoins congédiée avec 205 autres collègues jugés « non performants » à la suite d’une évaluation pernicieuse et dévastatrice générée par le système d’appréciation automatique des professeurs de Washington DC instauré vers 2009 pour « optimiser le système scolaire ».

« D’un point de vue statistique, chercher à noter l’efficacité d’un enseignant en analysant les résultats aux tests de 25 à 30 élèves à peine apparaît en outre assez douteux, voire ridicule. […] L’échantillon s’avère beaucoup trop restreint. » Malgré cette évidence, la gestion axée sur les résultats se répand en éducation, y compris au Québec.

Pour Wysocki et ses infortunés collègues, le verdict tomba comme un diktat incarné et imposé par le système, sorte de « démiurge algorithmique ». Ces enseignants constituèrent les « dommages collatéraux » d’un modèle mathématique opaque, utilisé à grande échelle et capable de causer des ravages, alors qu’il découlait d’une bonne intention.

De tels systèmes pullulent. Ils jouent un rôle central dans nos vies, souvent à notre insu. Pensons au processus d’admission dans les universités, à l’évaluation du personnel, aux procédures automatiques d’attribution de crédit, au placement publicitaire sur Internet, voire à cette « police prédictive » américaine qui détermine le potentiel de récidive d’un criminel à partir de statistiques.

Le microciblage des électeurs

 

Dans l’Idaho et le Colorado, les magistrats utilisent aussi ces données pour décider de la peine à prononcer. Ajoutons à cela le microciblage des électeurs sur les réseaux sociaux effectué par les partis politiques. Celui-ci peut changer le cours d’un scrutin.

Voilà autant d’armes de destruction mathématique (ADM). L’expression vient de la traduction du titre original, Weapons of Math Destruction. On remarquera le jeu de mots intraduisible en français. L’image est forte. Ce percutant essai dénonce les effets néfastes des modèles algorithmiques dans la vie des Américains. Sujet aride ? Aucunement, car le propos pénétrant et dérangeant conserve toute sa pertinence de ce côté-ci de la frontière.

Cathy O’Neil connaît le domaine. Mathématicienne diplômée de Harvard, elle a oeuvré dans les (bas-)fonds spéculatifs lors du krach financier de 2008. Dégoûtée par le rôle que jouèrent les algorithmes avancés dans cette crise, elle a tout quitté, s’est engagée dans le mouvement Occupy Wall Street et tient depuis quelques années un blogue baptisé Math-Babe, qui traite de statistiques approximatives et d’algorithmes arbitraires.

Son sens de l’analogie, de la vulgarisation et du récit fait d’elle une analyste passionnante de l’univers des mégadonnées numériques brutes, appelées big data. Celles-ci se composent, entre autres, des informations amassées sur les personnes qui font usage du Web, des applications mobiles et de la géolocalisation. Elles constituent le coeur d’une économie débridée en pleine expansion et très lucrative. Elles y sont surtout utilisées dans une optique de profit, d’influence et de réduction des risques. Or, leur interprétation a souvent peu ou pas de rapport avec les réalités qu’elles devraient appréhender.

Tout modèle algorithmique n’est pas forcément nocif, estime Cathy O’Neil. Ainsi, les statistiques avancées au baseball, décrites dans le film Moneyball, adaptation du livre de Michael Lewis, s’avèrent un espace idéal pour la modélisation prédictive, puisqu’elles « intègrent les relations mesurables entre chaque élément de ce sport ».

Recours aux mégadonnées

 

La mathématicienne en a plutôt contre la façon avec laquelle des entreprises du domaine informatique, bancaire et des assurances notamment, recourent aux mégadonnées. Elles les achètent ou les colligent, les croisent et les analysent en toute impunité et dans le plus grand secret, au mépris parfois de la protection de la vie privée, comme l’a montré en 2018 le scandale ayant impliqué Facebook et la firme Cambridge Analytica.

O’Neil dénonce aussi l’effrayante puissance et les biais des ADM générés par ces organisations. Ces ADM « reflètent les jugements et les priorités de ces concepteurs » orientés vers le profit à outrance sous couvert d’efficacité et d’objectivité. En outre, ces modèles encodent des hypothèses pleines d’a priori par rapport à certains groupes historiquement désavantagés, notamment les Afro-Américains qui recherchent une police d’assurance.

En opérant de telles corrélations discriminatoires, voire illégales dans certains cas, ces ADM influent les processus décisionnels, malgré les méprises possibles et les interprétations fautives qu’elles génèrent. Par le fait même, elles causent des préjudices aux moins nantis, particulièrement. Néanmoins, ces ADM nuisibles instaurent un faux sentiment de confiance et de sécurité.

Alors que nous transmettons nos données sans toujours le savoir, comment réagir face à cette menace insidieuse de plus en plus concrète ? O’Neil prône davantage de transparence de la part des entreprises et demande la création d’un système de régulation strict des modèles mathématiques. Elle exhorte par ailleurs les organisations et les individus à faire preuve d’éthique technologique, c’est-à-dire à ne pas céder « aux facilités, à la fascination de la technologie, et à n’utiliser celle-ci que dans des conditions de rigueur […] incontestables ». Un défi quotidien nous attend donc.