Abus de logiciel

L’excellent reportage de l’émission Enquête diffusé jeudi dernier à Radio-Canada procure d’essentiels éclairages sur l’ampleur des défis pour assurer la sécurité des enfants les plus vulnérables. Outre l’ampleur des difficultés qu’affrontent au quotidien les professionnels de la Direction de la protection de la jeunesse (DPJ), le reportage révèle des faits troublants au sujet d’un logiciel appelé Système de soutien à la pratique (SSP) des professionnels de la DPJ. Cet instrument est d’usage obligatoire pour l’ensemble des professionnels de la DPJ. Il génère un document d’analyse à partir de réponses aux questions à choix multiples fournies par l’intervenant de la DPJ.

Dans un rapport produit en 2017, la Commission des droits de la personne a examiné comment avait été traité le signalement relatif à Thomas Audet, un enfant de 22 mois décédé en juin 2016 dans des circonstances encore nébuleuses. Un mois auparavant, son cas avait été porté à l’attention de la Direction de la DPJ. Le rapport de la Commission des droits de la personne montre du doigt les incohérences du logiciel pour des décisions discutables qui auraient retardé l’évaluation de son dossier.

La journaliste Pasquale Turbide explique dans son reportage que « Dans le cas de Thomas […] le logiciel semble avoir produit un document aux conclusions contradictoires » et orienté les intervenants vers une décision qui a eu pour conséquence de reléguer son dossier à un rang plus bas dans l’ordre de priorité. Thomas est décédé 23 jours plus tard sans avoir été vu par une travailleuse sociale. Une intervenante explique dans le reportage que « le SSP génère parfois des rapports contredisant le jugement clinique de l’intervenante, qui a souvent passé une quinzaine d’heures à rencontrer l’enfant, les parents et des professionnels. Ce qui engendre des situations absurdes ».

Ce qui était au départ un instrument destiné à aider le professionnel dans son travail d’évaluation de la situation complexe semble être devenu un instrument qui sert à ordonnancer les « cas » dans des organisations qui doivent gérer les contradictions entre les missions très exigeantes qu’elles ont à accomplir et les ressources de plus en plus rares.

D’outil d’aide à outil de décision

Les outils d’aide à la décision sont généralement conçus pour guider les professionnels et autres personnes ayant à prendre des décisions dans des situations complexes à recueillir systématiquement les informations pertinentes et nécessaires et aider à les analyser. Ce sont des outils destinés à aider à identifier et à sérier les faits multiples à considérer dans la prise de décision. Mais il est risqué de transformer de tels outils en décideurs.

Les outils d’aide à la décision sont forcément incomplets. Ils ne peuvent avoir tout prévu de la complexité des situations. Ils reposent sur des questions prédéterminées. Des questions nécessairement partielles. Le reportage nous apprend que « Le logiciel propose une série de questions à choix multiples, avant de générer un rapport censé guider le professionnel dans l’évaluation d’un cas. L’ennui, selon la travailleuse sociale et représentante syndicale Nancy Poulin, c’est que les choix de réponses sont souvent incomplets. Parfois, ta réponse n’est pas dans les choix de réponses. Ce qui nous est proposé ne fonctionne pas pour des problématiques avec des parents ou des enfants, par exemple. […] On doit faire un choix de réponses qui ne correspond pas à la réalité pour être capable de passer à l’autre question ».

Dans un contexte de rareté de ressources, la tentation est forte de faire passer de tels outils d’un statut d’auxiliaire aidant à celui d’instrument de mesure et de détermination des « priorités ». Lorsqu’on fait de tels usages d’outils informatiques, on les transforme en normes de conduite. Ces instruments sont en effet dotés de fonctions qui finissent par jouer comme des règles qui s’imposent à tous ceux qui en font usage.

C’est là que la limite est franchie. Lorsque l’outil est configuré de manière à imposer nécessairement une réponse à telle ou telle question, qu’il est structuré de manière à postuler que certains faits sont pertinents et pas d’autres, il oriente le processus d’analyse du professionnel qui l’utilise. Lorsqu’il est utilisé pour supplanter le jugement des professionnels, le danger de dérive s’accroît.

D’un outil d’aide à un outil maître

C’est l’autonomie professionnelle des intervenants qui est ici marginalisée. Lorsque, dans une logique gestionnaire, une organisation impose l’usage d’un instrument et lui confère une autorité qui supplante le jugement professionnel, l’outil n’est plus un outil d’aide, il devient un outil maître. Ce sont les normes implicites incluses dans la structure de l’outil qui en viennent à prévaloir sur le jugement professionnel.

Par-delà le caractère tragique de l’histoire du jeune Thomas, c’est la façon dont une organisation comme la DPJ introduit et utilise les outils d’aide à la décision pour subordonner le jugement des professionnels qui est ici troublant. Lorsque les décisions de gestion en viennent à imposer l’utilisation obligatoire d’un outil qui supplante le jugement des professionnels, tous les citoyens — et surtout les plus vulnérables — sont à risque.

LE COURRIER DES IDÉES

Recevez chaque fin de semaine nos meilleurs textes d’opinion de la semaine par courriel. Inscrivez-vous, c’est gratuit!


En vous inscrivant, vous acceptez de recevoir les communications du Devoir par courriel.

6 commentaires
  • Françoise Labelle - Abonnée 19 novembre 2019 07 h 18

    Le ridicule tue parfois

    Et il épargne les responsables.
    «le SSP génère parfois des rapports contredisant le jugement clinique de l’intervenante, qui a souvent passé une quinzaine d’heures à rencontrer l’enfant»
    Combien de temps le système a-t-il consacré à l'enfant? Un dossier n’est pas un enfant.

    L’entraînement d'un système expert exige une exposition à un grand nombre de cas avec des rétroactions (des notes) positives et négatives. Cet apprentissage doit être validé de façon approfondie et sur de longues périodes par la pratique avant d’entrer en fonction. Parions que les systèmes des véhicules autonomes font l'objet d'une validation beaucoup plus approfondie puisqu'il y a des intérêts économiques en jeu (la réputation de l'entreprise et les clauses d'assurance).

    Nous sommes mystifiés par cette volonté de reconnaître de l'intelligence (ou des formes) là où il n'y en a pas. Il faudrait plus d'articles abordables sur les limites de «l'intelligence artificielle». On devrait parler plus exactement de «tentative d'imitation» artificielle.

  • Rose Marquis - Abonnée 19 novembre 2019 07 h 42

    Le jugement professionnel

    Très bon article où l'on veut de graves dérives possibles.

  • Serge Grenier - Abonné 19 novembre 2019 09 h 14

    Bien d'accord avec Monsieur Trudel

    En tant que programmeur moi-même, j'imagine que les personnes qui ont développé ce logiciel doivent se sentir bien mal que leur outil soit utilisé de cette façon. Je ne peux pas croire que ce soient eux qui aient pris la décision d'utiliser leur logiciel pour remplacer les professionnels. Je crois que ce sont plutôt des gestionnaires pressés qui idéalisent l'informatique et lui accordent des pouvoirs qu'elle n'a pas.

    Dans ce monde où il y a plus de richesses que jamais auparavant, quand la direction d'une organisation se justifie en prétextant le manque de ressources, ce que j'entends moi, c'est le manque de compétence, d'imagination et surtout du sens des responsabilités.

    Voilà!

  • André Guay - Abonné 19 novembre 2019 09 h 19

    La pointe de l'iceberg

    Retraité du travail social qui a travaillé à la DPJ, j'ai assisté impuissant au développement du SSP qu'on nous présentait comme doté de "l'intelligence artificielle". Bien que j'étais en accord avec l'idée de développer un logiciel d'aide à la prise de décision, j'avais des réserves sur la place qu'on lui accordait au détriment du précieux temps consacré à l'intervention directe auprès de la clientèle et surtout les enfants à protéger. Les observations et critiques que j'ai formulées étaient perçues comme de la résistance au changement. C'était une époque, quelques années après l'introduction de la loi de la protection de la jeunesse, où on resserrait les critères d'admissibilité comme façon de réduire le nombre de signalement, en élargissant les mailles du filet de protection. Le SSP a-t-il contribué à ce périlleux exercice? Je crois que oui. Il faudrait s'intéresser aux nombreux re-signalements dont font l'objet les enfants et qui n'ont pas été initialement retenus, parfois jusqu'à 8. Sur ce sujet, c'est l'omerta des intervenant sociaux muselés ainsi que tous les autres acteurs de ces situation dont les juges et avocats du tribunal de la jeunesse qui en sont régulièrement témoins, c'est sans parler de la Commission des droits de la personne.
    Le SSP a connu son apogée lors de l'affaire du "bourreau de Beaumont"; on en a alors imposé la pratique avec d'autres mesures administratives qui ont alourdies les tâches administratives des intervenants sociaux. Ma pratique professionnelle devenant trop à risque et éprouvante j'ai alors changé de secteur d'activité. Il était humainement et émotionnellement trop pénible de savoir comment aider les enfants mais de ne pas pouvoir le faire. 13 années plus tard, je vis encore une sorte de choc post-traumatique lorsque certaines situations rejaillissent en ma mémoire; mais à la lecture d’articles comme le vôtre je ne puis que me dire ENFIN, en espérant qu’on aille au fond des choses.
    André Guay

  • Marc Davignon - Abonné 19 novembre 2019 09 h 56

    Jugement!

    Avoir du jugement! L'organisation du travail obtenu par des indicateurs. Vous savez, ce n'est pas d'aujourd'hui que cet engouement pour la <captation> de données de tout acabit. Le gestionnaire PMP vous dira qu'il s'agit d'un besoin essentiel d'obtenir des indicateurs de performance pour maintenir une excellente gouvernance de leur portefeuille de projet qu'ils gèrent de façon matricielle.

    Il faut voir le gestionnaire en pavoisons avec ces outils <d'aide à la décision> (forcément qu'il a besoin d'aide, seul, il n'arrive à rien!). Ajoutez-y l'intelligence dite artificielle, alors, le gestionnaire PMP (et autre) ne se peu plus.

    Or, de quelle intelligence parlons-nous? De celle qui permet ce genre de <prise de décision>? Alors, il ne faut pas se surprendre d'obtenir ce résultat, car, ou croyez-vous qu'ils ont <façonné> cet artifice d'intelligence? Quel modèle fut pris pour prétentieusement qualifier les résultats d'algorithme logiciel d'intelligence artificielle? D'aide à la décision?

    Or, pour qu'il y ait jugement (professionnel ou autre), il doit y avoir, a priori, une manifestation quelconque d'un raisonnement (simplement reprendre le résultat du <remplissage de formulaire> ne se qualifie pas comme étant un raisonnement). L'absence de cette <gymnastique intellectuelle> (le raisonnement) transforme un jugement en simple opinion.

    Que faire? Cessez de qualifier la gestion de science.