Sans véritable évaluation, la réforme est vouée à l’échec

Émilie Corriveau Collaboration spéciale
Une question se pose: lors de la mise en œuvre d’une réforme comme celle qui a été implantée récemment au Québec, à quels moments du processus devrait-on faire appel à l’évaluation?
Photo: Jacques Nadeau Le devoir Une question se pose: lors de la mise en œuvre d’une réforme comme celle qui a été implantée récemment au Québec, à quels moments du processus devrait-on faire appel à l’évaluation?

Ce texte fait partie du cahier spécial Santé

Dans le contexte actuel de profonds changements structurels dans le réseau québécois de la santé et des services sociaux, quelle place et quel rôle devrait-on réserver à l’évaluation dans les nouvelles organisations publiques ? Voilà ce à quoi des chercheurs et des professionnels du milieu se sont efforcés de répondre le 28 octobre dernier à Montréal à l’occasion du colloque interdisciplinaire L’évaluation au coeur des transformations. Pour en apprendre davantage, Le Devoir a fait appel à deux des conférenciers qui y étaient invités. Entretien.

« L’évaluation est un processus qui devrait être considéré comme fondamental dans le domaine de la santé », avance d’entrée de jeu M. Paul A. Lamarche, professeur honoraire en administration de la santé à l’Université de Montréal.

Pour cet ancien haut fonctionnaire du ministère de la Santé et des Services sociaux qui a notamment occupé le poste de sous-ministre responsable de la réforme sous les ministres libéraux Thérèse Lavoie-Roux et Marc-Yvan Côté, il ne fait aucun doute que l’adoption d’une stratégie d’évaluation soit pertinente lorsque de nouvelles politiques ou de nouveaux programmes sont mis en oeuvre par un gouvernement.

« Mais quand je parle d’évaluation, je ne fais pas référence à une analyse qui survient uniquement à la dernière étape d’une planification. L’évaluation qui est pertinente, c’est celle qui revient plus d’une fois dans le processus, qui est continue et qui aide les preneurs de décisions à agir sur la base d’observations plutôt que sur celle de leur intuition », signale-t-il.

Mme Deena White, qui est professeure au Département de sociologie de l’Université de Montréal et directrice scientifique du Centre de recherche et de partage des savoirs InterActions du Centre intégré universitaire de santé et de services sociaux du Nord-de-l’Île de Montréal, abonde dans le même sens.

« L’évaluation ne devrait pas servir qu’à la reddition de comptes, précise-t-elle. C’est un exercice qui est très important, voire essentiel, et qui peut nous permettre de comprendre ce qui marche bien et ce qui marche moins bien pour pouvoir procéder à des ajustements. »

Évaluer dès le départ

Dans cette optique, une question se pose : lors de la mise en oeuvre d’une réforme comme celle qui a été implantée récemment au Québec, à quels moments du processus devrait-on faire appel à l’évaluation ?

« La contribution de l’évaluation devrait être importante dès le départ, lorsqu’on détermine les objectifs à atteindre », indique M. Lamarche.

Car puisqu’elles poursuivent plusieurs objectifs simultanément, les organisations de santé doivent jongler avec des cibles à atteindre qui peuvent être paradoxales et méritent d’être évaluées, explique le professeur honoraire.

« Prenons l’exemple de la qualité et de l’accessibilité. La qualité peut requérir une certaine concentration des ressources, alors que l’accessibilité, elle, requiert une déconcentration des ressources. Ce sont deux objectifs qui, même s’ils visent l’amélioration de la qualité des services offerts à la population, peuvent être difficiles à atteindre simultanément. […] Il arrive aussi que les objectifs internes d’une organisation soient contradictoires avec ses objectifs externes. »

Par exemple, il est possible qu’une organisation ait comme objectif d’améliorer la qualité d’un service, mais qu’elle doive le faire en réalisant des compressions budgétaires imposées.

« C’est pour cela qu’avant d’instaurer une nouvelle politique ou un nouveau programme, on devrait toujours déterminer les objectifs à atteindre et les limiter à l’essentiel, poursuit M. Lamarche. Pour le faire, il faut utiliser une approche à 360°, c’est-à-dire une approche qui s’adresse à tous les acteurs touchés, y compris les patients et la population. Et ce qui est important, c’est qu’il ne faut pas se limiter aux objectifs essentiels d’un seul acteur. »

Évaluer les moyens et leurs effets

Une fois les objectifs à atteindre déterminés, c’est au choix des moyens pour y parvenir que l’évaluation devrait contribuer, affirme M. Lamarche.

« Il arrive qu’il n’y ait pas d’évidences scientifiques sur l’efficacité des moyens envisagés. Quand c’est le cas, il faut expérimenter, commencer petit et évaluer les effets associés. Encore une fois, il faut s’adresser à tous les acteurs touchés. Au fur et à mesure qu’on avance, on ajuste le tir selon les résultats obtenus. Ça permet d’abandonner ce qui ne fonctionne pas et de se concentrer sur ce qui marche. »

« La participation des usagers et des citoyens est primordiale, car ce sont eux qui reçoivent les services et qui peuvent le mieux nous parler de leur pertinence et de leur qualité », renchérit Mme White.

Parallèlement, l’évaluation devrait aussi être utilisée pour cerner les effets indésirables que peut engendrer l’implantation d’une nouvelle politique, estime M. Lamarche.

« C’est important de reconnaître si les moyens utilisés permettent ou non d’atteindre les objectifs escomptés, mais il faut aussi s’attarder aux effets indésirables qui peuvent en découler. Par exemple, si une organisation parvient à respecter le budget qu’elle s’était fixé, mais que plusieurs de ses employés souffrent d’épuisement, il y a un problème. L’évaluation permet de reconnaître ces choses-là. »

Un exercice public

Pour que l’évaluation produise les résultats escomptés, elle devrait être rendue publique, souligne Mme White. Si elle ne répond pas à cette condition, elle perd forcément de son impact.

« L’évaluation permet de fournir à la population l’information sur la pertinence et la qualité des politiques, des programmes et des services proposés par les gouvernements. En démocratie, le gouvernement est imputable des services qu’il rend aux citoyens. Pour que la population puisse juger par elle-même de la réponse que le gouvernement apporte à ses besoins, elle doit avoir accès à l’information que procure l’évaluation. »

Le cas de la réforme actuelle

Très préoccupé par les récents changements structurels mis en oeuvre dans le réseau québécois de la santé, M. Lamarche estime que le ministre de la Santé et des Services sociaux ne reconnaît actuellement pas suffisamment l’importance de l’évaluation. Selon lui, M. Barrette a maintes fois démontré qu’il ne souhaitait pas utiliser les outils qu’elle pouvait lui offrir pour améliorer sa réforme, à son avis, cela risque de le conduire à sa perte.

« On dirait que M. Barrette utilise l’ensemble de la population québécoise comme un groupe expérimental, observe le professeur. Il a aboli ou muselé toutes les instances qui étaient susceptibles de fournir une lecture différente de la sienne sur ce qui se passe actuellement dans le réseau. Il a affirmé plusieurs fois que la réforme allait être évaluée en 2018, une fois bien implantée ; ça, c’est un type d’évaluation qu’on faisait dans les années 1960 ! Tout ça donne l’impression qu’actuellement, la dernière des choses que le ministre veut savoir, c’est la réalité. Lorsqu’elle le frappera de plein fouet, il est possible que ce soit douloureux. »

Centralisation et accessibilité peuvent entrer en contradiction.