ThreeHundredEight.com - Une faille dans la matière première

Lundi soir, les Canadiens ont surpris presque tout le monde en élisant 102 députés néodémocrates — 58 au Québec — et un gouvernement majoritaire conservateur. La dégringolade du Bloc québécois est aussi étonnante. Dans ce contexte historique, les projections de ThreeHundredEight.com, faites en collaboration avec Le Devoir, n'ont pas eu tout le succès escompté.

En effet, la projection a sous-estimé le vote conservateur et néodémocrate, et a surestimé celui des libéraux et du Bloc. Le résultat fait en sorte que la projection a produit une erreur d'environ 25 sièges pour chaque parti. C'est énorme.

Mais ce n'est pas l'algorithme de projection des sièges qui a échoué. En prenant les chiffres de lundi soir, l'algorithme aurait bien réussi à prédire les sièges, accordant 161 sièges aux conservateurs, 106 aux néodémocrates, 37 aux libéraux et 4 au Bloc québécois. En réalité, les partis ont gagné 167, 102, 34 et 4 sièges respectivement, avec 1 vert élu aussi. Au Québec, la projection aurait accordé 60 députés au NPD. Ils en ont élu 58. Un tel écart est considéré comme très acceptable.

Ce n'est donc pas le modèle de projection qui a échoué, mais l'utilisation de la matière première sur laquelle se base l'algorithme: les sondages. C'est la projection du vote populaire qui a échoué complètement.

Le poids donné à chaque sondage dans la moyenne utilisée était réduit de 7 % par jour pendant la campagne. Or, une réduction plus rapide du poids de chaque sondage dans la moyenne, à mesure que le temps passe, aurait donné des résultats beaucoup plus fiables dans le contexte de la montée rapide du NPD. Dans une élection plus stable, comme celle de 2008, la projection n'aurait pas eu de tels problèmes.

Mais les sondages n'étaient pas parfaits non plus. La moyenne des tout derniers sondages nationaux était de 37,3 % pour les conservateurs (-2,3 comparé au résultat actuel), 31,2 % pour le NPD (+0,6), 19,6 % pour les libéraux (+0,7), et 6,6 % pour le Bloc québécois (+0,6). Ce n'est pas une différence extraordinaire, mais c'est certainement la différence entre un gouvernement minoritaire et un gouvernement majoritaire.

ThreeHundredEight.com, en collaboration avec Le Devoir, a projeté deux choses: le vote populaire et les sièges, ce dernier étant basé sur la moyenne des sondages. Puisque le premier a échoué, l'autre a également échoué. L'utilisation des derniers sondages uniquement aurait donné un résultat plus précis, mais ce procédé n'aurait pas pu prédire complètement le grand choc de lundi soir.

***

Collaboration spéciale
2 commentaires
  • lephilosophe - Inscrit 4 mai 2011 07 h 27

    Nanos vs ThreeHundredEight.com

    Tout au long de cette campagne électorale, des lecteurs du Devoir ont protesté contre vos projections qui étaient pour le moins «conservatrices». À deux jours du vote, vous n'accordiez encore qu'une cinquantaine de sièges au NPD. Alors que dans le même temps, Nanos qui fait des sondages en continue, et qui servait de base aux projections de Projectdemocracy.ca, annonçait un résultat qui ressemble fort aux résultats de l'élection. Le 30 avril, ils prédisaient 59 sièges au NPD au Québec, et entre 103 et 123 sièges au niveau canadien. Il ne restait que 5 bloquistes! La seule surprise étant le soir de l'élection, un affaiblissement plus grand que prévu du vote libéral à Toronto. Car pour le reste presque toutes les projections de Nanos se sont avérées exactes dans des marges d'erreurs respectables.
    Mais il semble qu'au Devoir personne ne voulait croire à cette déconfiture annoncée du Bloc au Québec. Alors, votre méthode les rassurait mais nous, lecteurs, étions de plus en plus stupéfaits devant le retard de vos prédictions sur les autres maisons de sondage. De nombreux lecteurs ont protesté contre votre méthodologie et vos arguments sur la «matière première» défectueuse nous laisse un peu pantois!
    Personnellement, si j'étais à l'administration du Devoir, je ne renouvellerais pas votre contrat à l'avenir. Vous avez eu tout faux, du début à la fin!

    Bernard Gadoua

  • Maxime Nadeau - Inscrit 9 mai 2011 07 h 16

    Prédire après

    J'ai trouvé simplement désolant le suffisant mea culpa de ThreeHundredEight.com et Le Devoir après leur déconfiture. Quand on publie de telles prédictions, on en vient à remettre en cause les sondages. Ceux-ci jouent en partie sur les intentions de vote, que commentent ensuite les politiciens, après quoi sont publiés de nouveaux sondages. Mais pendant que le serpent se mord la queue, les souris dansent et les vrais enjeux sont occultés. Nos savants commentateurs glosaient sur les sujets n'ayant pas été abordés par les politiciens, mais qu'attendaient-ils pour sortir carnet et crayon pour aller interviewer les chefs, candidats et autres poteaux? Voilà ce qui aurait mieux rempli les pages plutôt que les prédictions quotidiennes (quotidiennes!) erronées du nombre de sièges pour chaque parti...

    Ah oui! Sans être statisticien ni particulièrement habile avec les chiffres, je suis meilleur que ThreeHundredEight.com et Le Devoir pour prédire les résultats d'élections... deux jours après leur annonce!