29 avril 2006

Pour en finir avec les sondages (2)

Cet article propose une analyse critique des sondages préélectoraux TNS-Sofres du 18 avril et CSA des 18 et 19 avril avril.

Sondage TNS-Sofres

La fiche technique du sondage évoque succinctement la méthode utilisée :
Enquête UNILOG réalisée le 18 avril 2006 pour Le Grand Jury RTL, Le Figaro et LCI auprès d'un échantillon national de 1000 personnes représentatif de l'ensemble de la population âgée de 18 ans et plus, inscrite sur les listes électorales, interrogées par téléphone. Méthode des quotas (sexe, âge, profession du chef de ménage PCS) et stratification par région et catégorie d'agglomération.
TNS-Sofres

Les résultats sont présentés sous la forme de cinq tableaux :
1. L'intérêt pour l'élection.
2. Intentions de vote au 1er tour.
3. Intentions de vote 2nd tour de l'élection présidentielle.
4. Les transferts de voix du 1er au 2nd tour.
5. Les motivations du vote.

Cette présentation est critiquable sur trois points :
1. Il manque les questions correspondants aux tableaux 2, 3 et 4. Il est impossible de comprendre une réponse si on ne connaît les termes exacts de la question. Ou, pour le dire autrement, la réponse est "non", mais quelle est la question ?

2. Il manque la méthode de construction des tableaux 2 et 4, qui croisent des données issues vraisemblablement de plusieurs questions. Il est donc impossible d'interpréter correctement ces tableaux.

3. La présentation des résultats du tableau 3 est biaisée, car elle exclue les 14% des personnes interrogées qui n'ont pas exprimé d'intentions de vote. Les scores annoncés de Ségolène Royal et de Nicolas Sarkozy ne représentent que 86% de l'échantillon. De plus, l'organisme de sondage n'indique pas l'intervalle de confiance. Se situant à plus ou moins 3,5%, il est supérieur à l'écart entre les deux candidats. En clair, cela signifie qu'il n'est pas possible de dire, à partir des hypothèses de ce sondage, quel candidat l'emporterait.

C'est pourtant ce qu'affirme le résumé de l'organisme qui a réalisé ce sondage :
Avec 51% d'intentions de vote, Ségolène Royal l'emporterait au 2ème tour de l'élection présidentielle face à Nicolas Sarkozy (49%). Autre enseignement de notre étude : au 1er tour, Ségolène Royal ferait un meilleur candidat PS (34% des intentions de vote) que Lionel Jospin (23%), Jack Lang (22%), Dominique Strauss-Kahn (18%) et Laurent Fabius (15%).
TNS-Sofres

C'est aussi ce qu'affirment dans les mêmes termes Le Monde et Le Nouvel Observateur :
Selon un sondage publié jeudi 20 avril dans Le Figaro, Ségolène Royal devancerait très légèrement Nicolas Sarkozy au second tour de l'élection présidentielle, avec 51% des intentions de vote, contre 49%. 14% des personnes interrogées ne se prononcent pas sur cet éventuel duel entre la députée des Deux-Sèvres et le président de l'UMP.
Au premier tour, la présidente de la région Poitou-Charente arriverait déjà en tête, avec 34% d'intention de vote, contre 30% en faveur du ministre de l'intérieur (18% des sondés ne se sont pas exprimés).
Selon ce premier baromètre TNS Sofres-Unilog, Mme Royal distance tous les "présidentiables" socialistes : Lionel Jospin (23%), Jack Lang (22%), Dominique Strauss-Kahn (18%) et Laurent Fabius (15%).
Le Monde du 20 avril.

Selon un sondage publié jeudi 20 avril par Le Figaro, Ségolène Royal avec 51% des intentions de vote devancerait très légèrement Nicolas Sarkozy (49%) au second tour de l'élection présidentielle. 14% des personnes interrogées ne se prononcent pas.
Toujours selon le quotidien, la présidente de la Région Poitou-Charente, qui devance nettement les ténors du PS, arriverait déjà en tête du premier tour avec 34% d'intention de vote contre 30% en faveur du ministre de l'Intérieur (18% ne se sont pas exprimés).
Ségolène Royal devance ainsi tous les "présidentiables" socialistes: Lionel Jospin (23%), Jack Lang (22%), Dominique Strauss-Kahn (18%) et Laurent Fabius (15%).
Le Nouvel Observateur du 20 avril.

Sondage CSA

La fiche technique du sondage évoque succinctement la méthode utilisée :
Sondage exclusif CSA / LE PARISIEN / AUJOURD'HUI EN FRANCE / I-TELE réalisé par téléphone les 18 et 19 avril 2006.
Echantillon national représentatif de 878 personnes inscrites sur les listes électorales, constitué d'après la méthode des quotas (sexe, âge, profession du chef de ménage), après stratification par région et catégorie d'agglomération.
CSA

Les résultats sont présentés sous la forme de deux tableaux :
1. Intentions de vote au 1er tour entre 9 candidats avec rappel de sondages de mars et avril 2006.
2. Intentions de vote 2nd tour entre Ségolène Royal et Nicolas Sarkozy avec rappel de sondages de mars et avril 2006.

Cette présentation est critiquable sur trois points :
1. La présentation des deux tableaux est biaisée, car elle exclut les 38% (tableau 1) et 35% (tableau 2) des personnes interrogées qui n'ont pas exprimé d'intentions de vote (abstention, vote blanc ou nul).

2. Le rappel de sondages antérieurs ne veut rien dire, car comme le précise l'organisme en bas de page et en caractères rouges : «ces résultats doivent être interprétés comme des rapports de force à la date de l'enquête, et en aucun cas comme prédictifs des résultats le jour du vote». Il est donc illégitime de comparer des résultats établis à des dates différentes.

3. Dans le tableau 2, les scores de Ségolène Royal et de Nicolas Sarkozy ne représentent que 65% de l'échantillon. De plus, l'organisme de sondage n'indique pas l'intervalle de confiance. Se situant à plus ou moins 4,5%, il est dans la fourchette de l'écart entre les deux candidats. En clair, cela signifie qu'il n'est pas possible de dire, à partir des hypothèses de ce sondage, quel candidat l'emporterait.

C'est pourtant ce qu'affirment exactement dans les mêmes termes Yahoo! et Le Nouvel Observateur :
Un nouveau sondage donne Ségolène Royal victorieuse d'un duel contre Nicolas Sarkozy: la députée socialiste battrait le président de l'UMP au second tour de l'élection présidentielle avec 53% des voix, contre 47% à son adversaire de droite.
Yahoo! du 23 avril.

Un nouveau sondage donne Ségolène Royal victorieuse d'un duel contre Nicolas Sarkozy: la députée socialiste battrait le président de l'UMP au second tour de l'élection présidentielle avec 53% des voix, contre 47% à son adversaire de droite.
Le Nouvel Observateur du 24 avril.

Pour en finir avec les sondages préélectoraux

La présentation de ces deux sondages comporte le même biais méthodologique : certaines données concernent la totalité de l'échantillon et d'autres seulement une fraction du même échantillon sans que l'organisme n'indique ce changement. Or, dans les sondages préélectoraux, il y a 95 chances sur 100 pour qu'une enquête effectuée sur 1000 personnes donne un résultat à plus ou moins 3,2% près, donc 5 chances sur 100 pour que le résultat soit hors de l'intervalle, c'est-à-dire faux. De plus la marge d'erreur augmente quand la taille de l'échantillon diminue (plus ou moins 3,5% dans le premier sondage et plus ou moins 4,5% dans le deuxième). Rien donc ne permet de dire lequel des deux candidats l'emporterait au deuxième tour.

En toute rigueur, la seule conclusion de ces sondages devrait s'écrire : si les candidats du premier tour et si les deux candidats du deuxième tour étaient exactement les mêmes que ceux sélectionnés par le sondeur et si le premier et le deuxième tour des élections avaient lieu le jour de l'enquête, il y a 95% de chances pour que les intentions de vote en faveur de tel candidat soient dans une fourchette comprise entre x% et y% et il y a 5% de chances que le résultat annoncé soit faux. Pas très vendeur n'est-ce pas ?

La lecture des différentes conditions, cachées par les organismes de sondage et les médias, révèlent des biais méthodologiques qui invalident les résultats :
  • La liste des candidats du premier et du deuxième tour, soumis au choix des personnes interrogées, est totalement arbitraire. Le sondeur définit la problématique de son sujet pour ensuite demander au sondé de choisir l'option qui lui convient le plus. Cette construction de l'objet est une excellente méthode pour obtenir des résultats correspondant à ses propres attentes : le duel du deuxième tour.
  • Le sondeur définit une problématique temporelle totalement fictive, car le deuxième tour d'une élection se déroule une semaine après le premier. Ce temps permet aux deux candidats, sélectionnés par le comptage des votes réels et non des intentions fictives, de faire campagne et à chacun de faire son choix, y compris de ne pas choisir. Ces deux sondages sont construits sur la seule question du deuxième tour.
  • Bien que les sondages préélectoraux ne mesurent que des intentions de vote à un instant donné, plus ou moins éloigné de l'élection, ils sont abusivement commentés comme un système prédictif. Le 20 avril, Le Nouvel Observateur titre «2007 : Royal favorite au second tour» et Le Monde, «Un nouveau sondage donne Ségolène Royal victorieuse face à Nicolas Sarkozy à la présidentielle» ; et le 24 avril, Le Nouvel Observateur titre «Sondage : Royal écrase Sarkozy en 2007».

  • En utilisant les chiffres comme un argument d'autorité, les organismes de sondage et les médias ne s'embarrassent pas de nuances pour vendre leurs prophéties. Ils utilisent toutes les ficelles de mise en scène des telenovelas pour construire LE feuilleton de l'année. Les personnages changeront au fil des épisodes, mais le suspense restera entier jusqu'à la fin. Ce filon est juteux pour ces manipulateurs de l'opinion, qui cherchent à nous faire croire que leur petit jeu stérile a du sens.

    Serge LEFORT
    28 avril 2006

    24 avril 2006

    Pour en finir avec les sondages (1)

    À en croire les sondages publiés par les médias, les élections présidentielles de 2007 seraient jouées d'avance. Le deuxième tour se déroulera entre Nicolas Sarkozy et Ségolène Royal, qui l'emportera inévitablement...

    Les mêmes organismes de sondage et les mêmes médias, qui avaient pronostiqué un duel Chirac-Jospin en 2002, multiplient les annonces triomphales d'un duel Royal-Sarkozy en 2007. Le 4 mars, quatre hebdomadaires - Le Nouvel Observateur, Le Point, Paris-Match et VSD - consacrent tout ou partie de leur Une à Ségolène Royal. Trois sondages - Ipsos le 13 avril, Sofres le 20 avril et CSA le 23 avril - donnent Royal gagnante dans les mêmes termes : "Un nouveau sondage donne Ségolène Royal victorieuse face à Nicolas Sarkozy à la présidentielle" (Le Monde du 20 avril) ; "Un nouveau sondage donne Ségolène Royal victorieuse d'un duel contre Nicolas Sarkozy" (Le Nouvel Observateur du 24 avril).

    Qu'il s'en amuse ou non, chacun sait que les pronostics électoraux ont autant de valeur que les prédictions numérologiques. Les deux approches reposent sur une conception magique des chiffres pour maîtriser les événements futurs. Le problème n'est pas l'utilisation des chiffres, ni leur véracité ou leur fausseté, mais la croyance superstitieuse qu'ils feraient sens pour dire quelque chose de crédible sur l'avenir collectif ou individuel.

    Nostradamus a eu l'habileté d'écrire ses prophéties, régulièrement rééditées, en les enrobant dans une phraséologie polysémique qui, selon la loi du genre, a suscité autant d'interprétations que d'exégètes auto-proclamés. Les Nostradamus modernes réalisent leurs prophéties dans un langage pseudo-scientifique. Personne ne discute la méthode, qui repose sur des hypothèses rarement explicitées, mais les experts commentent les résultats comme s'ils avaient une valeur prédictive.

    Cette course effrénée aux pronostics électoraux, aussi fiables que les pronostics hippiques, relève d'une propagande visant à nous convaincre qu'il n'y a pas d'autres choix possibles. Les commanditaires des sondages, les organismes qui les réalisent, les experts qui les analysent et les commentent, et les médias qui les publient, fabriquent quelque chose qui a l'apparence de l'information et qui est vendu comme telle, mais qui est de l'information "Canada Dry". Ce discours ne fait sens que parce qu'il est martelé matin, midi et soir.

    La critique des sondages n'est plus à faire, celle des sondages d'opinion préélectoraux nécessite d'analyser la méthode [1]. Les sondages produisent des chiffres, des analyses et des commentaires sur les chiffres et des discours sur les commentaires. En bref, ils produisent un récit visant à crédibiliser et à rendre acceptable l'inacceptable : la fausse alternative Royal-Sarkozy. La question n'est pas la vérité ou la fausseté du récit, mais son existence même. Le Dr. Goebbels l'avait compris avant les publicitaires, ce n'est pas le contenu d'un message qui importe, mais sa répétition. Répéter en boucle, comme le font les médias, le même message a pour effet d'en valider le contenu.

    La seule réaction d'auto-défense intellectuelle face à cette marée superstitieuse des sondages préélectoraux nécessite de refuser de prendre au sérieux ces pronostics, mais de les analyser comme des paroles magiques visant à créer un effet de réel. La critique doit moins viser les énoncés que leur procès de production et de circulation.

    Serge LEFORT
    24 avril 2006

    Questions à se poser

    1. Quels sont les commanditaires du sondage ?
      1.1. liens avec l'organisme de sondage
      1.2. liens avec les analystes
      1.3. liens avec les commentateurs
      1.4. liens avec les médias
    2. Quels sont les objectifs du sondage ?
    3. Quel organisme réalise le sondage ?
    4. Quel est le protocole du sondage ?
      4.1. questionnaire
      - nombre de questions
      - ordre des questions
      - nature des questions
      4.2. méthode de recueil des réponses
      4.3. dates du recueil des réponses
      4.4. nombre de personnes interrogées
      - nombre de refus
      - nombre de questionnaires/nombre d'enquêteurs
      4.5. méthode de traitement des réponses
      - données brutes
      - données corrigées
    5. Qui analyse le sondage ?
      5.1. analyse de la totalité ou d'une sélection des questions et des réponses
      5.2. liens avec les commanditaires
      5.3. liens avec l'organisme de sondage
      5.4. liens avec les commentateurs
      5.5. liens avec les médias
    6. Qui commente le sondage ?
      6.1. commentaire de la totalité ou d'une sélection des questions et des réponses
      6.2. liens avec les commanditaires
      6.3. liens avec l'organisme de sondage
      6.4. liens avec les analystes
      6.5. liens avec les médias
    7. Quels médias publient le sondage ?
      7.1. publication de la totalité ou d'une sélection des questions et des réponses
      7.2. publication de la totalité ou d'une sélection des analyses
      7.3. publication de la totalité ou d'une sélection des commentaires
      7.4. liens avec les commanditaires
      7.5. liens avec l'organisme de sondage
      7.6. liens avec les analystes
      7.7. liens avec les commentateurs
    8. Quels sont les écarts ?
      8.1. totalité et sélection des questions et des réponses
      8.2. totalité et sélection des analyses
      8.3. totalité et sélection des commentaires
      8.4. totalité et sélection des publications


    [1] Sélection bibliographique :
    • BESSON Jean-Louis (sous la direction de), La cité des chiffres - Ou l'illusion des statistiques, Autrement, 1992.
    • BOURDIEU Pierre, Questions de sociologie, Minuit, 1984.
    • CHAMPAGNE Patrick, Faire l'opinion - Le nouveau jeu politique, Minuit, 1990.
    • KLATZMANN Joseph, Attention, statistiques ! - Comment en déjouer les pièges, La Découverte, 1996.
    • MEYNAUD Hélène-Yvonne et DUCLOS Denis, Les sondages d'opinion, Repères n°38, La Découverte, 1996.