Le Monde : Sondages : « Des biais affectent la qualité et la représentativité des échantillons »

20-04-2017



Jean-Yves Dormagen, professeur de science politique, démontre dans une tribune au « Monde » que les enquêtes d’opinion continuent de surreprésenter les catégories sociales supérieures. 

TRIBUNE. Les sondages sur les intentions de vote sont-ils fiables ? Ils n’ont pas su anticiper la victoire des conservateurs lors des dernières législatives en Grande-Bretagne ; puis n’ont pas vu la victoire du Brexit, ou de Donald Trump face à Hillary Clinton ; enfin, les intentions de vote établies pour la primaire de la droite, y compris à la veille de l’élection, se sont révélées très éloignées du résultat final.

Et ces écarts entre sondages et réalité ne peuvent pas s’expliquer uniquement par l’indécision ou les changements de dernière minute opérés par les électeurs, puisque les études réalisées le jour même du vote en Grande-Bretagne donnaient encore le choix du Brexit minoritaire.

De nombreuses explications ont été avancées pour rendre compte de ces « surprises » (au regard des intentions de vote publiées) : « votes cachés », différentielle d’abstention entre les électorats, instabilité des choix… tout cela contribue sans doute à rendre aléatoire la prévision électorale.


Une déformation du corps électoral

Mais je voudrais, ici, aborder un autre problème tout aussi décisif : celui des biais qui affectent la qualité et la représentativité des échantillons. Pour cela, j’utiliserai les résultats de recherches menées actuellement sur la qualité des échantillons de deux des principaux instituts français (Kantar TNS, « Enquête TriElec », et IFOP, « Ppanel électoral français ») à l’occasion des deux dernières élections présidentielles (2007 et 2012).

Les problèmes qui affectent la représentativité de ces études tiennent déjà à la manière dont sont construits les quotas. On le sait, cette méthode consiste à reconstituer en miniature la population étudiée à partir de critères jugés déterminants. Or, les instituts prennent pour référence l’ensemble de la population française, alors qu’il serait plus logique et rigoureux de ne prendre en compte que la population des inscrits sur les listes électorales.

Cette manière de faire revient, en effet, à ignorer que la procédure d’inscription sur les listes provoque une déformation du corps électoral. Par exemple, dans certaines grandes métropoles régionales, comme Toulouse, Lille ou Bordeaux, les 18-24 ans sont trois fois plus nombreux parmi les habitants que parmi les inscrits sur les listes électorales. En ne tenant pas compte de cette situation, les instituts accordent dans ces grandes villes trois fois trop de poids à ces jeunes électeurs et donc aux orientations politiques qui les caractérisent.


Les plus de 65 ans sous-représentés

Il avait déjà été indiqué, avant les élections municipales de 2014, que ce choix avait pour conséquence de sous-évaluer la vague bleue et FN qui allait, effectivement, déferler quelques semaines plus tard et permettre, par exemple, à la droite de gagner Toulouse, alors que les sondages annonçaient l’élection du candidat socialiste.

Le problème est d’une moins grande ampleur lorsque l’on travaille sur des échantillons nationaux car la distorsion entre structure de la population et structure de l’électorat est alors plus atténuée. Mais les quotas appliqués par les instituts contribuent, par exemple, à sous-représenter les plus de 65 ans dans les échantillons, pour la simple raison que ces derniers sont nettement surreprésentés sur les listes électorales par rapport à leur poids dans la population.

Le second problème résulte de la trop grande imprécision de ces quotas. Les instituts utilisent, la plupart du temps, principalement trois quotas sociodémographiques : le sexe, l’âge et la profession et catégorie socioprofessionnelle (PCS). Or les classes d’âges et les segmentations sociales utilisées sont trop larges pour garantir l’objectif de représentativité.


Surreprésentation des catégories supérieures

Deux exemples suffisent à le comprendre. Le premier concerne la composition de la catégorie des retraités qui se révèle bien peu représentative de la réalité. Ainsi, lors de la présidentielle de 2012, les « anciens cadres et professions intellectuelles supérieures » représentaient 25 % des retraités dans certains échantillons (par exemple, Kantar-Sofres, moyenne des cinq vagues réalisées entre décembre 2011 et mai 2012).

Le problème réside dans le fait que ces anciens cadres et professions intellectuelles ne représentaient en réalité, à l’époque, que 7 % des retraités. Ils étaient donc près de quatre fois trop nombreux parmi les sondés. A l’inverse, les « anciens ouvriers et employés » ne composaient que 39 % du sous-échantillon des retraités alors qu’il en aurait fallu 58 % pour être représentatif.

Une catégorie ainsi composée ne peut que déformer ce que sont les votes et les opinions réels des retraités. Elle contribue également à la surreprésentation des catégories supérieures au sein de l’échantillon global. On enregistre des problèmes d’ampleur comparable si l’on examine la répartition des électeurs par classes d’âges. La classe des plus de 65 ans est non seulement trop réduite en volume mais elle comprend beaucoup trop de jeunes seniors.


Des personnes interrogées trop diplômées par rapport à la moyenne de l’électorat

En 2007, par exemple, il aurait fallu multiplier par deux la présence des plus de 80 ans pour représenter plus correctement les seniors (IFOP, « Panel électoral français, V1, 27 mars-21 avril 2007 »). Et la tendance semble plutôt à la dégradation de la représentativité des plus âgés dans le cadre de la multiplication des panels on line à partir desquels sont produites les intentions de vote de la campagne 2017. Or les plus de 80 ans représentent 10 % des inscrits en 2012 et leurs orientations politiques diffèrent de celles du reste de la population puisqu’ils votent bien plus massivement pour les candidats de la droite.

Les biais qui affectent la représentativité des échantillons prennent encore une tout autre ampleur dès lors que l’on tient compte des variables qui ne relèvent pas des quotas. Le niveau d’études est, ici, particulièrement intéressant. Les échantillons sont composés d’individus trop diplômés par rapport à la moyenne de l’électorat. Il est possible qu’une fraction des interviewés tende à surestimer son niveau d’études.

Mais l’ampleur des écarts est telle qu’il ne fait guère de doute que les échantillons sont aussi fortement biaisés par une surreprésentation d’individus trop diplômés. Pour ne prendre qu’un exemple, alors que les diplômés du supérieur ne constituent qu’un quart de l’électorat (26 %), ils peuvent représenter jusqu’à la moitié des sondés (par exemple 45 %, Kantar-Sofres, moyenne des deux vagues réalisées entre juillet 2011 et octobre 2011).


Nouvelles « surprises électorales » à venir

Cette liste de biais affectant les échantillons pourrait être allongée dans d’autres directions. Les échantillons sont aussi composés d’électeurs trop « participationnistes », plus informés et plus politisés que la moyenne des citoyens. Le cumul de ces biais ne peut pas être sans conséquence. Bien sûr, les instituts redressent par des pondérations leurs échantillons de manière à les rendre plus conformes à la réalité.

Mais il s’agit là d’un moindre mal dont les spécialistes savent qu’il ne garantit que de manière imparfaite la « représentativité » des résultats ainsi produits. De plus, à notre connaissance, certains biais ne font presque jamais l’objet de pondérations. C’est le cas, par exemple, de la forte sous-représentation des plus âgés.

Il serait dès lors surprenant que des échantillons qui surreprésentent massivement les diplômés et les catégories supérieures et à l’inverse sous-représentent les milieux populaires et les seniors ne soient pas porteurs, dans un avenir proche, de nouvelles surprises électorales.


Source : 
LE MONDE | 18.04.2017 à 15h32 • Mis à jour le 18.04.2017 à 17h29 | Par Jean-Yves Dormagen (Professeur de science politique à l’université de Montpellier) 
http://abonnes.lemonde.fr/idees/article/2017/04/18/sondages-des-biais-affectent-la-qualite-et-la-representativite-des-echantillons_5113098_3232.html

Laisser son mail pour être informé