Les sondages sont-ils tous égaux ? Modes d’administration et bases de sondage dans l’élection présidentielle américaine de 2020

Abstract

English

Résumé

À l’aube de l’élection présidentielle américaine de 2024, il est essentiel de se pencher sur ce qui s’est passé en 2020. Cinquante-et-un instituts ou organisations ont conduit 222 sondages indépendants du 1er septembre jusqu’à la veille du vote, le 3 novembre 2020. Ces sondages ont présenté les plus grands écarts avec le vote depuis 1996 et la plus importante disparité entre les différents modes d'administration depuis 2008. Nous avons classé les sondages en trois catégories en fonction de leur mode d’administration et de leur base de sondage : mixtes, combinant plus d’un mode d’administration (16%), à mode unique utilisant une base aléatoire ou quasi-aléatoire (25%) et web utilisant un access panel (59%). L'analyse utilise des régressions locales pour visualiser l’évolution des appuis durant la campagne, puis des analyses multiniveaux pour valider statistiquement comment les diverses combinaisons de mode et de base de sondage influencent l’estimation de l’évolution des intentions de vote durant la campagne et du vote final. Les analyses révèlent que les sondages à sources d'échantillonnage aléatoires ou quasi-aléatoires (modes mixtes ou uniques) indiquaient une hausse initiale puis une baisse des intentions de vote pour Joe Biden alors que les panels web estimaient que l’intention de vote était stable. Par ailleurs, les sondages mixtes ont mené à une prédiction exacte du vote.

Les analyses des dix derniers jours de campagne confirment globalement ces résultats. Les sondages mixtes et à mode unique quasi-aléatoire sont les plus précis. De plus, l'utilisation de multiples sources d'échantillonnage ou la pondération par scores de propension amènent également de meilleures estimations. Cette étude suggère que différents modes et sources d'échantillonnage rejoignent des segments variés de la population, et que leur combinaison mène à une meilleure estimation de la dynamique électorale. Les sondages web sur invitation, dominants dans l’espace médiatique, ont pu fausser la perception des électeurs. L'article appelle à une surveillance des méthodologies de sondage émergentes pour mieux comprendre leur impact et informer adéquatement la population de l’état de l’opinion publique.

Keywords

analyses multiniveaux Élection présidentielle américaine de 2020 États-Unis méthodologie prédiction électorale régression locale sondages

Introduction

À l’aube de la campagne présidentielle américaine de 2024, il n’est pas inutile de revenir sur ce qui s’est passé durant la campagne de 2020, entre autres pour bien comprendre jusqu’à quel point on peut se fier aux sondages nationaux pour bien prédire le vote et si toutes les méthodologies se valent. Les médias, les universitaires, les politiciens tout comme les citoyens utilisent régulièrement les sondages dans le but d'anticiper les résultats des élections (Campbell et Lewis-Beck, 2008; Pickup et Johnston, 2008). Les sondages jouent donc un rôle important dans la démocratie électorale. Il s’agit de la seule information scientifique à laquelle les électeurs ont accès pour savoir ce que pensent les autres électeurs. De plus, leur importance sur le plan méthodologique n’est pas à négliger. Ce sont presque les seuls sondages qui permettent de valider la qualité des méthodologies en permettant de comparer les estimations avec le résultat.

Globalement, rien n'indique que les sondages sont devenus moins fiables au cours des dernières années (Jennings et Wlezien, 2018). Il arrive cependant que, dans une élection donnée, tous les sondages ou presque se trompent dans la même direction et que ces erreurs ne puissent pas être expliquées par le comportement des électeurs, comme des changements de dernière minute ou une participation différentielle (Durand et Blais, 2020; Jowell et coll., 1993; Sturgis et coll., 2018). La crédibilité des sondages est alors mise en doute. Les électeurs peuvent se sentir floués puisqu’ils n’ont pas obtenu l’information fiable à laquelle ils s’attendaient et sur laquelle ils peuvent s’être basés pour décider d’aller voter ou même de choisir un candidat. Qu’en est-il de l’élection présidentielle américaine de 2020 ?

L’écart moyen entre les intentions de vote mesurées par les derniers sondages de l’élection présidentielle de 2020 et le vote a été le pire de toutes les élections présidentielles américaines depuis 1996 (Clinton et coll., 2021; Panagopoulos, 2021; Silver, 2021). Les sondages ont largement surestimé le vote exprimé pour Joe Biden. De plus, on a constaté la plus grande différence d’estimation selon les modes d’administration des sondages depuis 2008 (Durand et Johnson, 2021). Cependant, les sondages ne se sont pas tous trompés dans la même direction ni au même degré. Certains sondages, particulièrement ceux qui ont eu recours à plus d’un mode d’administration et plus d’une source d’échantillonnage, ont produit des estimations nettement meilleures que d’autres.

De nombreux auteurs ont cherché à comprendre ce qui s’est passé (Collins, 2021; Clinton et coll., 2021; Enns et Rothschild, 2021; Panagopoulos, 2021; Silver, 2021; Smalley et Wolf, 2022). Cependant, ils ont concentré leurs efforts sur les sondages réalisés au niveau des États et ils ont utilisé des périodes de campagne, des catégorisations des modes d'administration, des indicateurs de biais, et des procédures d'analyse différents. Aucun d'eux n'a examiné ce qui s’est passé au niveau national pendant toute la durée de la campagne principale, soit du 1^er septembre au jour de l’élection, le 3 novembre.

Comme les sondages sont publiés dès le début des campagnes électorales, nous pensons qu’une analyse des sondages doit examiner l’ensemble de la campagne pour voir si les intentions de vote sont stables ou fluctuantes et si les méthodologies utilisées influencent le portrait de la situation qui est proposé aux électeurs. Les instituts¹ de sondage américains sont souvent à l'avant-garde de l'innovation méthodologique. En 2020, de nouvelles méthodes et combinaisons de méthodes sont apparues et le processus d'innovation s’est poursuivi par la suite (Kennedy et coll., 2023). L'élection américaine de 2020 constitue donc un test idéal de la fiabilité des méthodes émergentes tout comme les élections de 1997 en Grande-Bretagne (Curtice, 1997) et de 2007 en France (Durand, 2008a, 2008b) avaient servi de tests après les catastrophes des sondages des élections précédentes.

Dans cet article, nous proposons une analyse des sondages de l'élection américaine de 2020 qui diffère des analyses précédentes de plusieurs façons. En premier lieu, elle se concentre sur les sondages effectués au niveau national qui fournissent un portrait synthétique de ce qui se passe dans l’ensemble du pays. Ensuite, elle analyse les sondages réalisés depuis le début de la « vraie » campagne électorale, c’est-à-dire à partir du 1^er septembre, et non pas seulement dans les derniers jours. L’analyse contrôle également pour la dépendance des sondages envers les instituts qui les ont conduits et la possible présence d’« effets d’instituts » en utilisant des analyses de régressions multiniveaux. Enfin, elle valide les résultats de l'analyse statistique en examinant les caractéristiques des sondages réalisés pendant les dix derniers jours de la campagne.

Que montre la recherche actuelle ?

Les derniers sondages de l'élection présidentielle américaine de 2016 avaient généralement mal prédit la proportion de vote obtenu au niveau national par les deux principaux candidats. Ils avaient surestimé systématiquement, mais rarement significativement, les appuis à Hillary Clinton (Kennedy et coll., 2018; Panagopoulos et coll., 2018), une situation similaire aux célèbres échecs des sondages de l'élection britannique de 1992 (Jowell et coll., 1993) et de l'élection présidentielle française de 2002 (Durand et coll., 2004) où le camp progressiste avait été surestimé.

Jusqu'en 2016, les chercheurs pouvaient analyser l'impact du principal mode d'administration des sondages (Durand et Johnson, 2021; Kennedy et coll., 2017, 2018) puisque ces derniers combinaient rarement plusieurs modes (Kennedy et coll., 2023). Les seuls sondages multi-mode utilisaient une combinaison d’appels téléphoniques automatisés (IVR²) et de sondages web auprès de personnes pouvant être jointes uniquement par téléphone cellulaire³. La désirabilité sociale induite par la présence d'intervieweurs était alors considérée comme la cause la plus plausible des différences entre les modes (Durand et Johnston, 2021).

Toutefois, lors de l'élection présidentielle de 2016, les modes auto-administrés – Web et IVR – n'ont pas mieux prédit les résultats que les sondages téléphoniques avec intervieweurs et les sondages web ont été moins précis que les sondages IVR (Durand et Johnson, 2021; Kennedy et coll., 2017, 2018). Par conséquent, il n'y avait aucune indication que la désirabilité sociale pouvait expliquer les différences selon le mode. De plus, les sondages avec intervieweurs, considérés comme « la référence » (Enns et Rothschild, 2021; Silver, 2021), n’ont pas produit de meilleures estimations que les autres sondages. Cependant, les modes de collecte de données sont étroitement liés aux bases et aux sources d'échantillon utilisées à tel point qu'il est difficile de savoir si les différences entre les modes sont dues à l'administration du sondage ou à l'échantillonnage (Clinton et coll., 2021; Durand et Johnston, 2021).

Suite à l’échec des sondages lors de l’élection de 2016, certains instituts ont révisé leurs méthodes (Keeter et coll., 2020; Kennedy et coll., 2023; Skelley et Rakich, 2020). Par conséquent, lors de l'élection présidentielle de 2020, la situation avait changé. Kennedy et coll. (2023 :2) notent que « les sondages sont entrés dans une période de diversité sans précédent dans les méthodes ». Neuf modes ou combinaisons de modes d'administration et de sources d'échantillonnage différents ont été utilisés en 2020 et les sondages utilisant uniquement des interviews téléphoniques étaient rares (Erkson et Wlezien, 2020).

Étant donné l'émergence de nouvelles méthodes et la multiplication des combinaisons possibles de ces méthodes (Kennedy et coll., 2023), il n'est pas surprenant que les chercheurs aient utilisé différentes catégorisations. Ils ont également effectué leurs analyses sur différentes périodes de la campagne et ont utilisé différents indices de la qualité des sondages : l’erreur moyenne absolue et relative (Clinton et coll., 2021), l’erreur relative (Enns et Rothschild, 2021), le biais moyen pondéré et l’erreur avancée « plus-moins » (Silver, 2021) ainsi que les indices M3, M5, et A (Panagopoulos, 2021). Malgré cette variété, les auteurs concluent généralement que les sondages effectués au niveau des États utilisant des modes mixtes ont produit une meilleure estimation du vote. Certains ont noté que les sondages web « prédisaient » mieux le gagnant – Joe Biden – au niveau national (Clinton et coll., 2021; Silver, 2021). Cependant, dans une élection où les sondages ont généralement surestimé le gagnant, cela confirme que les sondages web étaient en moyenne moins fiables que les autres types de sondages.

Ces analyses présentent certaines limites. Premièrement, l’appui aux principaux candidats est généralement analysé tel quel, sans exclure les indécis et les candidats mineurs (Clinton et coll., 2021; Collins, 2021; Enns et Rothschild, 2021; Panagopoulos, 2021; Silver, 2021; Smalley et Wolf, 2022). Or, la part combinée des deux principaux candidats varie considérablement entre les sondages en raison de diverses caractéristiques méthodologiques, y compris la formulation des questions (Clinton et coll., 2021).

Deuxièmement, les chercheurs se concentrent généralement sur les estimations moyennes, que ce soit à la fin de la campagne (Clinton et coll., 2021; Panagopoulos, 2021; Silver, 2021) ou pour l'ensemble de la campagne (Enns et Rothschild, 2021), sans prendre en compte les variations dans les intentions de vote pendant la campagne, comme recommandé (Durand et Johnson, 2021; Pickup et Johnston, 2008).

Troisièmement, les chercheurs ont centré leurs analyses sur les sondages faits au niveau des États, mais ils ne contrôlent pas la dépendance des données à l’État où les sondages sont faits, en utilisant une analyse multiniveau, par exemple. De plus, le nombre restreint de sondages faits dans chaque État limite les possibilités d’analyse.

Quatrièmement, la dépendance des sondages envers les instituts qui les produisent doit impérativement être prise en compte pour éviter d'attribuer aux sondages individuels ce qui relève des pratiques des instituts. Cette dépendance n'est généralement pas abordée, sauf dans deux cas. Panagopoulos (2021) a contourné ce problème en limitant son analyse à un seul sondage par institut, une solution qui a le désavantage de réduire la taille de l'échantillon et de négliger la variance intra-institut. Pour leur part, Smalley et Wolf (2022) ont introduit des effets aléatoires pour les instituts dans leur analyse.

Enfin, les sondages roulants (tracking polls), qui utilisent de petits échantillons quotidiens et publient à chaque jour des moyennes mobiles de trois à cinq jours, sont généralement analysés comme s’il s’agissait d’échantillons indépendants quotidiens. Par conséquent, les analyses sont biaisées en raison de la redondance des données.

Dans cet article, nous analysons les sondages menés au niveau national pendant la campagne présidentielle américaine de 2020, à partir du 1er septembre. Nous évaluons si les caractéristiques des sondages et des instituts, en particulier les modes d'administration et les bases ou sources d'échantillonnage utilisés, ont produit des estimations différentes des intentions de vote pendant la campagne et ont mené à une prédiction différente du vote. Nous proposons une catégorisation des sondages qui combine leur mode d'administration et leur source d'échantillonnage. Les analyses prennent en compte à la fois la période pendant laquelle les sondages ont été réalisés et leur dépendance aux instituts qui les ont conduits. La mesure de la qualité des sondages est leur capacité à bien prédire le vote final à partir des intentions de vote exprimées tout au long de la campagne.

Méthodologie

Les données

Entre le 1er septembre et le 2 novembre, 51 instituts (ou organisations) différents ont publié 222 sondages indépendants⁴^,⁵. Ils ont conduit en moyenne 4,4 sondages chacun durant cette période. Le tiers des instituts a publié un seul sondage, tandis que 20% ont publié au moins un sondage par semaine.

Étant donné l'émergence de nouvelles combinaisons de modes d'administration et de sources d'échantillons, nous avons révisé les catégories traditionnelles basées sur le mode d'administration principal. Comme certains instituts ont utilisé deux ou trois modes presque également, référer au mode principal ne ferait pas sens. Les sondages qui utilisent deux modes dans des proportions similaires mais inverses (60–40) se retrouveraient dans des catégories différentes alors que les sondages web utilisant des panels de volontaires – opt-in ou access panels – et ceux s’appuyant sur des bases de sondage probabilistes ou quasi-probabilistes seraient dans la même catégorie.

Les sondages ont été catégorisés selon les critères suivants. Les catégories doivent être le plus homogènes possible. Elles doivent regrouper plusieurs instituts pour différencier l’impact de la catégorie de celui des méthodes spécifiques à chaque institut. Enfin, chaque catégorie doit être suffisamment large pour permettre des analyses de régression. Comme Enns et Rothschild (2021), nous isolons les sondages utilisant des modes mixtes dans une catégorie à part. Nous introduisons deux catégories pour les sondages qui utilisent un seul mode d’administration, selon qu’ils utilisent ou non des sources d’échantillonnage probabilistes. Le Tableau 1 présente les informations.

Tableau 1.

Sondages sur l'intention de vote pour Joe Biden du 1er sept. au 2 nov. 2020 selon les combinaisons de modes et de sources d'échantillon

	Instituts		Sondages
Combinaison mode - source	N	%	N	%	Nombre de sondages/ institut	Intention de vote pour Joe Biden
Combinaison mode - source	N	%	N	%	Nombre de sondages/ institut	Moyenne	Variance
Modes mixtes	9	18	36	16	4,0	53,2	5,6
Mode unique aléatoire ou quasi aléatoire	16	29	55	25	3,4	55,1	2,8
Web par access panel	26	51	131	59	5,0	54,7	1,7
Total	51	100	222	100	4,4	54,6	2,9

La première catégorie regroupe les sondages mixtes – 16 pour cent des sondages réalisés par neuf instituts – qui ont utilisé plus d'un mode d'administration et plus d'une base ou source d'échantillonnage. Ceux-ci sont au moins partiellement probabilistes. Comme Clinton et coll. (2021), nous postulons qu'utiliser plus d'un mode et une source d'échantillon permet d'atteindre une plus grande variété de répondants qu’une seule combinaison mode-source et que les biais associés à chaque combinaison s’annuleront. En principe, ces sondages devraient mieux estimer les intentions de vote, comme cela a été observé pour les sondages faits au niveau des États (Clinton et coll., 2021; Panagopoulos, 2021; Silver, 2021). Cette catégorie inclut les sondages par appels automatisés (IVR) combinés à des sondages web auprès de volontaires ou à des sondages par SMS ainsi que des interviews téléphoniques combinés à des sondages web utilisant divers types de sources.

Les sondages de la seconde catégorie – 25 pour cent des sondages et 16 instituts – utilisent un seul mode de passation et font appel à des sources d'échantillonnage aléatoire ou quasi-aléatoire. La catégorie comprend les interviews téléphoniques, les sondages web qui utilisent des échantillons probabilistes, des sondages dits sms-à-web, des sondages recrutant via des applications sur cellulaire ou sur ordinateur⁶, l'utilisation d’échantillonnage de type river sampling⁷ et d'autres modes de recrutement dans lesquels la base de recrutement des répondants se renouvelle à chaque sondage. Théoriquement, la randomisation devrait conduire à de meilleures estimations.

La troisième catégorie regroupe les sondages web qui utilisent exclusivement des panels de volontaires, appelés access panels en Europe francophone. C'est la plus grande catégorie, avec 59 pour cent des sondages menés par 27 instituts. Ces sondages ont été critiqués pour leur difficulté à constituer des échantillons représentatifs de la population (Baker et coll., 2013; Lavrakas et coll., 2022) et à bien prédire les élections (Pennay et coll., 2020; Sohlberg et coll., 2017). De plus, selon Durand et Johnson (2021), ils ont du mal à détecter les changements dans les intentions de vote qui se produisent pendant les campagnes. Cette catégorie n'est pas totalement homogène. Certains panels s’appuient partiellement sur des échantillons aléatoires pour le recrutement et entretiennent leur propre panel, certains instituts de sondage combinent plus d'une source de panel. Ces pratiques peuvent influencer la qualité des estimations.

Les mesures

La mesure utilisée est la proportion d’intention de vote pour Joe Biden sur la somme des appuis à Joe Biden et à Donald Trump, une mesure généralement adoptée par les chercheurs qui s’intéressent à la prédiction du vote (Erikson et Wlezien, 2020; Lewis-Beck, 2005; Wlezien et Erikson, 2004). Il s’agit de la seule mesure comparable puisque la plupart des sondeurs publient les proportions pour les deux principaux candidats sans répartir les non exprimés, une proportion qui varie en fonction de la méthodologie utilisée et selon les firmes et les sondages. De plus, certains sondeurs mentionnent les petits candidats dans la question alors que d’autres ne les mentionnent pas ou même les incluent dans le pourcentage des non-exprimés.

À l’élection, la proportion de votes pour Joe Biden sur la somme des votes de Joe Biden et de Donald Trump a été de 52,2 pour cent. Le tableau 1 montre que, pour l’ensemble de la campagne à partir du 1^er septembre, les sondages utilisant plusieurs modes – modes mixtes – présentent l'estimation moyenne la plus basse (53,2%) et la plus grande variance (5,6). Inversement, les sondages utilisant un mode unique probabiliste affichent l’estimation moyenne la plus élevée (55,1%) et les access panels se situent entre les deux (54,7%). Les access panels présentent une variance très faible (1,7), une situation fréquente pour ce type de sondage (Durand et Johnson, 2021). Les différences de variance peuvent s’expliquer, au moins en partie, par le niveau estimé de variation dans les intentions de vote pendant la campagne, par les schémas de redressement utilisés – dont l’utilisation du rappel de vote (Durand et coll., 2015) – et l'homogénéité des échantillons qui regroupent généralement des personnes plus politisées, moins susceptibles de changer d’opinion pendant la campagne (voir entre autres Legleye et coll., 2023).

Dans cette recherche, tous les sondages ont été menés à l’échelle nationale et portent sur la présidence. Par conséquent, les caractéristiques à contrôler dans les analyses, suggérées par divers auteurs (par exemple, Chen et coll., 2022; Pickup et Johnston, 2008) sont méthodologiques. Elles se situent à deux niveaux, celui des sondages et celui des instituts.

Au niveau des sondages, le prédicteur le plus important est la période pendant laquelle chaque sondage a été réalisé. Nous évaluons son impact en utilisant trois composantes du temps – linéaire, quadratique et cubique – pour modéliser les tendances dans les intentions de vote. De plus, nous incluons :

la marge d'erreur (ME) – l'intervalle de crédibilité (IC)⁸ dans la plupart des cas – qui prend en compte l'impact attendu de la taille de l'échantillon,

le nombre de jours sur le terrain, comme indicateur du taux de réponse et de la qualité du sondage⁹ et

l'utilisation d'un modèle de probabilité de vote (MPV) par opposition à une base d'électeurs inscrits, une pratique présumée liée au biais d’estimation (Enns et Rothschild, 2021; Kennedy et coll., 2017; Pickup et Johnston, 2008; Sturgis et coll., 2018).

Au niveau des instituts de sondage, le nombre de sondages menés depuis le 1er septembre est un indicateur de l'expérience de l'institut. Nous postulons que les instituts de sondage plus actifs ont plus d'expérience dans la conduite de sondages électoraux¹⁰. Nous ajoutons deux variables factices pour la combinaison mode-source :

l'utilisation de modes multiples et

l'utilisation d'un mode unique avec une source d'échantillonnage aléatoire ou quasi-aléatoire.

Ces combinaisons sont comparées à la catégorie de référence, les sondages web de type access panels. Par conséquent, nous comparons également les sondages qui s’appuient au moins partiellement sur des sources d'échantillonnage aléatoire avec les sondages qui s’appuient sur des panels de volontaires.

Les analyses

L'analyse se déroule en trois phases. La première question posée est de savoir si les trois combinaisons mode-source tracent le même portrait de l’évolution des intentions de vote pour Joe Biden pendant la campagne et conduisent à une estimation similaire du vote final. La première analyse utilise la régression locale (Cleveland et Devlin, 1988; Erikson et Wlezien, 1999; Jacoby, 2000; Loader, 1999; Zucchini, 2003), une procédure de lissage non paramétrique utilisant un noyau d'Epanechnikov avec α=0.65. Utiliser la régression locale comme procédure exploratoire préliminaire pour visualiser les données a l'avantage de ne pas présumer a priori de la forme de l’évolution dans le temps (Jacoby, 2000).

La régression locale ne contrôle pas la dépendance des sondages vis-à-vis des instituts qui les réalisent, ni leurs pratiques méthodologiques spécifiques. Par conséquent, dans la deuxième phase, nous utilisons l'analyse multiniveaux, une procédure essentielle lorsque les données sont imbriquées (Hox, 2010; Snijders et Bosker, 2012). Ce type d’analyse permet d’estimer quelle proportion de la variance est attribuable aux sondages individuels et quelle proportion provient des différences entre les instituts de sondage. D’une certaine manière, l'analyse est divisée en deux régressions concurrentes, une pour les estimations des sondages et une pour les estimations moyennes des instituts. Elle permet d’évaluer si les différences constatées sont statistiquement significatives¹¹, toutes choses égales par ailleurs.

La troisième phase vise à valider l'analyse statistique en examinant comment les différences entre les combinaisons mode-source révélées par les analyses précédentes se traduisent dans les sondages menés pendant les dix derniers jours de la campagne, ceux dont la collecte a commencé après le deuxième débat présidentiel, le 23 octobre. Cela permet de vérifier si d'autres caractéristiques des sondages, qui ne sont pas prises en compte dans l'analyse statistique, mènent également à des estimations plus précises.

Les résultats

Les différentes combinaisons de modes d’administration et de sources d’échantillon tracent-elles un portrait similaire de l’évolution des intentions de vote pour Joe Biden ?

La Figure 1 montre l’évolution des intentions de vote pour Joe Biden en fonction des combinaisons mode-source. Les points indiquent les estimations des sondages et sont positionnés au milieu de la période de collecte (comme suggéré par Erikson et Wlezien, 1999 et Durand et Johnson, 2021), tandis que les lignes montrent les évolutions estimées par la régression locale. La figure illustre que les sondages utilisant des modes mixtes et les sondages à mode unique aléatoire ou quasi-aléatoire dépeignent une tendance quadratique dans les intentions de vote. Ils estiment que l’appui à Joe Biden a augmenté jusqu'à mi-campagne puis a diminué jusqu'à l'élection. Les sondages faisant appel à des access panels quant à eux ont estimé que l’appui à Joe Biden était demeuré stable pendant toute la campagne. Rien ne suggère que les deux débats télévisés, indiqués par les lignes verticales, ont influencé l'intention de vote.

Figure 1.

Intentions de vote pour Joe Biden du 1^er septembre au jour de l’élection

Les sondages utilisant des modes multiples prédisent presque parfaitement le vote final (52,2% de la somme des deux principaux candidats), tandis que les autres combinaisons mode-source prédisent un vote plus proche de 55%. Ce constat est similaire à ce qui s’est passé lors de l'élection présidentielle américaine de 2016, alors que les sondages web de type access panels n'ont indiqué aucun changement dans les appuis à Hilary Clinton pendant la campagne, contrairement aux deux autres modes principaux, soit les sondages téléphoniques avec intervieweur et les combinaisons IVR-Web (Kennedy et coll., 2017, 2018).

Cette analyse montre que les sondages en mode mixte sont les seuls à bien prédire le vote final à partir des intentions de vote estimées pendant la campagne. Elle souligne également qu'il peut être inapproprié d’analyser la performance des sondages à partir des estimations d’une trop longue période avant l’élection sans vérifier si les intentions de vote sont stables et ce, quels que soient les modes d'administration et les sources d'échantillonnage.

Les résultats sont congruents avec les différences de variance selon les combinaisons, notées dans le tableau 1. Les sondages en mode mixte ont une plus grande variance parce qu'ils détectent un mouvement dans les intentions de vote pendant la campagne, tandis que la variance minime des sondages de type access panel est cohérente avec le soutien stable qu'ils tracent. Comme ces sondages constituent la grande majorité des sondages publiés, leur poids conduit à dépeindre la tendance générale comme stable.

Les sondages différaient-ils selon les combinaisons de mode et de source, toutes choses étant égales par ailleurs ?

Nous procédons à l'analyse de régression multiniveaux avec une approche classique (Hox, 2010; Snijders et Bosker, 2012). Le modèle 0, présenté dans la première colonne, montre que plus de 55 pour cent de la variance dans les estimations des sondages est due aux différences entre les instituts de sondage, ce qui confirme que l'utilisation de la régression multiniveau est essentielle pour contrôler la dépendance des estimations des sondages aux pratiques des instituts.

Dans la seconde colonne, le modèle 0-longitudinal introduit les trois composantes temporelles nécessaires pour modéliser les tendances illustrées par la régression locale. Les trois composantes sont significatives, ce qui signifie qu'après avoir contrôlé pour la dépendance des sondages envers les instituts, la tendance moyenne de l’appui à Joe Biden est de forme cubique : elle apparaît comme une courbe avec deux inflexions. Ces composantes expliquent 15,4 pour cent de la variance dans les estimations au niveau des sondages et 3,3 pour cent de la variance entre les instituts de sondage. On peut donc conclure qu'une proportion significative de la variation dans les estimations est due au moment où les sondages sont conduits. Nous pouvons donc écarter l’idée qu'il n'y ait pas eu de variation dans les intentions de vote pendant la campagne (Tableau 2).

Tableau 2.

Estimation du vote pour Joe Biden selon la combinaison mode-source

	Modèle 0	Modèle 0 longit.	Modèle 1	Interaction	Modèle parcimonieux
	Estimé	Estimé	Estimé	Estimé	Estimé	E.S.
Intercept	54,669 ***	54,890 ***	54,157 ***	54,800 ***	54,837	0,337 ***
Niveau sondage
Temps centré		0,045 ***	0,047 ***	0,031 ***	0,015	0,004 ***
- Modes mixtes				0,041	0,031	0,018 ‡
- Mode unique quasi aléatoire				-0,019	0,023	0,012 ‡
Temps centré² (/100)		0,098 *	-0,094 *	-0,018	-0,031	0,038
- Modes mixtes (/100)				-0,325 ***	-0,376	0,096 ***
- Mode unique quasi aléatoire (/100)				-0,194 **	-0,198	0,063 **
Temps centré³ (/1000)		-0,043 ***	-0,044 ***	-0,027 *
- Modes mixtes (/1000)				0,029
- Mode unique quasi aléatoire (/1000)				0,005
No. Jours terrain			0,062 ‡
ME Biden			0,333
Modèle de probabilité de vote			-0,397
Niveau Institut
No. Sondages depuis sept.			0,004
Modes mixtes			-1,186 ‡	-0,227	-0,151	0,777
Mode unique quasi aléatoire			0,095	0,603	0,600	0,431
Variance
Variance niveau sondage	1,491	1,261	1,271	1,124	1,141
Variance niveau institut	1,837	1,776	1,391	1,533	1,546
Prop. var. niveau institut	55,2%	58,5%	52,3%	57,7%	57,5%
		Comparé modèle 0 → Comparé au modèle 0 longitudinal
Var. expliquée entre les sondages		15,4%	-0,8%	10,9%	9,5%
Var. expliquée entre les instituts		3,3%	21,7%	13,7%	12,9%

^‡: p < 0,1; *: p < 0,05; **: p < 0,01; ***: p < 0,001. Source : Analyses de l'auteur.

Le modèle suivant évalue si les caractéristiques des sondages et des instituts expliquent une partie de la variance. Au niveau des sondages, la marge d’erreur (ME/IC) – l’intervalle de crédibilité dans le cas des sondages non-probabilistes – et l'utilisation d'un modèle de probabilité de vote (MPV) – plutôt qu’un échantillon d'électeurs inscrits – ne sont pas significativement associées à l’estimation de l'intention de vote. Le nombre de jours pendant lesquels le sondage a été conduit est marginalement significatif au seuil de 0,1.

De même, les caractéristiques des méthodologies utilisées par les instituts ne sont pas significativement liées aux estimations. Il n'y a pas de différence entre les sondages, en moyenne, selon l'utilisation de modes mixtes ou d’un mode unique avec des sources quasi-aléatoires comparée aux sondages par access panels. Cette conclusion diffère de celles de nombreux auteurs (Clinton et coll., 2021; Enns et Rothschild, 2021; Panagopoulos, 2021; Silver, 2021) qui ont analysé les sondages conduits dans les États à la fin de la campagne et qui ne contrôlaient pas pour les caractéristiques des sondages et leur dépendance vis-à-vis des instituts.

L'étape suivante consiste à valider les différences dans l’évolution des intentions de vote illustrées par la régression locale. Pour ce faire, nous introduisons des termes d’interaction entre les combinaisons mode-source et les composantes temporelles. Les résultats présentés dans la quatrième colonne sont cohérents avec les tendances illustrées à la Figure 1. Ils révèlent que seules les tendances quadratiques diffèrent significativement selon les combinaisons mode-source. Il n’y a pas de différence significative entre les combinaisons pour les tendances linéaires et cubiques.

Cette analyse nous guide vers un modèle parcimonieux qui ne retient que les composantes significatives. Deux modèles sont statistiquement équivalents, selon que l’on conserve ou non la composante cubique faiblement significative. Comme la parcimonie est un critère et un objectif, nous avons conservé le modèle avec le moins de variables, celui qui conserve uniquement les interactions avec les composantes linéaire et quadratique¹². Ce modèle, présenté à la dernière colonne, explique 9,3 pour cent de variance supplémentaire au niveau des sondages et 12,9 pour cent au niveau des instituts. Les sondages en mode mixte et les sondages en mode unique quasi-aléatoire diffèrent significativement des sondages web utilisant des access panels. Ils diffèrent également entre eux.

Pour ce qui est des access panels, la catégorie de référence, la valeur de l'intercept de la composante linéaire est petite (0015) mais significative alors que celle de la composante quadratique est non significative. Ceci signifie que les access panels estiment qu’il y a eu une faible hausse linéaire de l’appui à Joe Biden, soit environ un point de pourcentage entre le début et la fin de la campagne, mais aucune autre variation, toutes choses étant égales par ailleurs. À l’inverse, seule la composante quadratique est significative pour les sondages utilisant des modes mixtes ou un mode unique quasi-aléatoire, ce qui valide l’estimation d’une évolution en hausse jusqu’à mi- campagne et en diminution par la suite.

En somme, le moment où les sondages ont été réalisés, le mode d'administration et la source d'échantillonnage combinés expliquent 24,9 pour cent de la variance dans les estimations des sondages −15,4 pour cent pour les composantes temporelles et 9,5 pour cent pour l'impact des combinaisons mode-source sur ces composantes. De plus, ils expliquent 16,2 pour cent de la variance entre les instituts de sondage : 3,3% de la variance est expliquée par les composantes temporelles et 12,9% par l'impact des combinaisons mode-source sur ces composantes. Nous concluons que la différence entre les combinaisons mode-source se situe dans le fait qu’elles tracent un portrait différent de l’évolution des appuis à Joe Biden et qu’elles prédisent un vote différent.

La Figure 2 montre comment les résultats de la régression se traduisent en tendances estimées. Si on projette ces tendances jusqu’au jour de l’élection, le 3 novembre, les sondages en mode mixte prédisent presque parfaitement la part du vote pour Joe Biden sur la somme des deux principaux candidats (52,2%), avec une estimation de 51,8 pour cent. Les sondages utilisant un mode unique quasi-aléatoire conduisent à une prédiction de 53,0 pour cent, soit moins d’un point de plus que le vote obtenu par Joe Biden. Enfin, les sondages par internet sur invitation prédisent un vote à 55,0 pour cent, soit 2,8 points de plus que le vote. La figure révèle que les différences entre les combinaisons de mode et de source se produisent principalement au début et à la fin de la campagne. Au milieu, les trois catégories produisent des estimations similaires.

Figure 2.

Impact de l'utilisation de diverses combinaisons mode-source sur l’estimation de l’appui à Joe Biden

La leçon à tirer de cette analyse est que l'information transmise aux citoyens sur ce qui se passait tout au long de la campagne différait selon la combinaison mode-source utilisée par les instituts. Les citoyens qui se fiaient aux sondages utilisant des access panels, les sondages les plus fréquents, pensaient qu’il n’y avait aucun mouvement pendant la campagne ou même une légère hausse des appuis à Joe Biden ; ceux qui se fiaient à d'autres types de sondages comprenaient que son soutien augmentait jusqu'à mi-campagne et diminuait par la suite. Ces résultats ont des conséquences importantes pour les agrégateurs et les médias, qui devraient tenir compte des différences possibles entre les sondages selon le mode d’administration et la source d’échantillonnage utilisés et en informer les électeurs, sous peine de les induire en erreur sur l'état des intentions de vote et la dynamique de la campagne électorale.

Comment ces résultats se reflètent-ils dans les sondages réalisés au cours des dix derniers jours ?

Pour mieux comprendre les résultats précédents et leurs conséquences pour la prédiction du vote, nous nous sommes concentrés sur les 46 sondages réalisés au cours des dix derniers jours de la campagne. Nous les avons répartis selon que leurs estimations étaient ou non à l’intérieur de leur marge d'erreur ou intervalle de crédibilité (ME/IC). Le Tableau 3 montre que les deux tiers des estimations (30/46) se trouvent à l’intérieur de la ME/IC de chaque sondage. Les estimations des sondages en mode mixte ou en mode unique utilisant des sources aléatoires ou quasi-aléatoires ont été nettement plus fréquemment à l’intérieur de leur marge d’erreur. Huit des neuf estimations des sondages en mode mixte, et sept des neuf estimations des sondages en mode unique quasi-aléatoire se sont situées à l’intérieur de leur marge d'erreur. En revanche, seulement 15 des 28 estimations des sondages de type access panel étaient à l’intérieur de leur ME/CI.

Tableau 3.

Qualité de la prédiction du vote pour Joe Biden durant les 10 derniers jours

	Nombre de sondages	À l'intérieur de la ME/IC			À l'extérieur de la ME/IC
	Nombre de sondages	Un point d'écart ou moins	Plus d'un point d'écart	Total	À l'extérieur de la ME/IC
Modes mixtes	9	6	2	8	1
Mode unique aléatoire ou quasi aléatoire	9	3	4	7	2
Web par access panel	28	4	11	15	13
Total	46	13	17	30	16

Parmi les estimations à l’intérieur des ME/IC, 13 se situaient à moins d’un point du vote final, un critère arbitraire on en convient, mais qui permet de mieux visualiser les différences entre les diverses combinaisons. Le Tableau 4 présente les informations détaillées sur ces sondages. Six sondages utilisaient des modes mixtes, trois un mode unique quasi-aléatoire et quatre étaient des access panels. Les sondages en mode mixte combinent principalement des sondages téléphoniques, automatisés ou avec intervieweurs, et des sondages web qui utilisent une source d'échantillon appelée Random Device Engagement (RDE), une forme de recrutement ciblant les utilisateurs d'applications web et de téléphone portable. Deux des quatre sondages utilisant des access panels sont ajustés en utilisant des scores de propension¹³. Les deux autres instituts de sondage n'ont pas divulgué leurs méthodologies¹⁴.

Tableau 4.

Dix derniers jours, prédiction du vote pour Joe Biden à l'intérieur de la ME/IC et un point ou moins d'écart avec le vote

	Début	Fin	Taille de l'échantillon	Estimation Biden/ somme des 2 candidats	Écart avec le vote final	Mode principal	Mode secondaire	Commentaire
Modes mixtes (6/9)
Gravis	27-oct	29-oct	1281	53,2	1,0	IVR	Web (?%)
IBD/TIPP	27-oct	31-oct	1072	52,1	−0,1	Téléphonique	Web (37%)	sondage roulant
IBD/TIPP	28-oct	01-nov	1072	51,6	−0,6	Téléphonique	Web (37%)	sondage roulant
RMG Research¹	23-oct	24-oct	1842	52,1	−0,1	Web	IVR (10%)	RDE²
RMG Research¹	29-oct	31-oct	1200	52,6	0,4	Web	IVR (10%)	RDE²
Emerson College	25-oct	26-oct	1121	52,0	−0,2	Web	IVR (36%)	Sources multiples
Mode unique quasi aléatoire (3/9)
Swayable	23-oct	26-oct	11714	52,6	0,4	Web		RDE similaire²
Swayable	29-oct	31-oct	3115	53,1	0,9	Web		RDE similaire²
Swayable	01-nov	01-nov	5174	53,1	0,9	Web		RDE similaire²
Web par access panel (4/28)
Winston	23-oct	26-oct	1000	52,8	0,6	Web		Aucune information
Harris	25-oct	28-oct	2093	52,1	−0,1	Web		Scores de propension
Atlas Intel	26-oct	28-oct	1726	52,6	0,4	Web		Scores de propension
Zogby	01-nov	01-nov	1008	52,8	0,5	Web		Aucune information

1: Hypothèse de forte participation des Républicains.

2. Random Device Engagement ou similaire.

Le Tableau 5 répertorie les estimations à l’intérieur de la ME/IC mais qui ont plus d'un point d’écart avec le vote. Deux sondages en mode mixte combinant l'IVR et le web se retrouvent dans cette catégorie. Parmi les quatre sondages en mode unique quasi-aléatoire, trois sont des sondages téléphoniques avec intervieweurs et un est un sondage web utilisant le RDE. Parmi les onze sondages de type access panel, trois utilisent plusieurs sources pour l'échantillonnage, un ajuste en utilisant des scores de propension et deux pondèrent en utilisant le rappel du vote à l'élection de 2016.

Tableau 5.

Dix derniers jours, prédiction du vote pour Joe Biden à l'intérieur de la ME/IC et plus d'un point d'écart avec le vote

	Début	Fin	Taille de l'échantillon	Estimation Biden/ somme des 2 candidats	Écart avec le vote final	Mode principal	Mode secondaire	Commentaire
Modes mixtes (2/9)
Pulse Opinion Research	26-oct	28-oct	1500	50,5	−1,7	IVR	Web (?%)
Pulse Opinion Research	28-oct	01-nov	1500	50,5	−1,7	IVR	Web (?%)
Mode unique quasi aléatoire (4/9)
Suffolk University	23-oct	27-oct	1000	53,8	1,6	Téléphonique
Beacon	27-oct	29-oct	1246	54,2	2,0	Téléphonique
NBC/WSJ (Hart)	29-oct	31-oct	833	55,3	3,1	Téléphonique
Swayable	27-oct	28-oct	2386	53,5	1,3	Web		RDE similaire¹
Web par access panel (11/28)
Lucid (Tufts U)	25-oct	25-oct	837	53,6	1,4	Web		Sources multiples
Ipsos	31-oct	02-nov	914	53,6	1,4	Web		Sources multiples
Ipsos	23-oct	27-oct	825	55,3	3,1	Web		Sources multiples
HarrisX	27-oct	28-oct	2093	54,0	1,8	Web		Scores de propension
Angus Reid Global	23-oct	28-oct	2231	54,1	1,9	Web		Source unique
Survey USA	29-oct	31-oct	1265	54,2	2,0	Web		Pond. rappel vote
Change Research	23-oct	24-oct	1125	54,3	2,1	Web		Pond. rappel vote
Léger	29-oct	01-nov	1000	54,3	2,1	Web		Source unique
Léger	23-oct	25-oct	834	54,4	2,2	Web		Source unique
Research Co	31-oct	02-nov	1100	54,3	2,1	Web		Source unique
AYTM	30-oct	31-oct	700	55,2	3,0	Web		Source unique

1. Random Device Engagement ou similaire.

Le Tableau 6 présente les 16 estimations des sondages qui sont hors de leur ME/IC. Un sondage est en mode mixte, combinant le téléphone avec intervieweur et le web et deux sont exclusivement des sondages téléphoniques avec intervieweurs. Treize sondages sur 16 utilisent le web avec access panel. Neuf d’entre eux ont pondéré par le rappel du vote de l'élection de 2016, un type d'ajustement fréquemment utilisé en Europe, mais rarement aux États-Unis où on a plutôt tendance à ajuster par l’identification partisane (démocrate, républicain, indépendant). La pondération par le rappel de vote tend à réduire la variance dans les estimations, ce qui est cohérent avec la variance plus faible des sondages par access panels en général. Ce type de pondération a des effets variables selon les situations (Durand et coll., 2015; Pennay et coll., 2023). Dans la situation étatsunienne où la participation électorale est souvent très basse et peut varier substantiellement selon les élections, ce type de pondération ne semble pas mener à de meilleures estimations (Clinton et coll., 2021).

Tableau 6.

Dix derniers jours, prédiction du vote pour Joe Biden à l'extérieur de la ME/IC

	Début	Fin	Taille de l'échantillon	Estimation Biden/ somme des 2 candidats	Écart avec le vote final	Mode principal	Mode second.	Commentaire
Modes mixtes (1/9)
Global Marketing Research	23-oct	27-oct	1006	57,6	5,4	Téléphonique	Web
Mode unique quasi aléatoire (2/9)
Quinnipiac University	28-oct	01-nov	1516	56,2	4,0	Téléphonique
SSRS	23-oct	26-oct	886	56,2	4,0	Téléphonique
Web par access panel (13/28)
Data for Progress	28-oct	29-oct	1403	55,1	2,9	Web		Pond. rappel vote
J.L. Partners	26-oct	28-oct	844	57,3	5,1	Web		Pond. rappel vote
Morning Consult	24-oct	26-oct	12000	55,3	3,1	Web		Pond. rappel vote
Morning Consult	27-oct	29-oct	12000	54,7	2,5	Web		Pond. rappel vote
Opinium	26-oct	29-oct	1451	57,3	5,1	Web		Pond. rappel vote
Qriously Brandwatch	29-oct	01-nov	3505	55,9	3,7	Web		Pond. rappel vote
Redfield and Wilton Strategies	25-oct	26-oct	4790	55,4	3,2	Web		Pond. rappel vote
Redfield and Wilton Strategies	30-oct	01-nov	8765	56,4	4,2	Web		Pond. rappel vote
Survey Monkey	26-oct	27-oct	1573	56,6	4,4	Web		Pond. rappel vote
YouGov	23-oct	25-oct	1350	56,2	4,0	Web		Access panel
YouGov	25-oct	27-oct	1365	55,7	3,5	Web		Access panel
YouGov	30-oct	01-nov	1360	55,2	3,0	Web		Access panel
YouGov	31-oct	02-nov	1363	55,2	3,0	Web		Access panel

Ces résultats illustrent les conclusions des analyses statistiques. L'utilisation de modes mixtes et le recours à des sources d'échantillonnage aléatoires ou quasi-aléatoires sont associés à de meilleures estimations du vote. Les tableaux illustrent également que la majeure partie de la variance se situe entre les instituts de sondage puisque les sondages de chaque institut se retrouvent dans la même catégorie pour ce qui est de la qualité de l’estimation.

Contrairement à de nombreux auteurs qui ont analysé les sondages au niveau des États (Clinton et coll., 2021; Panagopoulos, 2021; Silver, 2021), nous constatons que, au niveau national, les sondages téléphoniques avec intervieweur, utilisés seuls ou en combinaison avec d'autres modes, ont montré une performance respectable puisque cinq sur huit ont présenté des estimations à l’intérieur de leur ME, une performance un peu meilleure que celle des sondages utilisant des access panels.

Ces résultats complètent l'analyse statistique en pointant vers d'autres caractéristiques méthodologiques auxquelles on doit prêter attention dans les futures analyses des sondages web, à savoir le recours à de multiples sources d'échantillonnage, l'utilisation de méthodes aléatoires ou quasi-aléatoires pour recruter les répondants et la pondération à l'aide de scores de propension. Ils confirment également que les sondages en mode mixte ont systématiquement conduits à une meilleure estimation, y compris à la fin de la campagne.

Discussion

Nous avons montré que les modes d'administration des sondages, combinés au recours à des bases de sondage aléatoires, font une différence. Ces résultats sont en accord avec ceux présentés par de nombreux auteurs qui ont soulevé que les échecs « des sondages » étaient en fait l’échec de « certains types de sondage » caractérisés par des combinaisons de méthodologies, dont les modes d'administration et la manière de constituer les échantillons (Durand et Johnson, 2021; Jowell et coll., 1993; Sturgis et coll., 2018).

Les résultats confirment également que la méthodologie est une caractéristique des instituts et qu’elle doit être contrôlée, car elle explique plus de la moitié de la variance entre les sondages. Puisque les instituts utilisent des clusters de méthodes (Pickup et Johnston, 2008), des pratiques autres que le mode et les sources d'échantillonnage peuvent impacter les estimations dont les variables utilisées pour les redressements, la formulation des questions et leur ordre dans le questionnaire. Cependant, chaque combinaison mode-source utilisée dans cette recherche regroupe plusieurs instituts avec diverses autres pratiques méthodologiques et néanmoins, les résultats sont clairs. De plus, l'analyse multiniveaux permet de contrôler les effets liés aux instituts. Par conséquent, nous sommes confiants d'affirmer que, lors de l'élection présidentielle américaine de 2020, les sondages qui utilisaient plusieurs modes d'administration et sources d'échantillonnage et ceux qui s’appuyaient au moins partiellement sur une source d'échantillonnage aléatoire ou quasi-aléatoire, ont présenté une vision différente de ce qui s’est passé pendant la campagne et ont mieux prédit le vote.

Ces résultats entraînent que, si nous voulons nous assurer que les électeurs auront l’heure juste sur la dynamique de la campagne électorale, nous devons surveiller les estimations des sondages par mode et source d'échantillonnage tout au long de la campagne pour évaluer s’il existe des différences dans les tendances qu'ils tracent.

Cependant, cela ne signifie pas que les combinaisons mode-source sont homogènes. Près de 54 pour cent des sondages de type access panel ont produit des estimations à l’intérieur de leur intervalle de crédibilité. Il sera essentiel de suivre les nouveaux développements dans la méthodologie des sondages et d'évaluer si d'autres pratiques, et entre autres les différences de pratique entre les firmes utilisant des access panels, sont associées à une précision accrue.

Conclusion

Si nous convenons que la précision des prédictions à la fin d'une campagne est une indication fiable de la précision des estimations pendant la campagne, cela a des conséquences. En 2020 comme en 2016, les citoyens américains n'ont pas obtenu des informations adéquates sur la tendance des intentions de vote pendant la campagne électorale. En 2020, on leur a dit que le soutien pour les deux principaux candidats était stable, et que Joe Biden était en avance sur Donald Trump alors qu’il est plus probable que les appuis à Joe Biden ont augmenté jusqu'à la mi- campagne et ont diminué par la suite, et que Joe Biden n'était pas beaucoup en avance sur Donald Trump.

Il y a des leçons à tirer pour les futures campagnes électorales aux États-Unis, et possiblement ailleurs. Des pratiques innovantes émergent dans les sondages électoraux (Kennedy et coll., 2023). Ces pratiques – utiliser des modes mixtes, de nouvelles façons d'obtenir des échantillons aléatoires pour les sondages en ligne, avoir recours à plusieurs sources d'échantillonnage et pondérer en utilisant des scores de propension – ont conduit à de meilleures estimations des intentions de vote pour Joe Biden lors de l'élection présidentielle américaine de 2020. Une explication plausible est que des modes et sources d'échantillonnage spécifiques rejoignent différents types d'électeurs (Clinton et coll., 2021), mais aucun ne les rejoint tous. Le redressement des échantillons en fonction de diverses caractéristiques démographiques, de la probabilité de vote ou de l’identification partisane sont insuffisants pour ajuster les effets de composition. Par conséquent, il est préférable d'utiliser plusieurs modes et sources et possiblement de pondérer en utilisant des scores de propension. Les sondages électoraux sont un laboratoire pour améliorer les méthodes d'enquête car leur précision peut être évaluée en utilisant les résultats des élections comme référence. Cependant, pour suivre leur évolution, nous avons besoin d'une plus grande transparence de la part des instituts et des médias puisqu’il est souvent difficile de trouver toutes les informations méthodologiques pertinentes pour chaque sondage.

Quelles conséquences pour la démocratie ? Il n’est pas évident que les sondages influencent directement le vote. Les sondages sont consultés par les personnes les plus éduquées et les plus intéressées à la politique, et donc les moins susceptibles de changer leur intention de vote (Durand et coll., 2018; Durand et Goyder, 2018). Toutefois, aux États-Unis, les sondages sont traités par des agrégateurs qui produisent une probabilité de gagner pour chaque candidat. Kennedy et coll. (2017) estiment que le fait que des agrégateurs estimaient à 70 et même à 90 pour cent la probabilité de Hillary Clinton de gagner l’élection en 2016 a pu contribuer au fait que ses partisans se sont moins mobilisés pour voter que ceux de Donald Trump. Les sondages peuvent également avoir un impact indirect sur le vote en décourageant les militants des partis politiques qui tirent de l’arrière dans les sondages ou au contraire en les amenant à se reposer sur leurs lauriers. Les sondeurs ont donc l’obligation de produire des estimations les plus fiables possibles.

Quelles conséquences pour l’utilisation des access panels dans la recherche académique ? Stephenson et Crête avaient déjà montré en 2011 la présence de différences entre un sondage téléphonique et un sondage par access panel dans l’estimation des comportements politiques et des déterminants de ces comportements. Aussi récemment qu’en 2023, Legleye et coll. ont montré jusqu’à quel point le profil des membres des access panels en France était différent de celui de la population générale. Les access panels sont au moins partiellement des échantillons de volontaires et ils comportent les biais de ce type d’échantillon. Nos propres recherches dans 17 élections et référendums dans quatre pays (Durand et Johnson, 2021) montrent qu’ils comportent une difficulté systématique à détecter les mouvements dans l’électorat. Quelle solution? Recourir à plusieurs modes ou à plusieurs sources d’échantillons est certainement une bonne pratique. De plus, il faut se méfier des sondages web par access panel si l’on veut suivre une population dans le temps.

Footnotes

Accès aux données

Les données utilisées dans cette publication sont disponibles sur le dépôt Dataverse à l’adresse:

Déclaration de conflits d’intérêt

L’auteur déclare n’avoir aucun conflit d’intérêt potentiel pour tout ce qui concerne le déroulement de la recherche, les droits d’auteur et/ou la publication de cet article.

Financement

L’auteur n’a bénéficié d’aucun soutien financier particulier relatif au déroulement de la recherche, à ses droits d’auteur et/ou la publication de cet article.

Remerciements

L’auteur tient à remercier Luis Patricio Peña Ibarra, qui a identifié et collecté les données pour cette recherche et Timothy P. Johnson, qui a apporté son soutien à la première phase de cette recherche. L’auteur tient également à remercier les nombreux instituts qui ont collaboré avec nous pour compléter l’information sur les méthodes qu’ils utilisent. L'auteur remercie particulièrement les évaluateurs de BMS et Viviane Le Hay pour les commentaires très pertinents qui ont permis d'améliorer cet article.

Notes

References

Baker

Brick

Bates

, et al. (2013) Report of the AAPOR Task force on non-probability sampling. https://www.aapor.org/Education-Resources/Reports/Non-Probability-Sampling.aspx DOI: 10.1093/jssam/smt008.

Campbell

et Lewis-Beck

(2008) US Presidential forecasting: An introduction. International Journal of Forecasting 24: 189‐192.

Chen

Garnett

et Montgomery

(2022) Polls, context and time: A dynamic hierarchical Bayesian forecasting model for US senate elections. Political Analysis 1‐21. DOI: 10.1017/pan.2021.42

Cleveland

et Devlin

(1988) Locally weighted regression: An approach to regression analysis by local fitting. Journal of the American Statistical Association 83: 596‐610.

Clinton

Agiesta

Brenan

, et al. (2021) AAPOR Task force on 2020 pre-election polling: An Evaluation of the 2020 general election polls. https://aapor.org/wp-content/uploads/2022/11/AAPOR-Task-Force-on-2020-Pre-Election-Polling_Report-FNL.pdf. Accédé Avril 2022.

Collins

(2021) All that glitters is not gold, data for progress, March 11, 2021, https://www.dataforprogress.org/blog/2021/3/11/all-that-glitters-is-not-gold (accédé mars 2023).

Curtice

(1997) So how well did they do? The polls in the 1997 election. Journal of the Market Research Society 39: 449‐461.

Durand

(2008a) La méthodologie des sondages électoraux de l’élection présidentielle française de 2007; Chroniques d’un problème recurrent. BMS, 97: 5‐17.

Durand

(2008b) The polls of the 2007 French presidential campaign: Were lessons learned from the 2002 catastrophe? International Journal of Public Opinion Research, 20 (3), 275‐298.

10.

Durand

et Blais

(2020) Quebec 2018: A failure of the polls? Canadian Journal of Political Science/Revue Canadienne De Science Politique 53(1): 133‐150.

11.

Durand

Blais

et Larochelle

(2004) The polls of the 2002 French presidential election: An autopsy. Public Opinion Quarterly 68(4): 602‐622.

12.

Durand

Deslauriers

et Valois

(2015) Should recall of previous votes be used to adjust estimates of voting intention? Survey insights: methods from the field, weighting: Practical Issues and ‘How to’ approach. Retrieved from https://surveyinsights.org/?p=3543, DOI:10.13094/SMIF-2015-00002.

13.

Durand

et Goyder

(2018) Do polls influence the vote? Disponible sur SSRN: https://ssrn.com/abstract=4522042 or https://dx-doi-org.web.bisu.edu.cn/10.2139/ssrn.4522042.

14.

Durand

Goyder

Daoust

et Blais

(2018) Les sondages influencent-ils le comportement des électeurs ? Options politiques, May 2018. https://policyoptions.irpp.org/magazines/may-2018/les-sondages-influencent-ils-le-comportement-des-electeurs/

15.

Durand

et Johnson

(2021) What about modes? Differences between modes in the 21st century’s electoral polls. Public Opinion Quarterly 85(1): 183‐222.

16.

Enns

et Rothschild

(2021) Revisiting the ‘Gold Standard’ of polling: New methods outperformed traditional ones in 2020, 3Streams, https://medium.com/3streams/revisiting-the-gold-standard-of-polling-new-methods-outperformed-traditional-ones-in-2020-451650a9ba5b, March 18, 2021 (accédé mars 2023).

17.

Erikson

et Wlezien

(1999) Presidential polls as time series. The case of 1996. Public Opinion Quarterly 63(2): 163‐177.

18.

Erikson

et Wlezien

(2020) Forecasting the 2020 presidential election: Leading economic indicators, polls, and the vote. Politics Symposium January 2021: 55‐58. DOI: 10.1017/S1049096520001481.

19.

Hox

(2010) Multilevel analysis. Techniques and applications, second edition New York: Routledge.

20.

Jacoby

(2000) Loess: A nonparametric, graphical tool for depicting relationships between variables. Electoral Studies 19: 577‐613.

21.

Jennings

et Wlezien

(2018) Election polling errors across time and space. Nature Human Behaviour 2: 276‐278.

22.

Jowell

Hedges

Lynn

, et coll. (1993) The 1992 British election: The failure of the polls. Public Opinion Quarterly 57(2): 238‐263.

23.

Keeter

Kennedy

et Deane

(2020) Understanding how 2020 election polls performed and what it might mean for other survey work. Pew Research Center, November 13, 2020. Accédé avril 2022. https://www.pewresearch.org/fact-tank/2020/11/13/understanding-how-2020s-election-polls-performed-and-what-it-might-mean-for-other-kinds-of-survey-work (accédé avril 2022).

24.

Kennedy

Blumenthal

Clement

Clinton

Durand

Franklin

McGeeney

Miringoff

Olson

Rivers

Saad

et Witt

(2018) An evaluation of 2016 election polls in the United States. Public Opinion Quarterly 82(1): 1‐33.

25.

Kennedy

Blumenthal

Clement

Durand

Franklin

McGeeney

Miringoff

Olson

Rivers

Saad

et Witt

(2017) An evaluation of 2016 election polls in the US AAPOR ad hoc committee on 2016 election polling. https://www.aapor.org/Education-Resources/Reports/An-Evaluation-of-2016-Election-Polls-in-the-U-S.aspx (accédé avril 2022).

26.

Kennedy

Popky

et Keeter

(2023) How public polling has changed in the 21st century. Pew Research Center, https://www.pewresearch.org/methods/2023/04/19/how-public-polling-has-changed-in-the-21st-century/ (accédé mars 2023).

27.

Lavrakas

Pennay

Neiger

et Philipps

(2022) Comparing probability-based surveys and nonprobability online panel surveys in Australia: A total survey error perspective. Survey Research Methods 16(2): 242‐266.

28.

Legleye

Chauvet

Merly-Alpa

Soullier

et Vanheuverzwyn

(2023) Qui sont les membres des access panels ? Une analyse à partir de TIC. Document présenté lors du Colloque francophone sur les sondages, Paris, mars 2023.

29.

Lewis-Beck

(2005) Election forecasting: Principles and practice. British Journal of Politics and International Relations 7: 145‐164.

30.

Loader

(1999) Local regression and likelihood. New York: Springer.

31.

Panagopoulos

(2021) Accuracy and Bias in the 2020 US general election polls. Presidential Studies Quarterly 51(1): 214‐227.

32.

Panagopoulos

Endres

et Weinschenk

(2018) Pre-election poll accuracy and bias in the 2016 US general elections. Journal of Elections, Public Opinion and Parties 28(2): 157‐172.

33.

Pennay

Goot

Neiger

Trewin

Lavrakas

Stirton

Hughes

Sheppard

et McAllister

(2020) Report of the inquiry into the performance of the opinion polls at the 2019 australian federal election. Association of the Market and Social Research Organizations and the Statistical Society of Australia. https://www.amsro.com.au/wp-content/uploads/2020/11/Inquiry_into_the_Performance_of_the_Opinion_Polls_at_the_2019_Australian_Federal-Election-Final_report.pdf (accédé avril 2022).

34.

Pennay

Misson

Neiger

et Lavrakas

(2023) How weighting by past vote can improve estimates of voting intentions. Survey Practice, 16(1). https://doi.org/10.29115/SP-2023-0001

35.

Pickup

et Johnston

(2008) Campaign trial heats as election forecasts: Measurement error and bias in 2004 presidential campaign polls. International Journal of Forecasting 24: 272‐284.

36.

Silver

(2021) The death of polling is greatly exaggerated. Five Thirty-Eight March 25, 2021. https://fivethirtyeight.com/features/the-death-of-polling-is-greatly-exaggerated/ (accédé avril 2022).

37.

Skelley

et Rakich

(2020) What pollsters have changed since 2016 — And what still worries them about 2020, Five Thirty-Eight October 13, 2020. https://fivethirtyeight.com/features/what-pollsters-have-changed-since-2016-and-what-still-worries-them-about-2020/ (accédé avril 2022).

38.

Smalley

et Wolf

(2022) Building a framework for mode effect estimation in United States presidential election polls. Statistics, Politics and Policy 13(1): 41‐56.

39.

Snijders

TAB

et Bosker

(2012) Multilevel analysis. An introduction to basic and advanced multilevel modeling, Second edition London: Sage.

40.

Sohlberg

Gilljam

et Martinsson

(2017) Determinants of polling accuracy: The effect of opt-in internet surveys, Journal of Elections, Public Opinion and Parties 27(4): 433‐447.

41.

Stephenson L

et Crête

(2011) Studying political behavior: A comparison of internet and telephone surveys. International Journal of Public Opinion Research 23(1): 24‐55.

42.

Sturgis

Kuha

Baker

Callegaro

Fisher

Green

Jennings

Lauderdale

et Smith

(2018) An assessment of the causes of the errors in the 2015 UK general election opinion polls, Journal of the Royal Statistical Society A, Part 3: 757‐781.

43.

Wlezien

et Erikson

(2004) The fundamentals, the polls and the presidential vote. PS: Political Science and Politics: 37(4): 747–751.

44.

Zucchini

(2003) Applied smoothing techniques, Part 1: Kernel density estimation. Unpublished manuscript. Available at: http://staff.ustc.edu.cn/∼zwp/teach/Math-Stat/kernel.pdf.