← Tous les articles

Le même audit, une méthode faible : pourquoi votre façon d'échantillonner décide de ce que vous découvrez

Deux États ont mené le même type d'audit post-électoral. L'un pouvait vous dire exactement à quel point il aurait fallu se tromper pour changer le résultat. L'autre ne pouvait pas — et a quand même certifié.

Nous sommes en octobre 2021, et une équipe du Wisconsin's Legislative Audit Bureau tente de faire quelque chose qui semble simple : vérifier que l'élection de novembre 2020 s'est déroulée correctement.

Il y a un problème. L'audit n'a été approuvé que trois mois après le jour du scrutin. Au moment où les auditeurs arrivent, le moment est passé. Ils ne peuvent pas observer ce qui s'est passé. Ils peuvent seulement lire ce qui a été écrit.

Ils sondent donc 1 835 greffiers municipaux. Ils examinent 14 710 enveloppes de certificats de bulletins absents de 29 municipalités. Ils inspectent 175 tests d'équipement. Ce qu'ils découvrent n'est pas une preuve d'élection volée — mais ce n'est pas non plus un bilan sans reproche. Seulement 50,3 % des tests d'équipement requis ont été complétés dans la fenêtre statutaire de 10 jours avant l'élection. Vingt-quatre personnes semblaient avoir deux inscriptions électorales actives. Quatre d'entre elles ont peut-être voté deux fois. Le rapport fait 30 recommandations et soulève 18 problèmes pour la législature. Sobre, prudent, spécifique.

Et puis vient la ligne qui importe le plus pour ce billet : comme l'audit n'a été approuvé que trois mois après l'élection, les auditeurs n'ont pas directement observé le jour du scrutin et se sont fiés aux preuves disponibles.

Un audit vieux de trois mois ne peut pas observer ce qui s'est passé à 2 h du matin quand les bulletins étaient transportés. Il ne peut pas voir quel scanner a lu quel bulletin. Il ne peut que demander aux gens ce dont ils se souviennent et vérifier si la paperasserie correspond.

Ce n'est pas un audit du dépouillement. C'est un audit des dossiers du dépouillement. Et ce sont deux choses très différentes.

Ce qu'un audit est vraiment censé faire

Voici la question que chaque audit post-électoral doit répondre : combien du résultat annoncé puis-je réfuter si les machines se trompaient?

Cette question semble abstraite. Rendez-la physique. Imaginez une pile de bulletins papier — disons, 15 000 d'entre eux, assis dans des sacs scellés dans un entrepôt. Le scanner a dit que le candidat A a remporté 400 voix. Vous voulez savoir si c'est correct.

Vous avez deux choix.

Choix un : prélever un pourcentage fixe de la pile — disons, 5 %, 750 bulletins — et les compter à la main. S'ils correspondent à peu près au dépouillement machine, déclarez succès.

Choix deux : calculer, mathématiquement, combien de bulletins vous devez examiner à la main pour avoir une probabilité statistique définie de détecter un résultat erroné, compte tenu de la marge annoncée. Si la course a été décidée par 400 voix sur 15 000, ce nombre pourrait être la quasi-totalité. Si elle a été décidée par 5 000 voix, ce nombre pourrait être minuscule.

La première approche vous dit que votre échantillon correspondait. Elle ne vous dit rien sur le fait que les échantillons que vous n'aviez pas prélevés auraient correspondu — ou sur le fait qu'une erreur systématique qui décale les votes de 1 ou 2 % par précinct (assez petite pour rester dans le bruit de votre échantillon) aurait pu changer le vainqueur.

La deuxième approche — un audit limitant les risques, ou ALR — est construite autour d'une affirmation testable : je suis certain à X % que le vainqueur annoncé a réellement gagné. Le niveau de confiance n'est pas affirmé. Il est dérivé de la taille de l'échantillon par rapport à la marge. Un ALR tire son autorité d'une garantie mathématique, non de la parole d'un fonctionnaire.

Cette différence — entre une cérémonie et un test statistique — est ce dont traite ce billet.

La réponse du Colorado

En novembre 2017, le Colorado est devenu le premier État américain à réaliser un audit limitant les risques au niveau de l'État. Le Secrétaire d'État l'a annoncé le 22 novembre. Le Colorado a commencé avec une limite de risque de 9 % — ce qui signifie que l'audit était conçu pour avoir au maximum 9 % de chance d'échouer à détecter un résultat erroné — et a ensuite resserré cela à 3 %.

Que signifie « limite de risque de 9 % » en langage clair ? Cela signifie : si le vainqueur annoncé a réellement perdu, cet audit a au moins 91 % de chance de détecter l'erreur et de déclencher un dépouillement complet. Ce n'est pas une promesse que la fraude est impossible. C'est un plancher mathématiquement défini sur ce que l'audit peut réellement détecter.

Surtout, un ALR adapte la taille de l'échantillon à la marge. Une course écrasante avec une marge de 30 points a besoin de presque pas de vérification manuelle supplémentaire ; l'auditeur s'arrête tôt parce que les maths disent que la preuve est déjà suffisamment solide. Une course décidée par 200 voix sur 100 000 bulletins pourrait exiger de compter manuellement la plupart de la pile.

Ce n'est pas une complication. C'est tout le point. Les courses serrées — celles où la question de qui a réellement gagné importe le plus — obtiennent le plus d'examen. Les courses unilatérales ne consomment pas les ressources dont elles n'ont pas besoin.

La FAQ du Secrétaire d'État du Colorado rend l'architecture visible à quiconque souhaite la lire. La limite de risque est un nombre public. La taille de l'échantillon en est dérivée. Le processus d'échantillonnage utilise des graines aléatoires générées cryptographiquement que quiconque peut vérifier indépendamment. Chaque étape de la logique est publiée et vérifiable.

Ce n'est pas une relation de confiance. C'est une preuve.

La réponse de la Géorgie, et l'écart caché à l'intérieur

Maintenant, allez vers l'est. En novembre 2020, la Géorgie a effectué quelque chose officiellement appelé un « audit limitant les risques » de la course présidentielle. Parce que la marge était étroite, elle a dû escalader — par la loi — en un dépouillement manuel complet à la main de tous les quelque 5 millions de bulletins. Le dépouillement manuel a confirmé le résultat machine à environ un dixième de pour cent près.

C'est une entreprise énorme. 159 comtés. 41 881 lots. Moins de six jours. Et la conclusion : les machines avaient raison.

Arrêtez-vous là.

Voici la question que vous devriez vous poser : qu'était-on réellement en train d'auditer?

En Géorgie en 2020, les votes ont été émis sur des appareils de marquage de bulletins Dominion (AMB). L'électeur touche un écran. La machine imprime un bulletin papier. Ce bulletin papier contient du texte lisible par l'homme — les choix du votant en langage clair — et un code QR. Le code QR est ce que le tabulateur lit et compte réellement.

Dans Curling v. Raffensperger, la Cour du district des États-Unis pour le district nord de la Géorgie a examiné le témoignage d'experts du Dr J. Alex Halderman et d'autres. La cour a conclu que le système « ne fournit pas un dossier de bulletin vérifiable et auditable car il repose sur le code QR pour le dépouillement des votes et ce code lui-même ne peut pas être lu et vérifié par l'électeur. »

Relisez cela lentement. L'électeur ne peut pas lire le code-barres. Le tabulateur lit le code-barres. Le dépouillement manuel de 2020 a compté le papier imprimé par la machine — qui inclut le texte lisible par l'homme. Mais la question est de savoir si ce texte représente fidèlement ce que le code-barres encode. Un électeur qui a émis son bulletin sur une machine fonctionnant correctement, ou une avec un logiciel malveillant qui a modifié le code QR tout en gardant le texte humain correct, produirait un bulletin qui semble correct dans un recount manuel — parce que les compteurs manuels lisent les mots, pas le code.

Un recount manuel de bulletins imprimés par machine audite la production de la machine. Il n'audite pas l'intention de la machine.

Ce n'est pas une préoccupation théorique. La cour a cité directement la conclusion des Académies nationales de 2018 : « aucun mécanisme technique n'existe actuellement pour assurer qu'une application de dépouillement des votes produit des résultats exacts et impartiaux. » Les tests seuls, l'Académie l'a découvert, ne peuvent pas assurer qu'un système n'a pas été compromis.

Rien de tout cela ne signifie que les votes ont été changés en Géorgie en 2020. La preuve ne dit pas cela. Ce qu'elle dit est quelque chose de plus étroit et plus difficile : la méthode d'audit utilisée ne peut pas distinguer entre une machine correcte et une compromise, car les deux produisent du papier qui se lit de la même manière pour un compteur humain.

Ce n'est pas un audit. C'est un recount de la production papier imprimée de la machine.

Le problème irréductible des dépouillements manuels

Voici où ça devient vraiment inconfortable — parce que le dépouillement manuel est généralement présenté comme l'étalon-or, la chose qui règle la question.

Retournez au comté d'Antrim, Michigan. Après que le comté ait publié des résultats largement erronés en novembre 2020 (détectés parce qu'ils étaient invraisemblables, pas parce que le système les a signalés), chaque bulletin présidentiel a été compté à la main le 17 décembre. Dépouillement manuel final : 9 759 pour Trump, 5 959 pour Biden. Le dépouillement machine s'en écartait de environ une douzaine de voix sur environ 15 700 émises.

Douze voix. Dans un comté où le résultat n'était pas serré, ces douze voix ne signifiaient rien.

Mais escaladez l'expérience de pensée. Imaginez une course au niveau de l'État décidée par huit voix. Le dépouillement manuel est « décalé d'une douzaine ». Quel dépouillement croyez-vous ? Celui de la machine ? Les compteurs humains ? Un re-recount qui pourrait dériver d'une autre poignée ?

L'audit médico-légal de Windham, New Hampshire en 2021 a illustré cela précisément. Une enquête médico-légale ordonnée par l'État a révélé que les plis de crease sur les bulletins absents — causés par une machine à plier louée qui ne pliait pas le long des lignes de score imprimées — étaient lus comme des ovales marqués par les scanners AccuVote. Pas de malware. Pas de falsification. Pas de fraude. Juste une coïncidence mécanique entre un pli et un ovale. Les auditeurs ont estimé que environ 44 % des plis à travers les cibles de vote ont été comptés comme des votes.

Le dépouillement manuel, dans ce cas, aurait pu récupérer l'intention de l'électeur. Mais le dépouillement manuel lui-même porte une forme d'erreur différente : erreurs de comptage humain, marques ambiguës, appels d'adjudication où deux compteurs ne sont pas d'accord pour savoir si une marque au stylo errant est un vote. Même le dépouillement manuel le plus rigoureux est un processus humain appliqué à des objets physiques, et les processus humains ont des taux d'erreur.

« Un dépouillement manuel l'a confirmé » est une assurance. Dans une course décidée par une poignée de voix, une méthode qui est elle-même décalée d'une poignée de voix ne peut pas régler la question.

Le véritable argument pour un audit limitant les risques — un correctement implémenté, avec du papier marqué par le votant et un échantillonnage vérifiable cryptographiquement — n'est pas qu'il élimine l'erreur humaine. C'est que la structure mathématique vous dit combien d'erreur elle peut tolérer avant que le mauvais vainqueur ne s'infiltre. La limite d'erreur est publiée. Vous pouvez vérifier qu'elle couvre la marge.

C'est ce qui distingue la conception du Colorado de celle de la Géorgie. L'ALR du Colorado vous dit : voici la limite de risque, voici la taille d'échantillon qu'elle implique, voici la graine aléatoire qui a généré l'échantillon, voici ce que nous avons trouvé. Le dépouillement manuel de la Géorgie vous dit : nous les avons comptés et ils correspondaient. Le premier est une preuve. Le second est une affirmation.

L'écart du Wisconsin, revisité

Revenez au Wisconsin. L'audit d'octobre 2021 a constaté que seulement 50,3 % des tests d'équipement ont été complétés dans la fenêtre statutaire de 10 jours. Il a trouvé 1 022 certificats absents — 6,9 % — avec des adresses de témoins partielles, une exigence légale qui affecte la validité du bulletin. Il a trouvé quatre personnes qui ont peut-être voté deux fois.

Ce sont des conclusions spécifiques et documentées. Elles sont précieuses précisément parce qu'elles sont vérifiables : un nombre, une méthodologie, une population, un résultat. Le rapport fait 30 recommandations parce qu'il y a 30 choses qui pourraient être mieux.

Mais voici ce que l'audit ne peut pas vous dire : si l'un de ces problèmes a changé n'importe quel résultat de contest. Parce qu'il n'a pas été approuvé avant trois mois après l'élection. Parce qu'il s'est appuyé sur les preuves disponibles. Parce que l'élection avait déjà été certifiée.

Un audit qui ne peut pas changer le résultat est une cérémonie.

L'audit du Wisconsin n'est pas une cérémonie — il a une véritable valeur procédurale et ses conclusions importent pour les élections futures. Mais il est structurellement limité d'une manière que celui du Colorado ne l'est pas. L'ALR du Colorado s'exécute en même temps que la chronologie de certification, avec assez de temps pour déclencher un dépouillement manuel complet si l'échantillon échoue au test statistique. L'audit du Wisconsin est arrivé après que le train ait quitté la gare.

Le timing n'est pas accessoire. Il reflète un choix sur ce pour quoi l'audit est destiné. S'il est destiné à la responsabilité publique — pour donner à n'importe quel citoyen, pas seulement à un initié, la capacité de vérifier si le vainqueur annoncé a réellement gagné — alors il doit être intégré dans le processus, pas ajouté après coup. Et il doit être construit sur une méthode dont les bornes d'erreur sont plus petites que la marge qu'il est censé protéger.

Ce que « n'importe qui peut vérifier » exige vraiment

La Cour constitutionnelle fédérale allemande l'a exprimé le plus clairement. Dans son jugement de mars 2009, la Cour a statué que les étapes essentielles du vote et du dépouillement « peuvent être examinées par le citoyen de manière fiable et sans aucune connaissance spécialisée. » Pas par un expert. Pas par un auditeur avec une habilitation de sécurité. Par le citoyen.

C'est une exigence de conception, pas un poncif.

Qu'est-ce qu'il faudrait pour la satisfaire ? Trois choses, travaillant ensemble :

Premièrement, du papier marqué par le votant. Pas des bulletins imprimés par machine avec des codes QR illisibles — des bulletins où la main du votant marque le choix qui est compté. C'est le seul enregistrement qui est simultanément l'intention du votant et l'artefact auditable.

Deuxièmement, un audit limitant les risques avec une limite de risque publiée et vérifiable. Un contrôle spot à pourcentage fixe ne vous dit rien sur combien d'erreur il peut rater. Un ALR vous dit exactement ce qu'il peut et ne peut pas détecter, en termes mathématiques, compte tenu de la marge et de la taille de l'échantillon.

Troisièmement, un échantillonnage vérifiable cryptographiquement. La graine aléatoire du Colorado est publique. Quiconque peut reproduire le processus d'échantillonnage et confirmer que les mêmes bulletins auraient été prélevés. Ce n'est pas un petit détail — c'est ce qui empêche l'échantillon d'être subtilement penché vers les precincts dont on sait qu'ils sont propres.

Aucun de ces éléments individuellement ne suffit. Un bulletin marqué par le votant avec un audit à pourcentage fixe et un processus d'échantillonnage opaque peut quand même rater les erreurs systématiques. Un ALR construit sur des bulletins AMB imprimés par machine audite la production de la machine, pas l'intention du votant, comme Curling le précise. Et un échantillon vérifiable cryptographiquement ne signifie rien si la population qu'il échantillonne a un problème de code-barres indétectable.

Les trois doivent fonctionner ensemble. Et en ce moment, dans la plupart des juridictions américaines, ce n'est pas le cas.

Le message clé

Le même mot — « audit » — couvre un spectre allant d'une preuve statistique à un examen de dossiers vieux de trois mois. Le public mérite de savoir quel genre il a obtenu.

Un Secrétaire d'État qui dit « l'audit a confirmé le résultat » fait une affirmation, ne présente pas une preuve. La bonne question à poser est : quelle est la limite de risque ? Quelle était la taille de l'échantillon ? Le papier était-il marqué par le votant ou imprimé par machine ? La graine d'échantillonnage était-elle publique ? L'audit a-t-il été complété avant la certification, avec assez de temps pour déclencher un dépouillement complet s'il échouait ?

Si ces questions n'ont pas de réponses publiées et vérifiables, ce que vous avez est une assurance — et toute l'histoire des élections, de Windham au Wisconsin aux corridors de la Cour constitutionnelle allemande, vous dit que les assurances sont exactement ce qui échoue quand cela importe le plus.

L'écart que nous documentons à /gaps/weak-audit-method n'est pas théorique. C'est l'écart entre ce que le mot « audit » promet et ce qu'une méthode d'audit spécifique peut réellement livrer. Le fermer exige non pas de meilleurs fonctionnaires — cela exige un système dont les maths n'importe qui peut exécuter, dont le papier n'importe qui peut lire, et dont les résultats n'importe qui peut vérifier sans qu'on lui dise de faire confiance d'abord.

Voir à quel point cet écart est courant dans le monde →

Lire la version de 2 minutes de l'écart de méthode d'audit faible →

Sources

Voir tous les articlesExplorer les lacunes