← Todos os artigos

A mesma auditoria, método fraco: porque a forma como se faz a amostragem decide o que se encontra

Dois estados realizaram o mesmo tipo de auditoria pós-eleitoral. Um conseguia dizer-lhe exatamente o quão errado teria de ser para mudar o resultado. O outro não conseguia — e ainda assim certificou.

É outubro de 2021, e uma equipa do Bureau de Auditoria Legislativa de Wisconsin está a tentar fazer algo que parece simples: verificar se a eleição de novembro de 2020 foi conduzida corretamente.

Há um problema. A auditoria não foi aprovada até três meses depois do Dia da Eleição. Quando os auditores chegam, o momento já passou. Não conseguem observar o que aconteceu. Podem apenas ler o que foi escrito.

Assim, entrevistam 1.835 funcionários municipais. Analisam 14.710 envelopes de certificados de cédulas ausentes de 29 municípios. Examinam 175 testes de equipamento. O que encontram não é prova de uma eleição roubada — mas também não é um atestado limpo. Apenas 50,3% dos testes de equipamento exigidos foram completados dentro da janela estatutária de 10 dias antes da eleição. Vinte e quatro indivíduos pareciam ter dois registos de eleitor ativos. Quatro deles podem ter votado duas vezes. O relatório faz 30 recomendações e levanta 18 questões para a legislatura. Sofrido, cuidadoso, específico.

E depois vem a frase que mais importa para este artigo: porque a auditoria não foi aprovada até três meses depois da eleição, os auditores não observaram diretamente o Dia da Eleição e confiaram nas provas disponíveis.

Uma auditoria com três meses de atraso não consegue ver o que aconteceu às 2 da manhã quando os boletins estavam a ser transportados. Não consegue ver qual scanner leu qual boletim. Pode apenas perguntar às pessoas o que se lembram e verificar se a documentação corresponde.

Isso não é uma auditoria da contagem. Isso é uma auditoria dos registos da contagem. E essas são coisas muito diferentes.

O que uma auditoria é realmente suposto fazer

Eis a pergunta que toda a auditoria pós-eleitoral tem de responder: quanto do resultado anunciado posso refutar se as máquinas estivessem erradas?

Essa pergunta soa abstrata. Torne-a concreta. Imagine uma pilha de cédulas de papel — digamos, 15.000 delas, sentadas em sacos selados num armazém. O scanner disse que o Candidato A venceu por 400 votos. Pretende saber se isso está correto.

Tem duas opções.

Opção um: retire uma percentagem fixa da pilha — digamos, 5%, 750 cédulas — e conte-as à mão. Se corresponderem aproximadamente à contagem da máquina, declare sucesso.

Opção dois: calcule, matematicamente, quantas cédulas precisa examinar manualmente para ter uma probabilidade estatística definida de apanhar um resultado errado, dada a margem anunciada. Se a corrida foi decidida por 400 votos em 15.000, esse número pode ser quase todas. Se foi decidida por 5.000 votos, esse número pode ser minúsculo.

A primeira abordagem diz-lhe que a sua amostra correspondia. Não lhe diz nada sobre se as amostras que não retirou teriam correspondido — ou se um erro sistemático que desvia votos por 1 ou 2% por círculo (pequeno o suficiente para se manter dentro do ruído da sua amostra) poderia ter mudado o vencedor.

A segunda abordagem — uma auditoria com limitação de risco, ou RLA — é construída em torno de uma afirmação testável: tenho X% de confiança de que o vencedor anunciado realmente venceu. O nível de confiança não é afirmado. É derivado do tamanho da amostra em relação à margem. Uma RLA retira a sua autoridade de uma garantia matemática, não da palavra de um funcionário.

Essa diferença — entre uma cerimónia e um teste estatístico — é do que este artigo trata.

A resposta do Colorado

Em novembro de 2017, o Colorado tornou-se o primeiro estado dos EUA a completar uma auditoria com limitação de risco em todo o estado. O Secretário de Estado anunciou-o em 22 de novembro. O Colorado começou com um limite de risco de 9% — o que significa que a auditoria foi projetada para ter no máximo 9% de chance de falhar ao apanhar um resultado errado — e posteriormente apertou isso para 3%.

O que significa "limite de risco de 9%" em linguagem clara? Significa: se o vencedor anunciado realmente perdeu, esta auditoria tem pelo menos 91% de chance de apanhar o erro e desencadear uma contagem completa. Isso não é uma promessa de que a fraude é impossível. É um piso definido matematicamente no que a auditoria pode realmente detetar.

Crucialmente, uma RLA dimensiona a amostra à margem. Uma corrida arrebatadora com uma margem de 30 pontos precisa de quase nenhuma verificação manual adicional; o auditor para mais cedo porque a matemática diz que as provas já são fortes o suficiente. Uma corrida decidida por 200 votos em 100.000 boletins pode exigir a contagem manual da maior parte das cédulas.

Isso não é uma complicação. É o ponto principal. Corridas próximas — as que o a questão de quem realmente venceu importa mais — recebem o máximo de escrutínio. Corridas desiguais não consomem recursos que não precisam.

O FAQ do Secretário de Estado do Colorado torna a arquitetura visível para qualquer pessoa que queira lê-lo. O limite de risco é um número público. O tamanho da amostra é derivado dele. O processo de amostragem utiliza sementes aleatórias geradas criptograficamente que qualquer pessoa pode verificar independentemente. Cada passo da lógica é publicado e verificável.

Isso não é uma relação de confiança. Isso é uma prova.

A resposta da Geórgia, e a lacuna escondida nela

Agora vá para leste. Em novembro de 2020, a Geórgia realizou algo oficialmente chamado de "auditoria com limitação de risco" da corrida presidencial. Porque a margem era estreita, escalou — por lei — para uma contagem manual completa de todos os aproximadamente 5 milhões de boletins. A contagem manual confirmou o resultado da máquina dentro de cerca de um décimo de um por cento.

Esse é um empreendimento enorme. 159 condados. 41.881 lotes. Menos de seis dias. E a conclusão: as máquinas estavam certas.

Pare aí.

Eis a pergunta que deveria fazer: o que é que estava realmente a ser auditado?

Na Geórgia em 2020, os votos foram dados em máquinas de marcação de cédula Dominion (BMDs). O eleitor toca num ecrã. A máquina imprime uma cédula de papel. Essa cédula de papel contém texto legível pelo ser humano — as escolhas do eleitor em linguagem clara — e um código QR. O código QR é o que o tabulador realmente lê e conta.

Em Curling v. Raffensperger, o Tribunal Distrital dos EUA para o Distrito Norte da Geórgia analisou o depoimento pericial do Dr. J. Alex Halderman e outros. O tribunal constatou que o sistema "não fornece um registo de cédula verificável e auditável porque depende do código QR para tabulação de votos e esse código em si não pode ser lido e verificado pelo eleitor."

Leia isso novamente lentamente. O eleitor não consegue ler o código de barras. O tabulador lê o código de barras. A contagem manual em 2020 contou o papel impresso pela máquina — que inclui o texto legível pelo ser humano. Mas a pergunta é se esse texto representa fielmente o que o código de barras codifica. Uma eleitora que votou numa máquina que funcionava corretamente, ou numa com software malicioso que alterou o código QR enquanto mantinha o texto humano correto, produziria uma cédula que parece certa numa contagem manual — porque os contadores estão a ler as palavras, não o código.

Uma recontagem manual de cédulas impressas pela máquina audita o resultado da máquina. Não audita a intenção da máquina.

Isso não é uma preocupação teórica. O tribunal citou a conclusão de 2018 da National Academies diretamente: "nenhum mecanismo técnico existe atualmente para garantir que uma aplicação de contagem de votos produz resultados precisos e imparciais." O teste sozinho, descobriu a Academia, não consegue garantir que um sistema não foi comprometido.

Nenhum disso significa que os votos foram alterados na Geórgia em 2020. As provas não dizem isso. O que dizem é algo mais restrito e mais difícil: o método de auditoria utilizado não consegue distinguir entre uma máquina correta e uma comprometida, porque ambas produzem papel que se lê da mesma forma para um contador humano.

Isso não é uma auditoria. Isso é uma recontagem do resultado impresso da máquina.

O problema irredutível com as contagens manuais

Aqui é onde fica genuinamente desconfortável — porque a contagem manual é geralmente apresentada como o padrão ouro, a coisa que o resolve.

Volte ao Condado de Antrim, Michigan. Depois de o condado ter publicado resultados selvagemente errados em novembro de 2020 (apanhados porque eram implausíveis, não porque o sistema os assinalou), cada cédula presidencial foi contada manualmente em 17 de dezembro. Contagem manual final: 9.759 para Trump, 5.959 para Biden. A tabulação da máquina diferiu desse valor por cerca de uma dúzia de votos em aproximadamente 15.700 dados.

Doze votos. Num condado onde o resultado não foi próximo, esses doze votos não significaram nada.

Mas dimensione o experimento de pensamento. Imagine uma corrida estadual decidida por oito votos. A contagem manual é "desviada por uma dúzia". Em qual contagem confia? Na da máquina? Nos contadores humanos? Numa recontagem que pode divergir por mais alguns votos?

A auditoria forense de Windham, New Hampshire em 2021 ilustrou isto precisamente. Uma investigação forense ordenada pelo estado descobriu que os vincos de dobra nas cédulas ausentes — causados por uma máquina de dobra alugada que não dobrava ao longo das linhas de pontuação impressas — estavam a ser lidos como óvalos marcados pelos scanners AccuVote. Sem malware. Sem manipulação. Sem fraude. Apenas uma coincidência mecânica entre um vinco e um óvalo. Os auditores estimaram que aproximadamente 44% das dobras através de alvos de votação foram contadas como votos.

A contagem manual, nesse caso, poderia recuperar a intenção do eleitor. Mas a contagem manual em si carrega uma forma diferente de erro: contagens humanas incorretas, marcas ambíguas, decisões de adjudicação onde dois contadores discordam se uma marca de caneta perdida é um voto. Mesmo a tabulação manual mais rigorosa é um processo humano aplicado a objetos físicos, e os processos humanos têm taxas de erro.

"Uma contagem manual confirmou-o" é uma segurança. Numa corrida decidida por um punhado de votos, um método que é em si próprio desviado por um punhado de votos não consegue resolver a questão.

O argumento real para uma auditoria com limitação de risco — uma corretamente implementada, com papel marcado pelo eleitor e amostragem criptograficamente verificável — não é que elimina erros humanos. É que a estrutura matemática diz-lhe quanto erro consegue tolerar antes do vencedor errado passar despercebido. O limite de erro é publicado. Consegue verificar se cobre a margem.

Isso é o que distingue o design do Colorado do da Geórgia. A RLA do Colorado diz-lhe: aqui está o limite de risco, aqui está o tamanho da amostra que implica, aqui está a seminte aleatória que gerou a amostra, aqui está o que encontrámos. A contagem manual da Geórgia diz-lhe: contámo-los e correspondiam. O primeiro é uma prova. O segundo é uma afirmação.

A lacuna de Wisconsin, revisitada

Regressar a Wisconsin. A auditoria de outubro de 2021 descobriu que apenas 50,3% dos testes de equipamento foram completados dentro da janela estatutária de 10 dias. Descobriu 1.022 certificados ausentes — 6,9% — com endereços de testemunhas parciais, um requisito legal que afeta a validade do boletim. Descobriu quatro indivíduos que podem ter votado duas vezes.

Estes são descobrimentos específicos e documentados. São valiosos precisamente porque são verificáveis: um número, uma metodologia, uma população, um resultado. O relatório faz 30 recomendações porque há 30 coisas que poderiam ser melhores.

Mas aqui está o que a auditoria não consegue dizer-lhe: se qualquer uma dessas questões mudou algum resultado de concurso. Porque não foi aprovada até três meses depois da eleição. Porque confiou nas provas disponíveis. Porque a eleição já tinha sido certificada.

Uma auditoria que não consegue mudar o resultado é uma cerimónia.

A auditoria de Wisconsin não é uma cerimónia — tem valor processual real e suas descobertas importam para futuras eleições. Mas é estruturalmente limitada de uma forma que a do Colorado não é. A RLA do Colorado funciona ao lado da linha de tempo de certificação, com tempo suficiente para desencadear uma contagem manual completa se a amostra falhar o teste estatístico. A auditoria de Wisconsin chegou depois do comboio ter saído da estação.

O tempo não é incidental. Reflete uma escolha sobre o que a auditoria é para. Se é para responsabilidade pública — para dar a qualquer cidadão, não apenas a um funcionário, a capacidade de verificar se o vencedor anunciado realmente venceu — então tem de ser incorporada no processo, não aparafusada depois. E tem de ser construída sobre um método cujos limites de erro sejam menores do que a margem que se destinam a proteger.

O que "qualquer um consegue verificar" realmente exige

O Tribunal Constitucional Federal Alemão colocou-o mais claramente. Na sua decisão de março de 2009, o Tribunal decidiu que as etapas essenciais de votação e contagem "podem ser examinadas pelo cidadão de forma fiável e sem necessidade de conhecimento especializado." Não por um especialista. Não por um auditor com autorização de segurança. Pelo cidadão.

Isso é um requisito de design, não um truísmo.

O que levaria a satisfazê-lo? Três coisas, funcionando juntas:

Primeiro, papel marcado pelo eleitor. Não cédulas impressas pela máquina com códigos QR ilegíveis — cédulas onde a mão do eleitor marca a escolha que é contada. Este é o único registo que é simultaneamente a intenção do eleitor e o artefato auditável.

Segundo, uma auditoria com limitação de risco com um limite de risco publicado e verificável. Uma verificação de amostra de percentagem fixa não diz nada sobre quanto erro pode não ver. Uma RLA diz-lhe exatamente o que consegue e não consegue apanhar, em termos matemáticos, dada a margem e o tamanho da amostra.

Terceiro, amostragem criptograficamente verificável. A seminte aleatória do Colorado é pública. Qualquer pessoa consegue reproduzir o processo de amostragem e confirmar que os mesmos boletins teriam sido retirados. Isso não é um pequeno detalhe — é o que impede que a amostra seja silenciosamente inclinada para círculos que se sabe serem limpos.

Nenhum destes individualmente é suficiente. Um boletim marcado pelo eleitor com uma auditoria de amostra de percentagem fixa e um processo de amostragem opaco ainda consegue perder erros sistemáticos. Uma RLA construída sobre cédulas BMD impressas pela máquina está a auditar o resultado da máquina, não a intenção do eleitor, como Curling deixa claro. E uma amostra criptograficamente verificável não significa nada se a população que amostra tem um problema de código de barras indetectável.

Os três têm de funcionar juntos. E agora, na maioria das jurisdições dos EUA, não funcionam.

O resumo

A mesma palavra — "auditoria" — cobre um espetro desde uma prova estatística até uma revisão de registos com três meses de atraso. O público merece saber qual tipo recebeu.

Um Secretário de Estado que diz "a auditoria confirmou o resultado" está a fazer uma afirmação, não a apresentar uma prova. A pergunta certa a fazer é: qual é o limite de risco? Qual foi o tamanho da amostra? O papel foi marcado pelo eleitor ou impresso pela máquina? A seminte de amostragem foi pública? A auditoria foi completada antes da certificação, com tempo suficiente para desencadear uma contagem completa se tivesse falhado?

Se essas perguntas não têm respostas publicadas e verificáveis, o que tem é uma segurança — e toda a história das eleições, de Windham a Wisconsin aos corredores da Corte Constitucional Alemã, diz-lhe que segurança é exatamente o que falha quando importa mais.

A lacuna que documentamos em /gaps/weak-audit-method não é teórica. É a lacuna entre o que a palavra "auditoria" promete e o que um método de auditoria específico consegue realmente fornecer. Fechá-la não exige funcionários melhores — exige um sistema cuja matemática qualquer pessoa consegua executar, cujo papel qualquer pessoa consegua ler, e cujos resultados qualquer pessoa consegua verificar sem ser dito para confiar primeiro.

Veja como esta lacuna é comum em todo o mundo →

Leia a versão de 2 minutos da lacuna de método de auditoria fraco →

Fontes

Ver todos os artigosExplorar as lacunas