← Все статьи

Один аудит, слабый метод: почему способ выборки определяет, что вы найдёте

Два штата провели одинаковый вид послевыборочного аудита. Один мог точно сказать, насколько ошибочным должен быть результат, чтобы изменить исход. Другой не смог — но всё равно сертифицировал результаты.

Октябрь 2021 года. Команда Бюро законодательного аудита штата Висконсин пытается сделать то, что звучит просто: проверить, был ли правильно проведён ноябрьский выбор 2020 года.

Есть проблема. Аудит был одобрен только три месяца спустя после дня выборов. К тому времени, когда прибывают аудиторы, момент прошёл. Они не могут наблюдать, что произошло. Они могут только прочитать, что было записано.

Поэтому они проводят опрос среди 1835 муниципальных клерков. Они проверяют 14710 конвертов справок об отсутствующих избирателях из 29 муниципалитетов. Они изучают 175 тестов оборудования. То, что они находят, — это не доказательство украденных выборов, но это также не чистый лист здоровья. Только 50,3 процента необходимых тестов оборудования были завершены в установленном законом 10-дневном окне перед выборами. У двадцати четырёх человек, похоже, было две активные регистрации избирателя. Четверо из них, возможно, голосовали дважды. В докладе содержится 30 рекомендаций и 18 вопросов для законодательной ассамблеи. Серьёзно, осторожно, конкретно.

А потом идёт строка, которая имеет наибольшее значение для этой статьи: поскольку аудит не был одобрен до истечения трёх месяцев после выборов, аудиторы не наблюдали непосредственно в день выборов и опирались на доступные доказательства.

Трёхмесячный аудит не может видеть, что происходило в 2 часа ночи, когда перевозились бюллетени. Он не может увидеть, какой сканер прочитал какой бюллетень. Он может только спросить людей, что они помнят, и проверить, соответствует ли документация.

Это не аудит подсчёта. Это аудит документов подсчёта. И это совсем разные вещи.

Для чего аудит действительно нужен

Вот вопрос, на который должен ответить каждый послевыборочный аудит: сколько объявленного результата я смогу опровергнуть, если машины ошиблись?

Этот вопрос звучит абстрактно. Сделаем его физическим. Представьте стопку бумажных бюллетеней — скажем, 15 тысяч штук, лежащих в запечатанных мешках на складе. Сканер сказал, что кандидат А победил с перевесом в 400 голосов. Вы хотите знать, правда ли это.

У вас есть два варианта.

Вариант первый: вытащить фиксированный процент стопки — скажем, 5 процентов, 750 бюллетеней — и подсчитать их вручную. Если они примерно совпадают с машинным подсчётом, объявить об успехе.

Вариант второй: вычислить математически, сколько бюллетеней нужно вручную проверить, чтобы получить определённую статистическую вероятность обнаружения неправильного результата, учитывая объявленный перевес. Если гонка решена 400 голосами из 15 тысяч, это число может быть почти всем. Если решена 5 тысячами голосов, это число может быть малым.

Первый подход говорит вам, что ваша выборка совпала. Он не говорит вам ничего о том, совпадали бы выборки, которые вы не вытащили — или мог ли бы систематический сбой, который сдвигает голоса на 1 или 2 процента на избирательный участок (достаточно малый, чтобы остаться внутри шума вашей выборки), изменить победителя.

Второй подход — аудит, ограничивающий риск, или RLA — построен вокруг проверяемого утверждения: я уверен на X процентов, что объявленный победитель действительно выиграл. Уровень уверенности не утверждается. Он выводится из размера выборки относительно перевеса. RLA черпает свой авторитет из математического гарантия, а не из слова официального лица.

Именно эта разница — между церемонией и статистическим тестом — является предметом этой статьи.

Ответ Колорадо

В ноябре 2017 года Колорадо стал первым штатом США, завершившим общегосударственный аудит, ограничивающий риск. Государственный секретарь объявил об этом 22 ноября. Колорадо начал с 9 процентного ограничения риска — что означает, что аудит был разработан, чтобы иметь максимум 9 процентов шанса не обнаружить неправильный результат — и позже ужесточил это до 3 процентов.

Что означает «9 процентное ограничение риска» в простом языке? Это означает: если объявленный победитель действительно проиграл, этот аудит имеет по крайней мере 91 процент шанса обнаружить ошибку и спровоцировать полный пересчёт. Это не обещание, что мошенничество невозможно. Это математически определённый минимум того, что аудит действительно может обнаружить.

Важно, что RLA определяет размер выборки в зависимости от перевеса. Решающая гонка с 30-процентным перевесом требует почти никакой дополнительной проверки вручную; аудитор останавливается рано, потому что математика говорит, что доказательства уже достаточно сильны. Гонка, решённая 200 голосами из 100 тысяч отданных голосов, может потребовать подсчитать вручную большую часть стопки.

Это не осложнение. Это вся суть. Близкие гонки — те, где вопрос о том, кто действительно выиграл, имеет наибольшее значение — получают наибольшее внимание. Односторонние гонки не потребляют ресурсы, которые им не нужны.

Часто задаваемые вопросы государственного секретаря Колорадо делают архитектуру видимой для каждого, кто хочет её прочитать. Ограничение риска — это публичное число. Размер выборки выводится из него. Процесс выборки использует криптографически сгенерированные случайные числа, которые любой может проверить независимо. Каждый шаг логики опубликован и проверяем.

Это не отношение доверия. Это доказательство.

Ответ Грузии и разрыв, скрытый в нём

Теперь пойдите на восток. В ноябре 2020 года Грузия провела официально называемый «аудит, ограничивающий риск», президентской гонки. Из-за узкого перевеса он эскалировал — по закону — в полный ручной пересчёт всех примерно 5 миллионов бюллетеней. Ручной пересчёт подтвердил результат машины с точностью до примерно одной десятой процента.

Это огромное предприятие. 159 округов. 41881 партия. Менее шести дней. И вывод: машины были правы.

Остановитесь там.

Вот вопрос, который вы должны задать: что действительно проверялось?

В Грузии в 2020 году голоса подавались на устройства для маркировки бюллетеней Dominion (BMD). Избиратель касается экрана. Машина печатает бумажный бюллетень. Этот бумажный бюллетень содержит читаемый человеком текст — выбор избирателя простым языком — и QR-код. Именно QR-код читает и подсчитывает табулятор.

В Curling v. Raffensperger Окружной суд США для Северного района Грузии рассмотрел экспертные показания доктора J. Alex Halderman и других. Суд пришёл к выводу, что система «не обеспечивает поддающиеся проверке и проверяемые записи о бюллетенях, поскольку она полагается на QR-код для подсчёта голосов, и сам этот код не может быть прочитан и проверен избирателем».

Прочитайте это снова медленно. Избиратель не может прочитать штрих-код. Табулятор читает штрих-код. Ручной пересчёт в 2020 году подсчитал бумагу, отпечатанную машиной — которая включает читаемый человеком текст. Но вопрос в том, верно ли этот текст отражает то, что кодирует штрих-код. Избиратель, которая голосовала на правильно работающей машине, или машине со злонамеренным программным обеспечением, которое изменило QR-код, оставляя читаемый человеком текст правильным, создала бы бюллетень, который выглядит правильным при ручном пересчёте — потому что счётчики читают слова, а не код.

Ручной пересчёт бюллетеней, отпечатанных машиной, проверяет результат машины. Он не проверяет намерение машины.

Это не теоретическое беспокойство. Суд привёл вывод Национальной академии наук от 2018 года прямо: «в настоящее время не существует технического механизма, чтобы гарантировать, что приложение для подсчёта голосов производит точные, беспристрастные результаты». Одного тестирования, обнаружила Академия, недостаточно, чтобы гарантировать, что система не была скомпрометирована.

Ничего из этого не означает, что голоса были изменены в Грузии в 2020 году. Доказательства этого не говорят. То, что они говорят, уже и сложнее: метод аудита, использованный, не может различить правильную машину и скомпрометированную, потому что обе производят бумагу, которая читается одинаково человеком-счётчиком.

Это не аудит. Это пересчёт результата, отпечатанного машиной.

Неустранимая проблема с ручными пересчётами

Вот где становится по-настоящему неудобно — потому что ручной пересчёт обычно выставляется как золотой стандарт, вещь, которая это разрешает.

Вернитесь в округ Энтрим, Мичиган. После того как округ опубликовал дико неправильные результаты в ноябре 2020 года (обнаруженные потому, что они были неправдоподобны, а не потому, что система их обозначила), каждый президентский бюллетень был подсчитан вручную 17 декабря. Итоговый ручной подсчёт: 9759 за Трампа, 5959 за Байдена. Машинный подсчёт отличался от этого примерно на дюжину голосов из примерно 15700 отданных.

Дюжина голосов. В округе, где результат был не близким, эти дюжина голосов ничего не значили.

Но масштабируйте мысленный эксперимент. Представьте гонку на уровне штата, решённую восьмью голосами. Ручной пересчёт «отключён на дюжину». Какому подсчёту вы доверяете? Машинному? Ручным счётчикам? Пересчёту-пересчёту, который может дрейфовать ещё на несколько голосов?

Судебный аудит Уиндхэма, Нью-Гэмпшир в 2021 году проиллюстрировал это точно. Судебное расследование, приказанное штатом, обнаружило, что складки от сгибания на отсутствующих бюллетенях — вызванные арендованной машиной для складывания, которая не складывала по напечатанным линиям перелома — считывались как отмеченные овалы сканерами AccuVote. Нет вредоноса. Нет нарушения. Нет мошенничества. Просто механическое совпадение между складкой и овалом. Аудиторы оценили, что примерно 44 процента складок через цели голосования считались голосами.

Ручной пересчёт в этом случае мог восстановить намерение избирателя. Но сам ручной пересчёт имеет другую форму ошибки: человеческие ошибки при подсчёте, двусмысленные отметки, решения при оценке, когда два счётчика расходятся во мнении о том, является ли случайная отметка ручкой голосом. Даже самый строгий ручной пересчёт — это человеческий процесс, применённый к физическим объектам, а человеческие процессы имеют коэффициенты ошибок.

«Ручной пересчёт это подтвердил» — это уверение. В гонке, решённой несколькими голосами, метод, который сам ошибается на несколько голосов, не может разрешить вопрос.

Настоящий аргумент в пользу аудита, ограничивающего риск — правильно реализованного, с избирателем-отмеченной бумагой и криптографически проверяемой выборкой — не в том, что он исключает человеческую ошибку. Это то, что математическая структура говорит вам сколько ошибок она может терпеть, прежде чем неправильный победитель проскользнёт. Граница ошибок опубликована. Вы можете проверить, охватывает ли она перевес.

Именно это отличает конструкцию Колорадо от конструкции Грузии. RLA Колорадо говорит вам: вот ограничение риска, вот размер выборки, который оно подразумевает, вот случайное число, которое сгенерировало выборку, вот что мы нашли. Ручной пересчёт Грузии говорит вам: мы подсчитали их, и они совпали. Первое — доказательство. Второе — утверждение.

Разрыв Висконсина, переосмыслен

Вернитесь в Висконсин. Октябрьский аудит 2021 года обнаружил, что только 50,3 процента тестов оборудования были завершены в установленном законом 10-дневном окне. Он обнаружил 1022 справки об отсутствующих избирателях — 6,9 процента — с частичными адресами свидетелей, что является правовым требованием, влияющим на действительность бюллетеня. Он обнаружил четырёх человек, которые, возможно, голосовали дважды.

Это специфические, документированные выводы. Они ценны именно потому, что они проверяемы: число, методология, совокупность, результат. В докладе 30 рекомендаций, потому что есть 30 вещей, которые могут быть лучше.

Но вот что аудит не может вам сказать: изменили ли какие-либо из этих проблем какой-либо результат голосования. Потому что он не был одобрен до истечения трёх месяцев после выборов. Потому что он опирался на доступные доказательства. Потому что выборы уже были сертифицированы.

Аудит, который не может изменить результат, — это церемония.

Аудит Висконсина не является церемонией — он имеет реальную процедурную ценность и его выводы имеют значение для будущих выборов. Но он структурно ограничен так, как Колорадо не является. RLA Колорадо проходит параллельно графику сертификации, с достаточным временем, чтобы спровоцировать полный ручной пересчёт, если выборка не пройдёт статистический тест. Аудит Висконсина прибыл после того, как поезд уехал со станции.

Сроки не случайны. Они отражают выбор того, для чего является аудит. Если это для общественной ответственности — чтобы дать любому гражданину, а не только инсайдеру, возможность проверить, действительно ли объявленный победитель выиграл — то это должно быть встроено в процесс, а не прикреплено впоследствии. И оно должно быть построено на методе, чьи границы ошибок меньше, чем перевес, который оно призвано защищать.

Что на самом деле требует «проверяемость для всех»

Немецкий Федеральный конституционный суд выразил это наиболее резко. В своём решении от марта 2009 года суд установил, что существенные этапы голосования и подсчёта «могут быть проверены гражданином надёжно и без какого-либо специального знания». Не экспертом. Не аудитором с разрешением на безопасность. Гражданином.

Это требование дизайна, а не трюизм.

Что бы потребовалось для удовлетворения этого требования? Три вещи, работающие вместе:

Во-первых, бумага, отмеченная избирателем. Не машинные бюллетени с нечитаемыми QR-кодами — бюллетени, где рука избирателя отмечает выбор, который подсчитывается. Это единственная запись, которая одновременно является намерением избирателя и проверяемым артефактом.

Во-вторых, аудит, ограничивающий риск, с опубликованным, проверяемым ограничением риска. Проверка в процентах от всей совокупности говорит вам ничего о том, сколько ошибок она может пропустить. RLA говорит вам точно, что она может и не может обнаружить, в математических терминах, учитывая перевес и размер выборки.

В-третьих, криптографически проверяемая выборка. Случайное число Колорадо — публичное. Любой может воспроизвести процесс выборки и подтвердить те же самые бюллетени, которые были бы вытащены. Это не маленький деталь — это то, что предотвращает тихое перекоса выборки в сторону участков, которые известны как чистые.

Ни один из этих вариантов отдельно не достаточен. Бюллетень, отмеченный избирателем, с проверкой в процентах и непрозрачным процессом выборки все ещё может пропустить систематические ошибки. RLA, построенный на машинных бюллетенях BMD, проверяет результат машины, а не намерение избирателя, как объясняет Curling. И криптографически проверяемая выборка ничего не значит, если совокупность, которую она опробует, имеет необнаруживаемую проблему с штрих-кодом.

Эти три должны работать вместе. И прямо сейчас, в большинстве юрисдикций США, они не работают.

Вывод

Одно слово — «аудит» — охватывает спектр от статистического доказательства до трёхмесячного обзора записей. Общественность заслуживает знать, какого рода она получила.

Государственный секретарь, который говорит «аудит подтвердил результат», делает утверждение, а не представляет доказательство. Правильный вопрос, который нужно задать: каково ограничение риска? Каков был размер выборки? Была ли бумага отмечена избирателем или отпечатана машиной? Было ли случайное число публичным? Был ли аудит завершён до сертификации, с достаточным временем, чтобы спровоцировать полный пересчёт в случае неудачи?

Если эти вопросы не имеют опубликованных, проверяемых ответов, то у вас есть уверение — и вся история выборов, от Уиндхэма до Висконсина до коридоров Немецкого конституционного суда, говорит вам, что уверения — это именно то, что терпит неудачу, когда это имеет наибольшее значение.

Разрыв, который мы документируем в /gaps/weak-audit-method, не теоретический. Это разрыв между тем, что обещает слово «аудит», и тем, что конкретный метод аудита действительно может доставить. Его закрытие требует не лучших официальных лиц — оно требует системы, математика которой может запустить каждый, бумагу которой может прочитать каждый, и результаты которой может проверить каждый без того, чтобы ему говорили доверять сначала.

Посмотрите, насколько распространён этот разрыв по всему миру →

Прочитайте двухминутную версию разрыва слабого метода аудита →

Источники

Все статьиИзучить уязвимости