← Всички статии

Един и същ одит, слаб метод: защо начинът на избор решава какво ще намерите

Два щата проведоха един и същи вид одит след избори. Единият можеше да ви каже точно колко грешка трябва да има, за да промени резултата. Другият не можеше — и все пак сертифицира.

Октомври 2021 г., и екип от Бюро на законодателния одит на Уисконсин се опитва да направи нещо, което звучи просто: да проверит дали ноември 2020 г. избори са проведени коректно.

Има един проблем. Одитът не е одобрен до три месеца след Деня на избора. До момента, в който пристигат одиторите, моментът е отминал. Те не могат да наблюдават какво се е случило. Могат само да прочетат какво е написано.

Затова проучват 1 835 общински клерка. Преглеждат 14 710 плика с отсъствуващи гласове от 29 община. Разглеждат 175 теста на оборудване. Това, което намират, не е доказателство за откраднат избор — но също не е чиста листа. Само 50,3 процента от необходимите тестове на оборудване са завършени в 10-дневния законодателен период преди избора. Двадесет и четири лица изглежда, че са имали две активни регистрации като избиратели. Четирима от тях може да са гласували два пъти. Докладът прави 30 препоръки и отрежда 18 проблема за законодателя. Отрезвяващ, внимателен, конкретен.

И тогава идва редът на най-важния за тази публикация: защото одитът не е одобрен до три месеца след избора, одиторите не са преки наблюдатели на Деня на избора и се опираха на наличните доказателства.

Трохмесечен одит не може да гледа какво се е случило в 2 сред нощ, когато гласовете се транспортираха. Не може да види кой скенер е прочел кой бюлетин. Може само да попита хора какво си спомнят и да проверит дали документите се събират.

Това не е одит на броене. Това е одит на записите на броене. И те са много различни неща.

Какво всъщност трябва да направи един одит

Ето въпросът, на който всеки одит след избори трябва да отговори: колко много от обявления резултат мога да опровергая, ако машините са грешили?

Този въпрос звучи абстрактно. Направете го физичен. Представете си купчина хартиени бюлетини — например 15 000 от тях, лежащи в запечатани чанти в един склад. Сканерът каза, че кандидат А спечели с 400 гласа. Искате да знаете дали е вярно.

Имате два избора.

Избор първи: изтеглете фиксиран процент от купчината — например 5 процента, 750 бюлетини — и преброй ги с ръка. Ако грубо съвпадат с машинното броене, декларирайте успех.

Избор втори: изчислете математически, колко бюлетини трябва да преглед ръчно, за да имате определена статистическа вероятност да хванете грешен резултат, дадена обявената разлика. Ако надпреварата е решена с 400 гласа от 15 000, това число може да бъде почти всички. Ако е решена с 5 000 гласа, то число може да бъде малко.

Първият подход ви казва, че вашата проба съвпада. Той вам не казва нищо за това дали пробите, които не сте извадили, биха съвпадали — или дали системна грешка, която превръща гласове с 1 или 2 процента на окръг (достатъчно малка, за да остане в шума на вашата проба) е могла да промени победителя.

Вторият подход — одит с ограничен риск, или OOP — е построен около проверима претенция: Съм X% убеден, че обявения победител наистина спечели. Нивото на увереност не е твърдение. Того произлиза от размера на пробата спрямо разлика. OOP заимства своята власт от математическа гаранция, не от думата на официално лице.

Тази разлика — между церемония и статистически тест — е това, около което се върти тази публикация.

Отговорът на Колорадо

През ноември 2017 г. Колорадо стана първият щат на САЩ, който завършил одит с ограничен риск на ниво щат. Секретарят на щата го обяви на 22 ноември. Колорадо започна с 9 процента риск лимит — което означава, че одитът е разработен да има най-много 9 процента шанс да не успее да хване грешен резултат — и по-късно това затегна на 3 процента.

Какво означава „9 процента риск лимит" обикновен език? То означава: ако обявения победител всъщност е загубил, този одит има най-малко 91 процента шанс да хване грешката и да предизвика пълно броене. Това не е обещание, че фалшификацията е невъзможна. Это е математически определен пол на това, което одитът всъщност може да открие.

Решително, OOP определя размера на пробата спрямо разлика. Едностранна надпревара с 30-точна разлика нуждае се от почти без допълнително ръчно проверяване; одиторът спира рано, защото математиката казва, че доказателството вече е достатъчно силно. Надпревара, решена със 200 гласа от 100 000 преброени бюлетини, може да изисква ръчно броене на повечето от купчината.

Това не е усложнение. Това е целята. Тесни надпревари — те, където въпросът кой всъщност спечели най-много — получават най-голяма внимание. Еднозвучни надпревари не консумиват ресурсите, в които не се нуждаят.

Често задавани въпроси на Секретаря на щата Колорадо правят архитектурата видима за всеки, който иска да я прочете. Риск лимитът е публично число. Размерът на пробата произлиза от него. Процесът на вземане на проби използва криптографски генерирани произволни ядра, които всеки може независимо да проверит. Всяка стъпка на логиката е публикувана и проверяема.

Това не е отношение на доверие. Това е доказателство.

Отговорът на Джорджия и пропастта, скрита в него

Сега отидете на изток. През ноември 2020 г. Джорджия направи официално нещо, наречено „одит с ограничен риск" на президентската надпревара. Защото разлика е била тясна, се разшири — по закон — в пълно ръчно и ръчно броене на приблизително 5 милиона бюлетини. Ръчното броене потвърди машинния резултат до около една десета от процента.

Това е огромно начинание. 159 окръга. 41 881 партида. По-малко от шест дни. И заключението: машините са били прави.

Спрете тук.

Ето въпросът, който трябва да задават: какво всъщност е проверявано?

В Джорджия през 2020 г. гласовете са били отдадени на устройства за маркиране на гласове на Dominion (BMD). Избирателят докосва екран. Машина отпечатва хартиен бюлетин. Този бюлетин съдържа четим от човека текст — избора на избирателя на обикновен език — и QR код. QR кодът е това, което табулаторът всъщност чете и брои.

В Curling v. Raffensperger, Окръжният съд на САЩ за северния окръг на Джорджия преглеждат експертни показания от д-р J. Alex Halderman и други. Съдът установи, че системата „не осигурява проверяема и одитна запис за гласа, защото разчита на QR кода за табулиране на гласове и самият код не може да бъде прочетен и проверен от избирателя."

Прочитайте това отново бавно. Избирателят не може да прочете щрихкода. Табулаторът чете щрихкода. Ръчното броене през 2020 г. преброи хартията, отпечатана от машина — което включва текста, четим от човека. Но въпросът е дали текстът верно представлява това, което щрихкодът кодира. Избирател, който отдаде своя бюлетин на правилно работеща машина, или на машина със злонамерено софтуер, което е променило QR кода, докато е запазило човешкия текст правилен, би произвела бюлетин, който изглежда правилен при ръчно броене — защото ръчните броячи четат думите, не кода.

Ръчно преброяване на бюлетини, отпечатани от машина, проверява изхода на машина. То не проверява намерението на машина.

Това не е теоретичен проблем. Съдът цитира преки заключение на Националните академии от 2018 г.: „в момента не съществува технически механизъм за осигуряване на това, че приложение за броене на гласове дава точни, беспристрастни резултати." Само тестване, установи академията, не може да гарантира, че системата не е компрометирана.

Нищо от това не означава, че гласовете са променени в Джорджия през 2020 г. Доказателствата не казват това. Това, което казват, е нещо по-тясно и по-сложно: методът на одита, използван, не може да прави разлика между правилна машина и компрометирана, защото и двете произвеждат хартия, която се чете по един и същ начин за ръчния броач.

Това не е одит. Това е преброяване на изхода на машина.

Неразрешимият проблем с ръчните броения

Тук е където становище наистина неудобно — защото ръчното броене обикновено се издига като золотния стандарт, нещото, което го поправя.

Върнете се на окръг Antrim, Мичиган. След като окръгът публикува дико грешни резултати през ноември 2020 г. (хванати, защото са били неправдоподобни, не защото системата ги е отбелязала), всеки президентски бюлетин е преброен с ръка на 17 декември. Окончателно ръчно броене: 9 759 за Тръмп, 5 959 за Байдън. Машинното табулиране се различава от това с приблизително дузина гласа от приблизително 15 700 отдадени.

Дванадесет гласа. В окръг, където резултатът не е бил близо, тези дванадесет гласа означаваха нищо.

Но мащабирайте опита. Представете си надпревара на ниво щат, решена с осем гласа. Ръчното броене е „изключено дузина." Кое броене доверяте? На машина? На ръчните броачи? На преброяване, което може да изгуби с друга гаршане?

Forensic одитът на Windham, New Hampshire от 2021 г. илюстрира това точно. Държавен заповедан forensic преследване](http://web.archive.org/web/20240515192417/https://www.doj.nh.gov/sb43/documents/20210713-sb43-forensic-audit-report.pdf) открило, че гънки, причинени от отсъствуващи гласове — причинена от наета машина за гъване, която не гъва по отпечатаните линии за счупване — се четояха като отбелязани овали от скенерите AccuVote. Няма злонамерен софтуер. Няма прецапване. Няма фалшификация. Само механичен съвпад между гънка и овал. Одиторите преценихат, че приблизително 44 процента на гънки през целите на гласове са преброени като гласове.

Ръчното броене, в този случай, можеше да възстанови намерението на избирателя. Но самото ръчно броене носи различна форма на грешка: хлопания броячи, неясни маркери, преценки при еджудикация, при които двама броачи не са съгласни дали случайния маркер с писалка е гласа. Дори най-строгото ръчно табулиране е човешки процес, приложен към физически предмети, и човешките процеси имат степени на грешка.

„Ръчното броене го потвърди" е успокоение. При надпревара, решена с гаршане гласа, един метод, който самия е изключен от гаршане гласа, не може да разреши въпроса.

Истинският аргумент за одит с ограничен риск — правилно внедрен, с избирател-маркирана хартия и криптографски проверяемо вземане на проби — не е, че елиминира човешката грешка. Това е, че математическата структура ви казва колко много грешка може толерирам преди неправилния победител да се промъкне. Границата на грешката е публикувана. Можете да проверит дали покрива разликата.

Това е що разграничава дизайна на Колорадо от Джорджия. OOP на Колорадо ви казва: ето лимитът на риска, ето размера на пробата, която внушава, ето произволното ядро, което генерира пробата, ево какво открихме. Ръчното броене на Джорджия ви казва: ги преброихме и те съвпадат. Първото е доказателство. Второто е твърдение.

Пропастта на Уисконсин, преразглеждана

Върнете се на Уисконсин. Октомврийския одит от 2021 г. установи, че само 50,3 процента на тестовете на оборудването са завършени в законодателния 10-дневен период. Той откри 1 022 отсъствуващи сертификата — 6,9 процента — с частични адреси на свидетели, законово изискване, което влияе на валидността на бюлетина. Открити са четири лица, които може да са гласували два пъти.

Това са конкретни, документирани открития. Те са ценни, точно, защото са проверяеми: число, методология, население, резултат. Докладът прави 30 препоръки, защото има 30 неща, които могат да бъдат по-добри.

Но ево какво одитът не може да ви каже: дали някой от тези проблеми е променил резултата на каквото и да е състезание. Защото не е одобрен до три месеца след избора. Защото разчиташе на наличните доказателства. Защото избори са вече били сертифицирани.

Одит, който не може да промени резултата, е церемония.

Одитът на Уисконсин не е церемония — той има истинска процедурна стойност и неговите открития имат значение за бъдещи избори. Но е структурно ограничен по начин, по който този на Колорадо не е. OOP на Колорадо се проследава наред със временната таблица на сертификацията, с достатъчно време, за да предизвика пълно ръчно броене, ако пробата е неуспешна. Одитът на Уисконсин е пристигнал след като тренът е тръгнал.

Времето не е случайно. Это отражава избор относно това за какво е одитството за. Ако е за обществена отчетност — дайте всеки гражданин, не просто вътрешен, способност да проверит дали обявения победител всъщност спечели — тогава то трябва да бъде построена в процеса, не свързана след това. И то трябва да бъде построена на метод, чиято грешка граници са по-малки от разликата, която се стремело да защити.

Какво „всеки може да проверит" всъщност изисква

Германския федерален конституционен съд го изтъкна най-остро. В своето постановление от март 2009 г., Съдът се запъти, че съществени стъпките на гласуване и броене „могат да бъдат разглеждани от гражданина надежно и без специалистични познания." Не от експерт. Не от одитор с разрешение за сигурност. От гражданина.

Това е дизайнерско изискване, не клише.

Какво щеб отнеме да го задоволи? Три неща, работещи заедно:

Първо, избирател-маркирана хартия. Не бюлетини, отпечатани от машина, с нечитаеми QR кодове — бюлетини, където избирателят ръката маркира избора, който се брои. Това е единствено записите, което е едновременно намерението на избирателя и одитната артефакта.

Второ, одит с ограничен риск с публикувана, проверяема лимит на риска. Проверка със фиксиран процент вам казва нищо за това колко много грешка то може да пропусне. OOP ви казва точно какво може и не може да хване, в математически термини, дадена разликата и размера на пробата.

Трето, криптографски проверяемо вземане на проби. Произволното ядро на Колорадо е публично. Всеки може да возпроизведе процеса на вземане на проби и потвърди същите бюлетини биха били извадени. Това не е мал детайл — то е това, което предотвратява пробата да бъде тихо наклонена към окръци, които е известно, че са чисти.

Нито един от те индивидуално е достатъчен. Избирател-маркирана хартия с проверка със фиксиран процент и непрозрачно вземане на проби все още може да пропусне системни грешки. OOP, построена на бюлетини, отпечатани от машина на BMD, проверя изхода на машина, не намерението на машина, както Curling прави ясно. И криптографски проверяемо вземане на проби означава нищо, ако популацията, която пробата взема, има неоткриваем проблем със щрихкода.

Трите трябва да работят заедно. И в момента, в повечето преюсдикции на САЩ, те не работят.

Извод

Същата дума — „одит" — покрива спектър от статистическо доказателство до трохмесечна преглед на записи. Обществото заслужава да знае каква вид получаха.

Секретар на щат, който казва „одитът потвърди резултата" е издавайки твърдение, не представляйки доказателство. Правилния въпрос за задаване е: какво е лимитът на риска? Какво е била размера на пробата? Е ли хартията избирател-маркирана или машино-отпечатана? Е ли семето на вземане на проби публично? Е ли одитът завършен преди сертификацията, с достатъчно време, за да предизвика пълно броене, ако е неуспешен?

Ако тези въпроси нямат публикувани, проверяеми отговори, това, което имате е успокоение — и цялата история на избори, от Windham към Уисконсин към коридорите на германския конституционен съд, ви казва, че успокоенията са точно това, което не успяват, когда има значение най-много.

Пропастта, която документираме на /gaps/weak-audit-method не е теоретична. То е пропастта между какво обещава дума „одит" и какво конкретен методът на одита може действително да осигури. Затварянето него изисква не по-добри официални — то изисква система, чиято математика всеки може да изпълни, чиято хартия всеки може да прочете, и чиито резултати всеки може да проверит без да е казано да доверит първо.

Вижте как често тази пропастта се появява по целия свят →

Прочетете 2-минутната версия на пропастта на слаб-одит-метод →

Източници

Вижте всички статииРазгледай пропуските