Этика
Алгоритмическая предвзятость в уголовном правосудии: как инструменты оценки рисков ИИ способствуют поддержанию системного неравенства
В течение более чем десятилетия суды США использовали алгоритмические инструменты оценки рисков для прогнозирования рецидива. Эти инструменты обещали объективность. Вместо этого они систематизировали расовую предвзятость, способствуя сохранению тех же неравенств, которые преследуют систему уголовного правосудия.
Патрик Т ·
В течение более десятка лет суды США использовали алгоритмические инструменты оценки рисков, чтобы предсказать, какие подсудимые с наибольшей вероятностью совершат новое преступление. Эти инструменты обещают объективность и последовательность. Вместо этого они систематизировали расовую предвзятость, увековечивая те же неравенства, которые существуют в системе уголовного правосудия. Новая волна исследований показывает, насколько глубоко укоренились эти предвзятости — и почему их исправление может быть невозможно без фундаментального переосмысления того, как мы используем ИИ в правоохранительных органах.
Обещание и проблема
В 2013 году Верховный суд Висконсина подтвердил использование COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), алгоритма, который прогнозирует риск рецидива. Этот инструмент анализирует более 130 переменных — криминальное прошлое, занятость, структуру семьи, район проживания — чтобы присвоить оценку риска от 1 до 10. Судьи используют эту оценку для принятия решений о залоге, вынесения приговора и праве на условно-досрочное освобождение.
Обещание было ясным: устранить человеческую предвзятость в уголовном правосудии, заменив субъективные судебные решения на объективную алгоритмическую оценку. Если личные предубеждения судьи могли приводить к более суровым приговорам для этнических меньшинств, возможно, алгоритм мог бы устранить эту предвзятость.
Реальность была другой. В 2016 году расследование ProPublica показало, что COMPAS значительно чаще ошибочно классифицировал чернокожих подсудимых как высокорисковых по сравнению с белыми подсудимыми. Среди подсудимых, которые не совершили повторного преступления, 45% чернокожих подсудимых были обозначены как высокорисковые, по сравнению с 23% белых подсудимых. Среди подсудимых, которые совершили повторное преступление, инструмент был более точен для белых подсудимых.
Как предвзятость проникает в систему
COMPAS и подобные инструменты обучаются на исторических данных системы уголовного правосудия. Эти данные отражают десятилетия дискриминационного полицейского надзора, обвинений и вынесения приговоров. Чернокожие американцы арестовываются примерно в 2,5 раза чаще, чем белые американцы, за те же преступления. Они получают более длительные сроки в среднем. Они с большей вероятностью обвиняются в тяжких преступлениях, а не в проступках.
Когда алгоритм обучается на этих предвзятых данных, он усваивает предвзятость. Он усваивает, что чернокожие подсудимые арестовываются чаще и получают более строгие приговоры. Затем алгоритм делает вывод: чернокожие подсудимые с большей вероятностью совершат новое преступление. Это не потому, что чернокожие люди с большей вероятностью совершают преступления — это потому, что обучающие данные отражают системную дискриминацию, а не объективную реальность.
Алгоритм не видит дискриминацию. Он видит шаблоны. И он воспроизводит эти шаблоны в большом масштабе.
Петля обратной связи
Проблема хуже, чем простое воспроизведение предвзятости. Это петля обратной связи. Когда алгоритм прогнозирует, что чернокожий обвиняемый представляет высокий риск, судьи чаще отказывают в залоге или назначают более суровые наказания. Это повышает вероятность того, что обвиняемый вновь совершит преступление (поскольку он находится в заключении, теряет работу и имеет меньше ресурсов). Прогноз алгоритма становится самоисполняющимся. Следующее поколение алгоритма обучается на этих новых данных, которые включают последствия предвзятости предыдущего алгоритма. Предвзятость накапливается.
К 2026 году исследователи задокументировали этот обратный эффект в нескольких юрисдикциях. В округе Кук, штат Иллинойс, использование инструментов оценки риска связано с увеличением расового дисбаланса в решениях о залоге на 12%. В Кентукки алгоритм с большей вероятностью рекомендует заключение под стражу для обвиняемых с историей психических заболеваний — категории, которая непропорционально включает чернокожих и латиноамериканцев.
Техническая невозможность справедливости
Некоторые утверждают, что решением является «удаление предвзятости» алгоритма. Убрать расу как переменную. Скорректировать веса, чтобы уравнять показатели ложноположительных результатов среди разных расовых групп. Но исследования показывают, что эти подходы создают новые проблемы.
Если убрать расу как переменную, алгоритм будет выводить расу по косвенным переменным: почтовый индекс, трудовая история, структура семьи. Эти переменные коррелируют с расой и оказывают аналогичные дискриминационные эффекты. Если вы настроите алгоритм так, чтобы уравнять показатели ложноположительных результатов среди расовых групп, вы обязательно увеличите количество ложноотрицательных для одной из групп. Невозможно одновременно оптимизировать справедливость по всем направлениям. Вы должны выбрать, какую группу защищать. Это не техническая проблема. Это политическая проблема.
Дальнейший путь
Будущее ИИ в уголовном правосудии должно ограничиваться узкими, четко определенными задачами: идентификация доказательств, анализ закономерностей в больших массивах данных, отметка дел для проверки человеком. Его не следует использовать для прогнозирования поведения человека, особенно для предсказаний, которые будут определять, будет ли кто-то задержан или освобожден. Пока мы не решим проблему структурных предубеждений в системе уголовного правосудия, алгоритмические инструменты будут только усиливать эти предубеждения.