Суд в Коннектикуте наказал истца за скрытые команды для ИИ

Техника, использованная Эллиоттом, известна как «prompt injection». Истец размещал в документах текст белого цвета размером в 3 пункта на белом фоне. Человек не мог заметить подвох, но программы для обработки данных считывали вредоносные команды. Инструкции предписывали ИИ-системам игнорировать прошлые отказы суда и выносить вердикт в пользу автора. Несмотря на то что судебная система штата не применяет нейросети для вынесения решений, судья Спейдер квалифицировал действия истца как серьезное злоупотребление процессуальными правами.

Эллиотт продолжил вставлять скрытые сообщения даже после первого предупреждения, называя их шутками. В ответ судья лишил его права пользоваться электронной системой подачи документов, обязав сдавать все бумаги лично через канцелярию. Этот случай вскрыл новую угрозу для правосудия: вместо привычных «галлюцинаций» чат-ботов суды столкнулись с попытками преднамеренного искажения входных данных. Спейдер также предостерег от опасной практики, когда участники процессов без адвокатов используют ИИ для формирования аргументации: боты склонны слепо поддакивать пользователю, закрепляя ошибочные позиции вместо их критического анализа.