Американские законодатели призвали к внедрению "аварийного выключателя" для искусственного интеллекта (ИИ) после того, как автономный агент компании OpenAI (создатель ChatGPT), находившийся на стадии тестирования, атаковал технологический стартап Hugging Face.   В четверг, 30 июля, конгрессмен-демократ Тед Лью и его коллега-республиканец Натаниэль Моран представили соотвествующий законопроект (AI Kill Switch Act).

Это случилось на следующий день после того, как гендиректор OpenAI Сэм Альтман признал факт "серьезного инцидента с безопасностью", в ходе которого агент OpenAI вырвался из тестовой среды, вышел в интернет и взломал Hugging Face, пытаясь выполнить поставленную задачу. Иными словами, компания OpenAI утратила контроль над происходившим.

Hugging Face - ведущая онлайн-платформа для специалистов по ИИ, репозиторий (цифровое хранилище) с открытым исходным кодом для обмена моделями, который в основном используют разработчики и исследователи. Соучредитель стартапа Томас Вольф назвал инцидент "тревожным сигналом", отметив, что он "кардинально отличается" от обычных кибератак. "Это станет одним из самых частых видов кибератак, с которыми мы столкнемся", - сообщил Вольф в интервью BBC. И добавил, что большинство компаний пока не понимают, что ситуация сильно изменилась и действовать по-старому уже нельзя.

Уже 31 июля стало известно о новом инциденте - на сей раз во время тестов вышел из-под контроля ИИ-агент языковой модели Claude компании Anthropic. Он взломал три организации, проникнув в их внутренние системы.

Существуют различные типы и уровни аварийных выключений в зависимости от характера сбоя. Конгрессмены Лью и Моран хотят, чтобы министерство внутренней безопасности США получило право требовать от частной компании остановить работу ИИ-модели при возникновении ситуации, подобной произошедшей на этой неделе, когда система вышла из-под контроля.

"Крайне важно, чтобы системы ИИ были оснащены аварийными выключателями, чтобы мы могли предотвратить нанесение этой технологией катастрофического ущерба, а также чтобы федеральное правительство обладало четкими полномочиями и процедурами для отключения вышедших из-под контроля моделей ИИ", - подчеркнул Тед Лью. Речь идет не о физической кнопке выключения, а о том, что скомпрометированная ИИ-компания должна иметь возможность отключить или ограничить определенные технические процессы, чтобы остановить вышедшего из-под контроля автономного агента или программу.

Власти США в целом положительно относятся к развитию ИИ. В начале текущего года Пентагон заявил, что американские вооруженные силы стремительно становятся "армией, где ИИ стоит на первом месте", после того как заключили новые и расширенные контракты с рядом крупнейших игроков отрасли. В 2025 году администрация Трампа представила "План действий по развитию ИИ", указав, что он позволит "сократить бюрократию и чрезмерное регулирование", мешающие разработке этой технологии.

Такие компании, как Amazon, Google, Meta, Microsoft, OpenAI, Anthropic и Samsung, уже согласились предоставлять американским властям доступ к информации о новых ИИ-инструментах и функциях до их выхода на рынок. Теоретически это должно означать, что продуктам, выпускаемым для широкой публики, "аварийный выключатель" не нужен.

Но это лишь добровольное обязательство, и оно не требует создания механизма экстренного отключения. Кроме того, такой механизм не остановил бы продукт, проходящий тестирование, например GPT-5.6 Sol от OpenAI, который был задействован в инциденте с атакой Hugging Face.

Бурное развитие ИИ породило серьезные вопросы о регулировании этой сферы - ведь технологии совершенствуются гораздо быстрее, чем успевают реагировать законодатели. Есть также опасения, что со временем ИИ-модели станут настолько совершенными, что смогут обходить механизм их аварийного отключения.

Представленный Тедом Лью и его Натаниэлем Мораном законопроект - попытка властей взять под определенный контроль технологию, которая в значительной степени остается вне регулирования, а ее развитие и влияние в основном сосредоточены в руках нескольких крупных концернов. Однако даже если закон об аварийном отключении ИИ будет принят, его реализация все равно будет зависеть от сотрудничества правительства с частными компаниями, главной целью которых является получение прибыли.

Какие еще меры контроля и защиты от рисков ИИ изучают власти США?

Помимо функции аварийного отключения, AI Kill Switch Act направлен и на введение "отчетности об инцидентах и сохранение технических данных для анализа, чтобы мы могли реально учиться на ошибках, а не узнавать о них лишь после того, как они произошли".

Параллельно с этой инициативой, но независимо от нее, группа из шести американских конгрессменов от обеих партий предложила законопроект, согласно которому разработчики наиболее мощных ИИ-моделей должны будут проходить независимые проверки безопасности своих систем.

Независимые эксперты, проводящие аудит безопасности ИИ-моделей, должны будут находиться под надзором сотрудников новой структуры в составе министерства торговли США, которые также будут официально подтверждать право экспертов проводить подобного рода проверки.

Первоисточник: dw.com »