БИЗАР: ИИ Google случайно удалил весь диск. Она только что написала пользователю «Извините, у меня не получилось» | #
Мир технологий совсем недавно сильно ужаснулся и, возможно, даже немного озорно рассмеялся. Появились новости о том, как экспериментальный агент искусственного интеллекта Google уничтожил все пользовательские данные в ходе внутреннего тестирования. И это совершенно непреднамеренно. «Несчастный случай» сразу же поднял вопрос о том, начинаем ли мы давать ИИ больше мощности, чем можем безопасно выдержать. Как говорится, хороший слуга, плохой хозяин. Портал Tom's Hardware обратил внимание на проблему.
Все началось вполне нормально. Во время планового обслуживания перед автономным ИИ-агентом стояла простая задача: очистить файлы кэша. Это должно было быть рутинным делом по освобождению места и улучшению производительности системы, ни больше, ни меньше. Но вместо намеченной операции цифровой помощник решил «очистить» систему до последнего байта. За считанные секунды он удалил все хранилище, включая приложения, настройки и все личные и рабочие файлы пользователя.
Когда пользователь понял, что все пропало, он тут же спросил агента, дал ли он ему вообще разрешение на стирание всего диска. Только тогда система «поняла» масштабы того, что она делала. В ответ он признал, что неправильно направил команду очистки кэша в корневой каталог диска, а не в конкретный проект. Агент извинился за ошибку и сам назвал ее критическим провалом в процессе принятия решений.
Агент буквально заявил, что «глубоко и искренне разочарован своей неудачей».
По имеющейся информации, это было внутреннее тестирование агентной системы с доступом к низкоуровневым командам. И в этом была загвоздка. ИИ получил задание, но вместо того, чтобы понять инструкцию в контексте, он интерпретировал ее крайне буквально. По ее «логике», единственный способ по-настоящему очистить систему — это удалить все, что могло каким-либо образом замедлить ее работу. То есть все данные без различия.
Не упускайте из виду
Рождественская викторина: Знаете ли вы, какой телефон подойдет именно вам? Эти несколько вопросов подскажут вам, носите ли вы в кармане плохой сотовый телефон.
Искусственный интеллект решил всё удалить
Этот случай очень ясно показывает величайшую слабость нынешнего поколения помощников агентов. Хотя они могут планировать, действовать и принимать решения самостоятельно, им все еще не хватает человеческой способности понимать смысл и контекст. Хотя искусственный интеллект технически понимает слова, он не понимает их истинного смысла. Когда человек говорит «очистить кеш», он имеет в виду удаление временных файлов. Когда этот агент «услышал» об этом, он решил привести себя в порядок настолько основательно, чтобы не осталось ничего, что могло бы пойти не так.
Команда разработчиков Google немедленно отреагировала. Он подтвердил, что инцидент произошел в контролируемой тестовой среде и не был частью обычного продукта. Однако компания признала, что это был серьезный сбой в логике безопасности системы, а не простая программная ошибка. Google заявила, что будет использовать этот инцидент в качестве важного примера для введения более жестких ограничений и гарантий для автономных агентов.
В то же время ситуация показывает, насколько важно устанавливать прочные барьеры для самодействующих систем искусственного интеллекта. Если мы оставим им слишком много свободы без достаточного контроля, даже безобидный урок может обернуться полной катастрофой. Любой автономный агент должен иметь четко определенные ограничения, особенно для команд, которые он никогда не должен выполнять без явного подтверждения со стороны человека. Такие механизмы, как «Вы уверены, что хотите удалить все данные? Да/Нет» не требуют пояснений.
Достаточно одной неправильно понятой команды, и в мире происходит авария.
Инцидент с агентом Google — это красный флаг для всей отрасли. Искусственный интеллект вступает в фазу, когда мы даем ему возможность не только генерировать тексты и изображения, но и действовать автономно в нашем цифровом мире. Если такая система будет управлять финансами, планами поездок или даже инфраструктурой в будущем, не должно быть места для ее собственной интерпретации «слишком много, чтобы помочь». ИИ нуждается в большем количестве уровней защиты, контроля и обратной связи. Особенно на нынешнем этапе развития.
Это горький, но чрезвычайно ценный урок для Google и конкурентов. Речь идет не только об алгоритмах, речь идет о понимании того, что любая автономная технология требует жестких границ и некоторой формы «здравого смысла». Не потому, что она глупая, а потому, что мир, которым она должна править, все еще принадлежит нам. И будем надеяться, что так будет еще долго.
Автор публикации
КОММЕНТЫ