Новая атака с внедрением подсказок, получившая название «BioShocking», может обмануть браузеры с поддержкой искусственного интеллекта, заставив их рассматривать реальные рискованные действия как часть вымышленного сценария, в результате чего они будут игнорировать любые меры безопасности.
Разработанный исследователями из LayerX прототип атаки был успешно протестирован на шести распространенных браузерах с агентными функциями (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser и плагин Claude для Chrome), и только один из них отреагировал на сообщение о проблеме.
Как работает BioShocking
Компания LayerX создала прототип, в котором вредоносная веб-страница демонстрировала головоломку на тему BioShock, в которой неправильные ответы поощряются. Это учит управляющего агента браузера тому, что обычные правила здесь неприменимы.
На заключительном этапе, необходимом для победы в игре, агенту дается указание посетить репозиторий GitHub, скопировать и поделиться данными, содержащимися в коде, включая конфиденциальную информацию, такую как пароли.
Главная проблема, выявленная компанией LayerX в ходе этого исследования, заключается в том, что агенты искусственного интеллекта не могут различать реальные, конфиденциальные операции и конкретный сценарий.
Обзор рассуждений агента ИИ
Источник: LayerX
«Как только агенты разобрались в правилах и поняли, что „неправильные“ действия допустимы, они перестали быть привязаны к реальности», — Для просмотра ссылки Войди
«Когда перед агентами встала задача выполнить заключительный этап головоломки — скомпрометировать учетные данные пользователя — все 6 агентов не смогли распознать в этом нарушение установленных правил безопасности».
В ходе проверки концепции компанией LayerX фактически не было совершено никаких вредоносных действий, однако исследователи подчеркивают, что это возможно и без изменения результатов эксперимента.
Ответ поставщиков решений в области ИИ
Компания LayerX уведомила поставщиков о своих выводах в октябре прошлого года, но не получила ответа от трех из них.
Исследователи утверждают, что OpenAI была единственным поставщиком, который реализовал рабочее исправление для BioShocking в своем браузере ChatGPT Atlas.
Компания Anthropic попыталась исправить проблему в своем плагине для Chrome, но, по словам LayerX, патч оказался неэффективным против прототипа.
Как отмечают исследователи в своем отчете, компания Perplexity AI закрыла отчет, не устранив проблему.
LayerX рекомендует поставщикам добавить явное подтверждение пользователя для конфиденциальных действий, более строгие проверки контекста и ограничения области действия для агентских сессий.
Со своей стороны, пользователи должны использовать доступные на выбранной ими платформе параметры для ограничения доступа браузера с искусственным интеллектом к конфиденциальным сервисам.
Для просмотра ссылки Войди
Последнее редактирование: