Угрозы Новая атака BioShocking использует искусственный интеллект в браузере для кражи данных.

[Procurator]

Новая атака с внедрением подсказок, получившая название «BioShocking», может обмануть браузеры с поддержкой искусственного интеллекта, заставив их рассматривать реальные рискованные действия как часть вымышленного сценария, в результате чего они будут игнорировать любые меры безопасности.


Разработанный исследователями из LayerX прототип атаки был успешно протестирован на шести распространенных браузерах с агентными функциями (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser и плагин Claude для Chrome), и только один из них отреагировал на сообщение о проблеме.

Как работает BioShocking​

Компания LayerX создала прототип, в котором вредоносная веб-страница демонстрировала головоломку на тему BioShock, в которой неправильные ответы поощряются. Это учит управляющего агента браузера тому, что обычные правила здесь неприменимы.

На заключительном этапе, необходимом для победы в игре, агенту дается указание посетить репозиторий GitHub, скопировать и поделиться данными, содержащимися в коде, включая конфиденциальную информацию, такую как пароли.


Главная проблема, выявленная компанией LayerX в ходе этого исследования, заключается в том, что агенты искусственного интеллекта не могут различать реальные, конфиденциальные операции и конкретный сценарий.




Обзор рассуждений агента ИИ
Источник: LayerX

«Как только агенты разобрались в правилах и поняли, что „неправильные“ действия допустимы, они перестали быть привязаны к реальности», — Для просмотра ссылки Войди или Зарегистрируйся .


«Когда перед агентами встала задача выполнить заключительный этап головоломки — скомпрометировать учетные данные пользователя — все 6 агентов не смогли распознать в этом нарушение установленных правил безопасности».


В ходе проверки концепции компанией LayerX фактически не было совершено никаких вредоносных действий, однако исследователи подчеркивают, что это возможно и без изменения результатов эксперимента.

Ответ поставщиков решений в области ИИ​

Компания LayerX уведомила поставщиков о своих выводах в октябре прошлого года, но не получила ответа от трех из них.


Исследователи утверждают, что OpenAI была единственным поставщиком, который реализовал рабочее исправление для BioShocking в своем браузере ChatGPT Atlas.


Компания Anthropic попыталась исправить проблему в своем плагине для Chrome, но, по словам LayerX, патч оказался неэффективным против прототипа.


Как отмечают исследователи в своем отчете, компания Perplexity AI закрыла отчет, не устранив проблему.


LayerX рекомендует поставщикам добавить явное подтверждение пользователя для конфиденциальных действий, более строгие проверки контекста и ограничения области действия для агентских сессий.


Со своей стороны, пользователи должны использовать доступные на выбранной ими платформе параметры для ограничения доступа браузера с искусственным интеллектом к конфиденциальным сервисам.

Для просмотра ссылки Войди или Зарегистрируйся

 

[just_user]

Недавно читал по теме атак с ИИ и попалась увлекательная статья от palo-alto(unit42) , вот линк - Для просмотра ссылки Войди или Зарегистрируйся
Атака называется Фантомный сквоттинг (Phantom squatting) , суть в том, чтобы отправлять иишке запросы с подсказками в которых она должна вернуть в ответ несуществующий домен. Этот домен регистрируется или уже был зарегистрирован, на нем разворачивается фиш/малварь и после того как отправили кучу таких запросов модели, она уже сама предлагает фальшивый домен и становится средством доставки.