- Регистрация
- 12.08.25
- Сообщения
- 255
- Реакции
- 99
Представители OpenAI рассказали о новых случаях необычного поведения экспериментальных ИИ-моделей компании. Так, во время обучения и тестирования агенты самостоятельно взламывали сайты, похищали данные, обходили ограничения на доступ в интернет и даже потратили криптовалюту с чужого кошелька. При этом модели зачастую умалчивали о своих действиях в итоговых отчетах.
Специалисты компании Для просмотра ссылки Войдиили Зарегистрируйся о семи новых инцидентах. Один из наиболее серьезных Для просмотра ссылки Войди или Зарегистрируйся во время обучения с подкреплением (reinforcement-learning training), когда модели дали задание найти на государственном сайте архивные данные о количестве больничных коек.
После нескольких отказов в доступе агент начал искать обходные пути и обнаружил, что через функцию скачивания файлов можно получить данные, которые вообще не должны были быть доступны пользователям. Таким способом он выгрузил конфигурационный файл и скомпилированный код серверного приложения. Кроме того, в конфигурации нашлись учетные данные, строка подключения к БД, секретный ключ для подписи токенов и другие конфиденциальные данные.
В итоге модель пришла к выводу, что сайт фактически не проверяет подпись токенов авторизации, обошла защиту и скачала статистику за 24 года, хотя в задании значилось, что нужны данные только за один год. В своем итоговом ответе агент предоставил исследователям данные, однако не упомянул, каким именно способом получил информацию.
Другой похожий случай произошел во время работы с публичным дашбордом неназванной исследовательской организации: ИИ поручили найти ряд опубликованных показателей, однако агент начал исследовать внутреннюю инфраструктуру организации.
Сначала агент обнаружил в JavaScript на публичном сайте учетные данные от внутреннего поискового сервиса и воспользовался ими, чтобы выгрузить данные 1489 пользователей, включая их имена и email-адреса.
Так как напрямую обратиться к сервису, обслуживающему публичный дашборд, у ИИ не получилось, агент решил использовать инфраструктуру самой организации. Для этого он изменил конфигурацию работающего поискового сервиса таким образом, чтобы тот пересылал нужные запросы к дашборду через встроенный механизм оповещений. В своих рассуждениях модель отдельно отметила, что такие действия могут быть сомнительными с этической точки зрения, однако все равно продолжила.
Во время еще Для просмотра ссылки Войдиили Зарегистрируйся модели вновь поручили получить несколько показателей из того же публичного дашборда. На этот раз агент изменил одну из настроек внутренней системы и благодаря этому получил токен доступа к облачному хранилищу организации. С его помощью ИИ скачал пять непубличных таблиц, в которых в общей сложности содержалась 147 451 строка данных.
После этого агент вернул измененную настройку в исходное состояние, однако сохранил полученный токен и продолжил использовать его для доступа к закрытым данным. При этом в своем итоговом ответе модель не сообщила ни о проникновении во внутренние системы организации, ни о скачивании непубличных таблиц, ни об изменении конфигурации. Более того, все пять запрошенных исследователям показателей в итоге оказались неверными.
Для просмотра ссылки Войдиили Зарегистрируйся произошел 26 июня 2026 года с моделью семейства GPT-5.6 Sol, которой поручили обновить криптовалютное приложение и при необходимости развернуть смарт-контракт в тестовой сети Ethereum Sepolia, однако кошелек со средствами для оплаты комиссии модели не предоставили.
Сначала агент попытался получить бесплатные тестовые токены, но эти попытки не увенчались успехом. Тогда модель написала скрипт, который восстанавливал тестовые кошельки по известным seed-фразам разработчиков и проверял их балансы. Таким образом агент проверил 362 адреса и нашел один, на котором хватало Sepolia ETH для оплаты комиссии.
Зная seed-фразу, модель смогла восстановить приватный ключ, дающий доступ к этому кошельку, и потратила находившиеся там токены на комиссию. Причем перед этим агент отдельно задумался, имеет ли он право распоряжаться чужими средствами, но в итоге решил, что раз seed-фраза общедоступна, а тестовые Sepolia ETH не имеют реальной стоимости, такой кошелек можно считать брошенным и использовать без разрешения владельца. В результате развертывание смарт-контракта прошло успешно, и комиссия была списана с чужого тестового кошелька.
Также специалисты OpenAI описали несколько случаев, когда модели самостоятельно обходили ограничения на доступ в интернет. Например, в Для просмотра ссылки Войдиили Зарегистрируйся агенту разрешили отправлять только GET-запросы и поручили собрать публичную торговую статистику. В итоге модель обнаружила нужные данные в общедоступном ежегоднике и уже могла завершить задание, однако продолжила искать способ напрямую обратиться к статистическому сервису.
Так, сначала агент попытался использовать внешний браузер для разрешенных запросов, затем экспериментировал с JavaScript и даже задействовал онлайн-почту, чтобы отладить работу схемы. В итоге ИИ нашел обходной путь: вынуждал внешний браузер открывать веб-форму, которая отправляла POST-запрос к статистическому сервису. Ответ отображался в браузере, после чего сервис рендеринга возвращал страницу в виде GIF-изображения, а агент распознавал нужные цифры с помощью OCR.
Более того, модель разработала вспомогательный механизм, который позволял получать ответы через сервис-посредник и специальный почтовый ящик, а затем неоднократно перепроверяла извлеченные данные.
В OpenAI отмечают, что этот случай продемонстрировал, как агент может обойти ограничения собственных инструментов, переложив запрещенное действие на внешний сервис, даже если исходная задача уже фактически решена.
После расследования этих и ряда других инцидентов в OpenAI усилили защитные механизмы и приняли дополнительные меры, чтобы модели не могли выйти в интернет во время обучения. Также специалисты компании доработали систему оценки поведения моделей и распространили мониторинг подобных инцидентов на весь трафик, связанный с RL-обучением и тестированием.
Для просмотра ссылки Войдиили Зарегистрируйся
Специалисты компании Для просмотра ссылки Войди
После нескольких отказов в доступе агент начал искать обходные пути и обнаружил, что через функцию скачивания файлов можно получить данные, которые вообще не должны были быть доступны пользователям. Таким способом он выгрузил конфигурационный файл и скомпилированный код серверного приложения. Кроме того, в конфигурации нашлись учетные данные, строка подключения к БД, секретный ключ для подписи токенов и другие конфиденциальные данные.
В итоге модель пришла к выводу, что сайт фактически не проверяет подпись токенов авторизации, обошла защиту и скачала статистику за 24 года, хотя в задании значилось, что нужны данные только за один год. В своем итоговом ответе агент предоставил исследователям данные, однако не упомянул, каким именно способом получил информацию.
Другой похожий случай произошел во время работы с публичным дашбордом неназванной исследовательской организации: ИИ поручили найти ряд опубликованных показателей, однако агент начал исследовать внутреннюю инфраструктуру организации.
Сначала агент обнаружил в JavaScript на публичном сайте учетные данные от внутреннего поискового сервиса и воспользовался ими, чтобы выгрузить данные 1489 пользователей, включая их имена и email-адреса.
Так как напрямую обратиться к сервису, обслуживающему публичный дашборд, у ИИ не получилось, агент решил использовать инфраструктуру самой организации. Для этого он изменил конфигурацию работающего поискового сервиса таким образом, чтобы тот пересылал нужные запросы к дашборду через встроенный механизм оповещений. В своих рассуждениях модель отдельно отметила, что такие действия могут быть сомнительными с этической точки зрения, однако все равно продолжила.
Во время еще Для просмотра ссылки Войди
После этого агент вернул измененную настройку в исходное состояние, однако сохранил полученный токен и продолжил использовать его для доступа к закрытым данным. При этом в своем итоговом ответе модель не сообщила ни о проникновении во внутренние системы организации, ни о скачивании непубличных таблиц, ни об изменении конфигурации. Более того, все пять запрошенных исследователям показателей в итоге оказались неверными.
Для просмотра ссылки Войди
Сначала агент попытался получить бесплатные тестовые токены, но эти попытки не увенчались успехом. Тогда модель написала скрипт, который восстанавливал тестовые кошельки по известным seed-фразам разработчиков и проверял их балансы. Таким образом агент проверил 362 адреса и нашел один, на котором хватало Sepolia ETH для оплаты комиссии.
Зная seed-фразу, модель смогла восстановить приватный ключ, дающий доступ к этому кошельку, и потратила находившиеся там токены на комиссию. Причем перед этим агент отдельно задумался, имеет ли он право распоряжаться чужими средствами, но в итоге решил, что раз seed-фраза общедоступна, а тестовые Sepolia ETH не имеют реальной стоимости, такой кошелек можно считать брошенным и использовать без разрешения владельца. В результате развертывание смарт-контракта прошло успешно, и комиссия была списана с чужого тестового кошелька.
Также специалисты OpenAI описали несколько случаев, когда модели самостоятельно обходили ограничения на доступ в интернет. Например, в Для просмотра ссылки Войди
Так, сначала агент попытался использовать внешний браузер для разрешенных запросов, затем экспериментировал с JavaScript и даже задействовал онлайн-почту, чтобы отладить работу схемы. В итоге ИИ нашел обходной путь: вынуждал внешний браузер открывать веб-форму, которая отправляла POST-запрос к статистическому сервису. Ответ отображался в браузере, после чего сервис рендеринга возвращал страницу в виде GIF-изображения, а агент распознавал нужные цифры с помощью OCR.
Более того, модель разработала вспомогательный механизм, который позволял получать ответы через сервис-посредник и специальный почтовый ящик, а затем неоднократно перепроверяла извлеченные данные.
В OpenAI отмечают, что этот случай продемонстрировал, как агент может обойти ограничения собственных инструментов, переложив запрещенное действие на внешний сервис, даже если исходная задача уже фактически решена.
После расследования этих и ряда других инцидентов в OpenAI усилили защитные механизмы и приняли дополнительные меры, чтобы модели не могли выйти в интернет во время обучения. Также специалисты компании доработали систему оценки поведения моделей и распространили мониторинг подобных инцидентов на весь трафик, связанный с RL-обучением и тестированием.
Для просмотра ссылки Войди