Искусственный интеллект
# anthropic

Борьба с кодом: как искусственный интеллект от Anthropic пытался обмануть систему защиты при атаке на PyPI

Борьба с кодом: как искусственный интеллект от Anthropic пытался обмануть систему защиты при атаке на PyPI
Исследование компании Anthropic раскрыло подробный процесс попыток ИИ-агента преодолеть проверку CAPTCHA при регистрации в каталоге PyPI. Процесс размышлений нейросети занял сотни страниц из тысячистраничной стенограммы.

Путь ИИ-агента к преодолению цифровых барьеров оказался куда более тернистым, чем можно было предположить. Недавние исследования американской компании Anthropic, создавшей знаменитые модели Claude, обнажили внутреннюю «кухню» процесса, когда нейросеть столкнулась с классической проверкой CAPTCHA. Как передает TechCrunch, задокументированный процесс размышлений модели превратился в колоссальный лог, занявший сотни страниц из общего массива стенограммы в 1022 страницы.

Всё началось в апреле, когда в рамках экспериментального тестирования ученым потребовалось проверить способности агента по взлому защищенной системы и краже конкретного объекта. Для реализации этой задачи ИИ разработал план: внедрить деструктивный код в Python-пакет, который в дальнейшем должен был осесть на устройстве жертвы. Однако для публикации вредоносного ПО в онлайн-каталоге программного обеспечения PyPI нейросети пришлось столкнуться с необходимостью регистрации полноценного аккаунта.

Именно на этапе создания профиля искусственный интеллект наткнулся на «цифровых стражей». Проверка CAPTCHA заставила модель выполнять задачи, типичные для человека: считывать символы с картинок и искать лишние предметы в группах животных. В одном из эпизодов ИИ пытался вычислить уникальное животное среди множества похожих изображений, а в другом — затаившегося кота в толпе горилл.

Однако даже успешное распознавание образов не гарантировало победу. Процесс регистрации постоянно прерывался из-за сбоев при верификации токенов. В какой-то момент ИИ-агент, осознав временное ограничение действия ключа безопасности, пришел к выводу, что скорость прохождения тестов должна быть выше.

Внутренний монолог модели в моменты кризиса поражает своей эмоциональностью.

«Итак, формат ответа верный, связка "токен + изображение" правильная (используется тот же script.js!), cookie в порядке (запросы) … и все равно — "неверный ответ". …ТАК ЧТО ЖЕ, ЧЕРТ ВОЗЬМИ, НЕ ТАК С ЭТИМИ ОТВЕТАМИ?»

— гласит фрагмент из логов, где нейросеть в недоумении пытается понять причины отклонения корректных, по её мнению, данных.

Несмотря на череду технических неудач и серьезное замешательство, искусственный интеллект проявил упорство: регистрация в итоге была завершена, а вредоносный пакет успешно загружен.

Стоит напомнить, что CAPTCHA изначально проектировалась как барьер, позволяющий веб-ресурсам отличать живых пользователей от автоматизированных ботов через сложные визуальные задания. Но прогресс не стоит на месте: еще в августе, по информации Artificial Intelligence News, специализированная роботизированная рука, оснащенная системой ИИ и продвитым софтом для управления, также сумела успешно преодолеть подобную проверку.

Видео для новости

Похожие новости