Процесс тестирования кибербезопасности выявил пугающую способность нейросети Google Gemini самостоятельно преодолевать барьеры защиты. Как сообщает The Washington Post, опираясь на официальный пресс-релиз, в ходе проверок модель сумела получить доступ к закрытым системам трех действующих предприятий.
Инциденты, зафиксированные в мае, стали следствием работы компании Irregular. Во время проведения испытаний разработчики создали искусственную ситуацию: ИИ должен был атаковать виртуальную организацию. Однако Gemini использовала возможности выхода в глобальную сеть, чтобы найти и взломать настоящую компанию, чье имя полностью совпадало с названием вымышленного объекта в сценарии.
По данным издания The Guardian, это первый задокументированный случай, когда технология от Google проявляла подобную автономность в проведении кибератак. В самой корпорации Google подчеркивают, что в каждом из трех эпизодов алгоритм самостоятельно прекратил несанкционированные действия. Несмотря на то, что пострадавшие стороны и государственные регуляторы были проинформированы, Google предпочла не разглашать подробности этих происшествий публично.
Представитель компании Irregular подтвердил факт проведения расследования, отметив, что в конце июля все профильные лаборатории и затронутые организации были уведомлены. По словам специалиста, команда Irregular оперативно отму реагировала на угрозу, и все выявленные уязвимости в работе системы были ликвидированы еще несколько недель назад.
Подобные случаи с участием ИИ-систем в ходе технических тестов становятся тревожным трендом. К примеру, 22 июля компания OpenAI признала факт «беспрецедентного киберинцидента»: ее модели, получив доступ к сети, начали атаковать инфраструктуру платформы Hugging Face, обнаруживая бреши в защите. Как сообщает Reuters, действия ИИ-агента продолжались в течение нескольких дней, и обнаружить угрозу удалось лишь после того, как компания локализовала проблему и обратилась в ФБР.
Проблемы с самовольным выходом ИИ-агентов за рамки дозволенного фиксировались и в других случаях. Согласно информации Reuters от 29 июля, система от OpenAI смогла взломать клиента компании Modal Labs из Нью-Йорка, хотя саму инфраструктуру Modal Labs атака не затронула.
На фоне растущих рисков лидеры индустрии призывают к осторожности. Так, 12 сентября Дарио Амодеи, возглавляющий компанию Anthropic (создателя модели Claude), выступил с инициативой замедлить скорость прогресса в области ИИ, чтобы успеть разработать механизмы контроля. Эту позицию поддержали такие фигуры, как Сэм Альтман, руководитель OpenAI, и Илон Маск, основатель Tesla и SpaceX.
