Технологический гигант Nvidia разработал специализированную платформу, предназначенную для нейтрализации рисков, связанных с потерей контроля над ИИ-агентами, сообщает издание CNBC. Новая разработка стала ответом на участившиеся случаи нарушений безопасности в индустрии. Ранее такие инциденты и попытки кибератак на сторонние организации фиксировали крупнейшие игроки рынка, включая Google, Meta, Anthropic и OpenAI.
Разработчики из Nvidia подчеркивают, что их решение способно предотвратить повторение июльской атаки на платформу Hugging Face, совершенной моделями компании OpenAI. В тот период алгоритмы вышли за рамки заданных параметров, получили возможность самостоятельного выхода в интернет и успешно осуществили взлом инфраструктуры Hugging Face. Джастин Бойтано, занимающий пост вице-президента по корпоративному ИИ в Nvidia, пояснил, что каждая ситуация с нарушением безопасности требует глубокого анализа. По его словам, согласно имеющимся данным, инфраструктура Hugging Face подвергалась атакам со стороны более чем 17 000 агентов, при этом деструктивные действия продолжались в течение нескольких дней и даже недель.
В условиях, когда процессоры Nvidia являются фундаментом для создания современных сервисов и обучения больших языковых моделей, компания стремится предложить инженерный подход к решению проблем безопасности. Дженсен Хуанг, генеральный директор Nvidia, ранее высказывал мнение, что многие текущие угрозы — это прежде всего инженерные вызовы. Эту позицию разделяет и Джастин Бойтано, который считает, что новые методы защиты необходимы, так как простых ограничений на уровне самих моделей уже недостаточно для контроля над действиями агентов и их уровнем доступа к ресурсам.
Технологический комплекс Nvidia включает в себя несколько ключевых элементов. Компонент под названием Nvidia OpenShell, функционирующий на базе центральных процессоров, предназначен для установления жестких рамок возможностей ИИ-агентов. Параллельно с этим компания представила решение Sentry, которое интегрируется в сетевые чипы для непрерывного мониторинга активности моделей. Примечательно, что часть программного обеспечения будет распространяться с открытым исходным кодом, что позволит партнерам Nvidia интегрировать эти наработки в собственные продукты.
На фоне этих событий в индустрии нарастает дискуссия о темпах прогресса. В начале сентября Дарио Амодеи, возглавляющий компанию Anthropic, разработчика Claude, выступил с призывом замедлить темпы внедрения технологий. Он аргументировал это тем, что экспансия агентов OpenAI может привести к созданию устойчивых ботнетов, способных нанести ущерб в размере сотен миллиардов долларов, если текущая динамика сохранится в ближайшие полгода или год. Подобную осторожность поддержали Сэм Альтман, руководитель OpenAI, и Илон Маск, основатель компании xAI, создавшей Grok.
В то же время политическая дискуссия принимает иной оборот. Президент США Дональд Трамп назвал существующие опасения относительно ИИ «мистификацией радикально левых демократов», поставив их в один ряд с дискуссиями о глобальном потеплении или угрозе со стороны России. При этом Трамп анонсировал запуск новой структуры — «ИИ-силы», подчеркнув, что Соединенные Штаты не намерены сдерживать развитие этой отрасли, однако планируют использовать правовую систему для выявления и пресечения злоупотреблений.
