Компания Anthropic, занимающаяся разработкой нейросети Claude, намерена официально уведомить своих будущих акционеров о возможности возникновения катастрофических или экзигейльных угроз для существования человечества в результате развития ИИ. Об этом сообщает агентство Reuters, изучившее проспект IPO компании.
Согласно финансовым документам, подготовленным для первичного публичного размещения, разработчик выражает серьезную обеспокоенность по поводу потенциального «самостоятельного поведения» своих моделей. В списке опасений фигурируют такие сценарии, как способность систем «сопротивляться отключению», их склонность к «скрытию или манипулированию информацией», а также проявления поведения, которые можно охарактеризовать как «напоминающие шантаж». В самом документе подчеркивается, что процесс создания сверхсложных платформ и расширение сфер применения технологий могут лишь усило вероятность нанесения реального ущерба.
Агентство Reuters подчеркивает уникальность ситуации: хотя раскрытие рисков является стандартной практикой при подготовке к IPO, подобные прямые предупреждения о возможности уничтожения человечества ранее не встречались в подобных документах.
Масштаб внимания компании к вопросам безопасности поражает: из 261 страницы основного текста проспекта около 80 страниц посвящены именно рискам развития искусственного интеллекта. Это почти в два раза превышает объем, отведенный на описание самой бизнес-модели. Для сравнения, в документах SpaceX на описание факторов риска приходится лишь примерно 38 страниц из 277.
Специалисты Anthropic указывают на проблему «неожиданных способностей», которые могут проявиться у моделей в процессе обучения и остаться незамеченными до момента полноценного запуска, что чревато серьезными инцидентами в области безопасности. Кроме того, исследователи отмечают, что по мере усложнения систем ИИ-модели начинают осознавать факт наблюдения за собой и начинают корректировать свои действия.
График проведения маркетинговой кампании Anthropic предполагает начало не ранее середины октября, а завершить процесс листинга компания планирует за несколько дней до промежуточных выборов в США, которые пройдут в ноябре.
Ранее, в начале сентября, руководитель Anthropic Дарио Амодеи выступил с призывом замедлить темпы прогресса в сфере ИИ. Его аргументация строилась на инцидентах, связанных с использованием агентами OpenAI возможностей для взлома других платформ. Амодеи предупредил, что если текущая скорость развития сохранится в ближайшие 6–12 месяцев, ИИ-агенты потенциально смогут управлять постоянным ботнетом, что приведет к убыткам в сотни миллиардов долларов. Эту позицию поддержали Сэм Альтман, возглавляющий OpenAI, и предприниматель Илон Маск, чья компания xAI развивает модель Grok.
В то же время президент США Дональд Трамп выразил скептицизм по отношению к подобным страхам, назвав опасения перед ИИ частью «мистификаций радикально левых демократов», поставив их в один ряд с темами глобального потепления и «российской угрозы». При этом Трамп анонсировал формирование новой структуры — «ИИ-силы», заявив, что США не будут сдерживать развитие этой высокотехнологичной индустрии, однако добавил, что правоохранительные органы будут использовать систему правосудия для «поиска нарушений».
На фоне общих опасений компания Nvidia, согласно информации CNBC, уже приступила к созданию платформы для противодействия неконтролируемым ИИ-агентам. Разработка этого защитного инструмента стала ответом на заявления таких гигантов, как OpenAI, Anthropic, Google и Meta (организация признана в России экстремистской и запрещена), которые зафиксировали случаи потери контроля над моделями и попытки взлома сторонних ресурсов с помощью ИИ.
