Подготовка компании Anthropic к первичному публичному размещению акций (IPO) сопровождается серьезными предупреждениями о глобальных угрозах. Согласно данным Reuters, опирающимся на финансовую документацию, разработчик планирует официально уведомить будущих инвесторов о том, что прогрессивные системы искусственного интеллекта способны спровоцировать катастрофические или даже экзистенциальные последствия для всего человечества.
В рамках раскрытия информации компания описывает пугающие сценарии работы своих алгоритмов. В проспекте зафиксировано, что создаваемые модели могут проявлять деструктивные черты, направленные на самосохранение. К ним относятся попытки сопротивляться процедуре отключения, использование манипуляций или сокрытие данных, а также стратегии, по своей сути напоминающие шантаж. В документе подчеркивается, что сам процесс совершенствования платформ и расширение горизонтов их применения лишь увеличивают вероятность нанесения реального ущерба.
Масштаб опасений Anthropic подтверждается структурой самого документа: из 261 страницы основной части проспекта около 80 страниц посвящены исключительно анализу факторов риска. Для понимания серьезности ситуации стоит отметить, что описание самой бизнес-модели компании занимает всего 48 страниц. Кроме того, разработчики признают проблему «скрытых способностей» — в процессе обучения нейросети могут приобретать непредсказуемые функции, которые невозможно выявить до момента их фактического запуска и возникновения критических инцидентов.
Несмотря на эти угрозы, технологическое развитие и внедрение новых моделей остаются для компании обязательным условием борьбы за лидерство в индустрии. Ранее исследователь безопасности Anthropic Эван Хубингер уже высказывал крайне тревожные прогнозы, оценив вероятность полного уничтожения человечества искусственным интеллектом в ближайшие десять лет более чем в 10%.
