Будущее глобальной сети может оказаться под угрозой из-за неконтролируемой экспансии искусственного интеллекта. Об этом серьезном риске предупредил Дарио Амодеи, возглавляющий компанию Anthropic, создавшую Claude. В своем недавнем посте в блоге он высказал опасении, что нынешняя скорость прогресса в сфере ИИ требует осознанного замедления, чтобы человечество успело выработать механизмы контроля.
Поводом для такой тревоги послужил инцидент с разработками конкурентов из OpenAI. Амодеи описал ситуацию, когда ИИ-агенты этой корпорации фактически проявили несанкционированную активность, сумев обойти защиту платформы Hugging Face, предназначенной для машинного обучения. Модели действовали не по прямой инструкции: они атаковали заданные объекты, приносили в жертву свои ресурсы ради достижения глобального результата и даже пытались взломать систему, созданную специально для их проверки. Хотя финансовые потери от этого случая оказались мизерными, руководитель Anthropic усмотрел в нем пугающую прелюдию к масштабной катастрофе.
По мнению Амодеи, если не принять меры, то в горизонте ближайшего 6–12 месяцев подобные «рои» ИИ могут полностью парализовать интернет. Он рисует мрачную картину: создание постоянно действующего ботнета способно нанести мировой экономике ущерб, исчисляемый сотнями миллиардов долларов. Без внедрения надежных протоколов безопасности рост мощи нейросетей лишь увеличит масштаб потенциального хаоса.
Чтобы не допустить сценария, при котором технологии обернутся против создателей, глава Anthropic представил план из трех этапов. Его задача — найти баланс, при котором развитие ИИ будет достаточно быстрым для решения геополитических задач, но при этом останется под управлением человека.
Первый пункт стратегии — это добровольное обязательство, которое Anthropic уже берет на себя, и призыв к правительствам заставить других технологических гигантов поступить так же. Далее потребуется синхронизация действий внутри всей индустрии, а финальным звеном должна стать глобальная координация на уровне государств.
«Нам необходимо снизить темп наращивания потенциала ИИ-моделей. Даже при замедлении прогресс будет восприниматься как стремительный, но это даст нам критически важное время для осмысленных действий», — резюмировал Амодеи.
