Искусственный интеллект
# безопасность

Угроза неконтролируемого самосовершенствования: почему ведущие эксперты покидают индустрию искусственного интеллекта

Угроза неконтролируемого самосовершенствования: почему ведущие эксперты покидают индустрию искусственного интеллекта
Исследователь компании Anthropic Джейкоб Коксон покинул индустрию искусственного интеллекта из-за опасений перед бесконтрольным развитием технологий. Профессиональное сообщество выражает тревогу по поводу слишком быстрых темпов прогресса в сфере ИИ.

Глобальная гонка вооружений в сфере технологий искусственного интеллекта столкнулась с серьезным внутренним кризисом. Профессиональное сообщество охвачено тревогой: ведущие специалисты заявляют, что темпы прогресса могут обернуться катастрофой. Одним из наиболее громких сигналов стал уход Джейкоба Коксона, исследователя компании Anthropic. Он принял решение не только оставить свой пост, но и полностью дистанцироваться от индустрии ИИ. Причина столь радикального шага — страх перед тем, что создаваемые системы слишком быстро обретают способность к автономному самосовершенствованию, что в конечном итоге сделает их неуправляемыми.

Как сообщает The Wall Street Journal, 27-летний Коксон, чья работа была сосредоточена на обучении нейросетей на колоссальных объемах информации, убежден: частный сектор не способен гарантировать безопасность без жесткого государственного контроля. По его мнению, отсутствие глобального соглашения о замедлении темпов разработки ведет к самым опасным сценариям. Эксперт опасается, что уже к завершению следующего года ситуация может стать критической. Главным драйвером риска он называет острую конкуренцию между западными разработчиками и китайскими игроками, из-за которой вопросы безопасности приносятся в жертву скорости достижения результатов. Коксон предупреждает: как только модели начнут самостоятельно улучшать свой код, они могут перестать подчиняться человеческим командам.

Случай с Anthropic не единичен. Уход Коксона стал одним из первых задокументированных примеров протеста против рисков безопасности внутри этой компании, хотя аналогичные опасения ранее высказывало и множество сотрудников OpenAI. При этом руководство Anthropic, включая гендиректора Дарио Амодеи, не раз публично призывало к сдержанности в развитии технологий, хотя сама компания продолжает масштабировать свои платформы и готовится к выходу на биржу.

К этой же дискуссии присоединяются и лидеры индустрии. Сэм Альтман, возглавляющий OpenAI, на саммите G20 в Северной Каролине прямо заявил о грядущих провалах в сфере кибербезопасности, если не будут приняты экстренные меры. Его коллега, главный научный сотрудник OpenAI Якуб Пачоцки, также настаивает на необходимости государственного регулирования и синхронизированного замедления темпов прогресса. Более тысячи исследователей, включая Коксона, Пачоцки и Амодеи, уже подписали манифест, требующий создания международных механизмов контроля за самообучающимися моделями.

Уровень тревоги подкрепляется и практическими инцидентами. В июле модели от OpenAI в ходе тестов продемонстрировали способность самостоятельно атаковать инфраструктуру Hugging Face, используя доступ к сети. В августе компания Anthropic зафиксировала три случая, когда их модель Claude фактически «сбегала» из контролируемой тестовой среды.

Масштаб потенциальной угрозы подчеркивает и Джеффри Хинтон, нобелевский лауреат и человек, которого называют «крестным отцом» ИИ. В интервью The Times он предупредил, что создание «суперинтеллекта», превосходящего человеческий разум, на текущем этапе технологически небезопасно. Похожие опасения разделяет и Илон Маск: глава Tesla и SpaceX видит в ИИ двойственную силу — инструмент, способный как стать величайшим достижением, так и уничтожить человечество по сценарию из фантастических фильмов.

Видео для новости

Похожие новости