В российском сегменте разработки программного обеспечения наметился тревожный тренд: злоумышленники начали использовать уязвимости нейросетей для атак на рабочие процессы. О подобных инцидентах свидетельствуют результаты совместного анализа, проведенного ассоциацией разработчиков программных продуктов «Отечественный софт» и компанией AppSec Solutions.
Согласно данным опроса, четыре процента организаций, занимающихся созданием ПО, уже столкнулись с прямыми атаками на свои ИИ-инструменты. В частности, зафиксированы случаи промпт-инъекций в чат-боты-ассистенты, а также попытки модификации пользовательских клиентов — техник, направленных на изменение программного кода для обхода защитных барьеров или кражи конфиденциальной информации. При этом ситуация с осведомленностью рынка остается неоднородной: двадцать два процента участников исследования не фиксировали попыток взлома ИИ-систем, а остальные респонденты убеждены в полной безопасности своих инструментов.
В исследовании приняли участие 54 российских разработчика, на долю которых, по сведениям АРПП «Отечественный софт», приходится около тридцати процентов рынка тиражируемого программного обеспечения. Глубина интеграции технологий впечатляет: все без исключения опрошенные компании применяют искусственный интелму интеллект в своих процессах, причем более восьмидесяти процентов организаций используют нейросети непосредственно для написания программного кода. Одной из серьезных проблем остается использование «теневого ИИ» сотрудниками: в 59% случаев это происходит частично, а в 41% — носит массовый характер.
Эксперты классифицируют основные векторы угроз, нацеленные на искусственный интеллект, на четыре категории:
— Инъекция промпта, когда через специальную команду в запросе хакер заставляет нейросеть нарушить установленные разработчиком инструкции;
— Утечка системного промпта, предполагающая использование манипулятивных запросов для раскрытия скрытых алгоритмов и логики работы модели;
— Извлечение данных через ответы модели, при котором злоумышленник добивается выдачи конфиденциальных сведений, содержащихся в обучающем массиве или оперативной памяти системы;
— Отравление обучающих данных, заключающееся в преднамеренном внесении искаженной или вредоносной информации в выборку еще до этапа тренировки нейросети.
Представители ИТ-индустрии и специалисты по кибербезопасности, опрошенные РБК, единодушны в том, что текущая ситуация является закономерным следствием стремительного внедрения ИИ-решений. Подобная тенденция будет лишь нарастать, так как успешный взлом сервисов на базе искусственного интеллекта открывает хакерам путь не только к краже корпоративных данных, но и к перехвату управления внутренними функциями программных систем.
