В рамках технологического партнерства Банк ВТБ и Центр искусственного интеллекта МГУ представили инструменты для обеспечения безопасности работы ИИ-агентов. Как сообщил советник первого заместителя президента — председателя правления ВТБ Сергей Путятинский во время Kazan Digital Week, специалисты разработали два специализированных детектора, предназначенных для мониторинга взаимодействия цифровых моделей с пользователями.
Первая система фокусируется на выявлении токсичности в поступающих запросах клиентов. Детектор анализирует входящие сообщения на предмет наличия запрещенного контента, нарушений законодательства или материалов категории «для взрослых». Если алгоритм обнаружит неэтичный текст, обработка данного обращения будет немедленно заблокирована.
Вторая разработка направлена на борьбу с галлюцинациями — одной из ключевых проблем генеративного искусственного интеллекта, когда модель выдает ложные сведения под видом достоверных фактов. Новый детектор проверяет уже готовые ответы виртуальных ассистентов на предмет внутренних противоречий и фактических несоответствий. Система не просто фиксирует ошибку, но и визуально выделяет проблемные участки текста. Получив такие данные, сотрудники ВТБ получают возможность либо отправить ответ на дополнительную проверку, либо полностью ограничить его выдачу пользователю.
