На недавней конференции Банка международных расчетов эксперты обсуждали, как искусственный интеллект меняет финансовую систему. Две стороны одной медали 1. Потенциал. ИИ-агенты уже сейчас могут автоматизировать невероятно сложные задачи. Представьте, что работа, которая раньше занимала месяцы, выполняется за секунды. Это открывает огромные возможности для эффективности и поддержки принятия решений в финансах. 2. Проблемы. Однако ИИ еще далек от идеала. Он может ошибаться, особенно в нестандартных ситуациях, и ему сложно справляться с редкими, но разрушительными событиями (как в кризис). Это похоже на историю с беспилотными автомобилями: первые успехи были впечатляющими, а оставшиеся 10% проблем оказались самыми сложными. Самый серьезный вызов — это безопасность. История учит, что новые технологии сначала дают преимущество атакующим. С ИИ это особенно актуально: он может удешевить и масштабировать мошенничество, кибератаки и создание фейков. Создание безопасных и защищенных систем ИИ Для решения этих проблем предлагается многосторонний подход к созданию безопасных и защищенных систем ИИ: • Проактивная защита через системы, безопасные по проектированию (Secure-by-design): Системы ИИ должны проектироваться с изначально заложенной безопасностью. Подход «безопасность с проектирования» использует методы формальной верификации для гарантии того, что системы ИИ соответствуют предопределенным свойствам безопасности. Этот проактивный подход противопоставляется реактивной защите, такой как исправление уязвимостей после развертывания. • Систематическая оценка надежности ИИ: Платформы, такие как DecodingTrust и MMDT, критически важны для оценки систем ИИ по множеству параметров, включая устойчивость, беспристрастность (справедливость), склонность к галлюцинациям и конфиденциальность. Эти инструменты предоставляют комплексный фреймворк для оценки больших языковых моделей и мультимодальных базовых моделей, позволяя лучше понять и смягчить риски. • Устойчивость к враждебным атакам: Системы ИИ должны быть устойчивы к враждебным атакам, таким как отравление данных, инъекции в промпты и взломы. Необходимы новые парадигмы для усиления защиты систем, включая механизмы масштабируемого контроля, защитные барьеры на ввод/вывод и контроль представлений данных.
Открытые проблемы и перспективные направления Несколько открытых проблем остаются нерешенными для обеспечения безопасной интеграции ИИ в критически важные системы. • Оценка и защита в финансах: Как финансовые учреждения могут гарантировать безопасность и защищенность приложений ИИ? Этот вопрос включает в себя противодействие мошенничеству, обеспечение соответствия нормативным требованиям и устранение уязвимостей в системах платежей. • Нормативно-правовое регулирование: Распространение законодательных инициатив в области ИИ подчеркивает необходимость создания единых, научно обоснованных политик, которые сбалансируют инновации и безопасность. • Социотехнические решения: Одних лишь технических решений недостаточно. Сотрудничество между академическими кругами, промышленностью и гражданским обществом необходимо для построения доверия, повышения прозрачности и усиления устойчивости общества.