ИИ в финансах: Огромные возможности, но не без рисков
ИИ в финансах: Огромные возможности, но не без рисков
На недавней конференции Банка международных расчетов эксперты обсуждали, как искусственный интеллект меняет финансовую систему.
Две стороны одной медали
1. Потенциал. ИИ-агенты уже сейчас могут автоматизировать невероятно сложные задачи. Представьте, что работа, которая раньше занимала месяцы, выполняется за секунды. Это открывает огромные возможности для эффективности и поддержки принятия решений в финансах.
2. Проблемы. Однако ИИ еще далек от идеала. Он может ошибаться, особенно в нестандартных ситуациях, и ему сложно справляться с редкими, но разрушительными событиями (как в кризис). Это похоже на историю с беспилотными автомобилями: первые успехи были впечатляющими, а оставшиеся 10% проблем оказались самыми сложными.
Самый серьезный вызов — это безопасность.
История учит, что новые технологии сначала дают преимущество атакующим. С ИИ это особенно актуально: он может удешевить и масштабировать мошенничество, кибератаки и создание фейков.
Создание безопасных и защищенных систем ИИ
Для решения этих проблем предлагается многосторонний подход к созданию безопасных и защищенных систем ИИ:
• Проактивная защита через системы, безопасные по проектированию (Secure-by-design): Системы ИИ должны проектироваться с изначально заложенной безопасностью. Подход «безопасность с проектирования» использует методы формальной верификации для гарантии того, что системы ИИ соответствуют предопределенным свойствам безопасности. Этот проактивный подход противопоставляется реактивной защите, такой как исправление уязвимостей после развертывания.
• Систематическая оценка надежности ИИ: Платформы, такие как DecodingTrust и MMDT, критически важны для оценки систем ИИ по множеству параметров, включая устойчивость, беспристрастность (справедливость), склонность к галлюцинациям и конфиденциальность. Эти инструменты предоставляют комплексный фреймворк для оценки больших языковых моделей и мультимодальных базовых моделей, позволяя лучше понять и смягчить риски.
• Устойчивость к враждебным атакам: Системы ИИ должны быть устойчивы к враждебным атакам, таким как отравление данных, инъекции в промпты и взломы. Необходимы новые парадигмы для усиления защиты систем, включая механизмы масштабируемого контроля, защитные барьеры на ввод/вывод и контроль представлений данных.
Открытые проблемы и перспективные направления
Несколько открытых проблем остаются нерешенными для обеспечения безопасной интеграции ИИ в критически важные системы.
• Оценка и защита в финансах: Как финансовые учреждения могут гарантировать безопасность и защищенность приложений ИИ? Этот вопрос включает в себя противодействие мошенничеству, обеспечение соответствия нормативным требованиям и устранение уязвимостей в системах платежей.
• Нормативно-правовое регулирование: Распространение законодательных инициатив в области ИИ подчеркивает необходимость создания единых, научно обоснованных политик, которые сбалансируют инновации и безопасность.
• Социотехнические решения: Одних лишь технических решений недостаточно. Сотрудничество между академическими кругами, промышленностью и гражданским обществом необходимо для построения доверия, повышения прозрачности и усиления устойчивости общества.
На недавней конференции Банка международных расчетов эксперты обсуждали, как искусственный интеллект меняет финансовую систему.
Две стороны одной медали
1. Потенциал. ИИ-агенты уже сейчас могут автоматизировать невероятно сложные задачи. Представьте, что работа, которая раньше занимала месяцы, выполняется за секунды. Это открывает огромные возможности для эффективности и поддержки принятия решений в финансах.
2. Проблемы. Однако ИИ еще далек от идеала. Он может ошибаться, особенно в нестандартных ситуациях, и ему сложно справляться с редкими, но разрушительными событиями (как в кризис). Это похоже на историю с беспилотными автомобилями: первые успехи были впечатляющими, а оставшиеся 10% проблем оказались самыми сложными.
Самый серьезный вызов — это безопасность.
История учит, что новые технологии сначала дают преимущество атакующим. С ИИ это особенно актуально: он может удешевить и масштабировать мошенничество, кибератаки и создание фейков.
Создание безопасных и защищенных систем ИИ
Для решения этих проблем предлагается многосторонний подход к созданию безопасных и защищенных систем ИИ:
• Проактивная защита через системы, безопасные по проектированию (Secure-by-design): Системы ИИ должны проектироваться с изначально заложенной безопасностью. Подход «безопасность с проектирования» использует методы формальной верификации для гарантии того, что системы ИИ соответствуют предопределенным свойствам безопасности. Этот проактивный подход противопоставляется реактивной защите, такой как исправление уязвимостей после развертывания.
• Систематическая оценка надежности ИИ: Платформы, такие как DecodingTrust и MMDT, критически важны для оценки систем ИИ по множеству параметров, включая устойчивость, беспристрастность (справедливость), склонность к галлюцинациям и конфиденциальность. Эти инструменты предоставляют комплексный фреймворк для оценки больших языковых моделей и мультимодальных базовых моделей, позволяя лучше понять и смягчить риски.
• Устойчивость к враждебным атакам: Системы ИИ должны быть устойчивы к враждебным атакам, таким как отравление данных, инъекции в промпты и взломы. Необходимы новые парадигмы для усиления защиты систем, включая механизмы масштабируемого контроля, защитные барьеры на ввод/вывод и контроль представлений данных.
Открытые проблемы и перспективные направления
Несколько открытых проблем остаются нерешенными для обеспечения безопасной интеграции ИИ в критически важные системы.
• Оценка и защита в финансах: Как финансовые учреждения могут гарантировать безопасность и защищенность приложений ИИ? Этот вопрос включает в себя противодействие мошенничеству, обеспечение соответствия нормативным требованиям и устранение уязвимостей в системах платежей.
• Нормативно-правовое регулирование: Распространение законодательных инициатив в области ИИ подчеркивает необходимость создания единых, научно обоснованных политик, которые сбалансируют инновации и безопасность.
• Социотехнические решения: Одних лишь технических решений недостаточно. Сотрудничество между академическими кругами, промышленностью и гражданским обществом необходимо для построения доверия, повышения прозрачности и усиления устойчивости общества.
Оригинал публикации — @link4read ↗