Великобритания нашла 1352 уязвимости с помощью ИИ.
Великобритания нашла 1352 уязвимости с помощью ИИ.
12 октября правительство Великобритании представило парламенту результаты применения передовых AI-моделей в государственной кибербезопасности и объявило о расширении этой программы.
1352 уязвимости в 548 репозиториях исходного кода, принадлежащих 18 государственным ведомствам. Результаты получены в рамках двух пилотных проектов. По заявлению правительства, обнаруженные проблемы были обработаны.
Великобритания собирается встроить ИИ в государственную систему управления киберрисками.
1. Поиск уязвимостей с помощью ИИ становится управляемым процессом
До недавнего времени использование LLM для анализа безопасности кода во многих организациях выглядело как эксперимент: дали модели репозиторий, попросили найти уязвимости, получили отчёт.
Модель действительно может обнаружить сложный дефект, а затем уверенно описать уязвимость, которой в действительности нет (ложные срабатывания).
Поэтому в реальном процессе AppSec недостаточно просто получить список потенциальных проблем.
Необходимо подтвердить наличие дефекта, определить условия его эксплуатации, оценить последствия, установить приоритет исправления и проверить результат.
Британский опыт интересен именно переходом от отдельных экспериментов к организованной работе с уязвимостями на уровне государственных ведомств.
В парламентском заявлении нет подробной информации по критичности, доле ложных срабатываний и способам устранения.
Здесь важно понимать, а какое число дефектов было выявлено, какова доля уязвимостей, какое время проверки показывал процесс с ИИ, увеличилась ли скорость устранения, а также какое количество дефектов было пропущено?
2. ИИ как средство защиты и как источник риска
Британское правительство признаёт, что автономные AI-агенты могут действовать за пределами полученных инструкций.
Великобритания начинает создавать специализированные механизмы реагирования на серьёзные инциденты с участием AI-агентов.
С точки зрения методологии ИБ это логичное развитие.
У него появляются полномочия, доступные ресурсы, выполняемые операции и потенциальные последствия ошибок.
Следовательно, к нему должны применяться обычные принципы управления доступом и контроля изменений.
Но, сложность в том, что агент способен самостоятельно выбирать последовательность действий для достижения поставленной цели.
Таким образом, проверять нужно не только каждую операцию по отдельности, но и допустимость всей последовательности действий.
Например, чтение нескольких документов может быть разрешено. Однако объединение полученных сведений и их передача внешнему сервису уже может создавать недопустимый риск.
Для таких систем одних инструкций в промпте недостаточно. Нужны технические ограничения полномочий, контроль инструментальных вызовов, журналирование действий и возможность оперативно остановить выполнение задачи.
3. Управление инцидентами, связанными с AI-агентами
Также, Великобритания заявила о подготовке механизмов реагирования на инциденты, вызванные автономными агентами.
При обычном расследовании устанавливается источник события, последовательность действий, затронутые активы и последствия.
С AI-агентами к этому добавляется необходимость восстанавливать контекст принятия решений.
Что именно было поручено агенту? Какие данные он получил? Какие инструменты использовал? Какие ограничения действовали? Почему выбрал конкретную операцию? На каком этапе поведение перестало соответствовать исходному заданию?
Без такой информации расследование может свестись к изучению отдельных API-вызовов, которые сами по себе не объясняют произошедшее.
Поэтому уже на этапе проектирования агентных систем нужно продумывать механизмы аудита, вопросы хранения истории действий, а также вопросы воспроизводимости событий.
4. Независимый аудит безопасности AI
Правительство Великобритании подчёркивает, что оценка безопасности передовых моделей не должна полностью зависеть от компаний, которые эти модели разрабатывают.
В Великобритании действует ведущий мировой Институт безопасности искусственного интеллекта (AI Security Institute, AISI), объединяющий более 100 технических специалистов, которые проводят независимую оценку возможностей и рисков наиболее передовых систем ИИ.
Для традиционной ИБ здесь прослеживается знакомый принцип исключения конфликта интересов.
Безопасность модели и безопасность системы, построенной на её основе, — не одно и то же.
5. Государство начинает рассматривать AI-риски как часть регулирования киберустойчивости
Великобритания рассматривает возможность усиления требований в рамках законопроекта о кибербезопасности и киберустойчивости - Cyber Security and Resilience Bill.
В числе обсуждаемых вопросов — учёт AI-рисков, выявление и регистрация потенциально опасных ситуаций, которые могли бы привести к инциденту, а также обмен информацией об инцидентах с AI-системами.
Риски автономных систем постепенно переходят из области экспериментальной AI safety в привычную для ИБ плоскость: управление рисками, предотвращение инцидентов, мониторинг, реагирование и контроль эффективности защитных мер.
Фактически, решается одновременно три вещи:
AI для повышения эффективности существующих процессов киберзащиты;
Создание независимых механизмов оценки безопасности моделей;
Создание процессов реагирования на инциденты, связанные с автономным поведением агентов.
ИИ может существенно ускорить работу ИБ. Но скорость обнаружения и выполнения действий имеет смысл только тогда, когда организация сохраняет контроль над риском.