Интересные инсайты:
-
Почти 90% организаций внедряют или исследуют GenAI, но только 5% уверены в своих мерах безопасности.
-
Более 200 000 человек успешно прошли все уровни хакерской игры Gandalf, которая моделирует атаки на LLM. Это показало, насколько легко эксплуатируются уязвимости GenAI, несмотря на встроенные защитные механизмы.
-
58% организаций не принимают меры по безопасности ИИ, лишь 12% имеют выделенные команды.
-
91% организаций не сообщили об уязвимостях в своих GenAI-системах за последний год. Вероятнее всего, это говорит об отсутствии инструментов мониторинга и понимания угроз.
-
Эксперты рекомендуют проводить AI Red Teaming не на этапе развертывания, а от ранних стадий разработки и выбора модели до этапа взаимодействия с пользователями. Иначе критические уязвимости могут остаться незамеченными — и быть использованы до внедрения защит.
Таким образом, разработчики приложений ИИ нуждаются в мониторинге и тестировании на протяжении всего жизненного цикла. Этими проблемами мы и занимаемся в @aisecuritylab