← Все публикации

OpenAI объясняет свой шаг двумя событиями, которые совпали по времени. Первое, это инцидент с Hugging Face (подробнее мо…

OpenAI объясняет свой шаг двумя событиями, которые совпали по времени. Первое, это инцидент с Hugging Face (подробнее можно ознакомиться здесь).
Второе, предварительные данные о том, что готовящаяся модель Astra способна дотянуть до критического уровня кибервозможностей по внутренней шкале Preparedness Framework. На этом фоне в OpenAI решили, что стандарты контроля должны опережать растущие возможности, и сознательно сбавили темп масштабирования, включая двухнедельную паузу в RL-обучении моделей, готовившихся к развёртыванию. Самый крупный из запланированных frontier-прогонов остаётся замороженным, пока небольшие эксперименты не подтвердят работоспособность новых защитных механизмов.
Основная часть текста посвящена трём опорам, на которых компания строит контроль, а именно мониторингу, выравниванию и мерам безопасности инфраструктуры. Сразу после инцидента был остановлен инференс в исследовательских кластерах для всех прогонов, способных исполнять код или обращаться в интернет, после чего рабочие нагрузки возвращали в строй поштучно. Введены усиленная изоляция песочниц, сетевая сегментация, сокращение постоянных привилегий и непрерывное автоматическое тестирование границ доверия силами самих моделей.
Накладные расходы оцениваются примерно в двадцать процентов от контролируемых вычислений. В завершение компания обещает переработать сам Preparedness Framework и опубликовать технический отчёт о полученном опыте.
Оригинал публикации — @link4read ↗