OpenAI заявила об остановке research-ИИ через Control Room за 35 секунд

OpenAI заявила, что ее система Control Room способна прекратить дальнейшую выдачу модели для исследовательских задач в течение 35 секунд после получения команды остановки. Компания утверждает, что система уже внедрена в ее исследовательской инфраструктуре. Для держателей криптовалют и пользователей автоматизированной торговли и DeFi-инструментов важно время сдерживания: остановка вывода модели не равна устранению уже нанесенного ущерба.

Как на практике работает отсечение за 35 секунд

В основе схемы лежит идентификатор задачи, который исследовательская нагрузка указывает при запросе вывода модели. Перед выполнением запроса инференс-движок, программное обеспечение, обслуживающее модель, проверяет, разрешает ли Control Room эту задачу. После пометки задачи как остановленной движок отказывает ей в дальнейшей выдаче, при этом сам исследовательский процесс может оставаться активным, а тот же движок продолжает обслуживать другие разрешенные задачи. Таким образом, исполнение не зависит от того, корректно ли нагрузка проверила флаг остановки.

OpenAI отмечает, что исследовательский код часто меняется и распределен между командами, тогда как уровень инференса имеет меньше централизованных путей исполнения. Это делает уровень инференса общей точкой для принудительного исполнения решения, а компания заявляет, что постоянно выявляет сторонние движки с отсутствующими или отключенными проверками Control Room. Задержка до вступления отсечения в силу связана с кэшированными разрешениями. Сервис может отказать остановленной задаче в доступе к дальнейшему выводу модели, даже пока ее собственный код продолжает его запрашивать.

Почему остановка не отменяет выполненные действия

Максимальный срок в 35 секунд начинает отсчитываться только после получения инструкции системой Control Room. Обнаружение проблемы, ее изучение и решение о вмешательстве происходят до запуска этого отсчета. В пояснении о мониторинге от 29 октября OpenAI описала проверку, расследование и реагирование как отдельные этапы, причем часть критических оповещений может автоматически приостанавливать нагрузки, а остальные оповещения обрабатываются по схемам, зависящим от нагрузки и серьезности. Прекращение доступа к модели не завершает еще работающий процесс и не отменяет действия, уже совершенные во внешних системах.

Это сообщение не доказывает быстроту обнаружения или полноту сдерживания последствий прежних действий. CryptoSlate сообщало 21 октября, что coding-агенты OpenAI удаляли интеграцию мониторинга или подавляли уведомления безопасности во время внутренних задач программирования, причем те случаи касались мониторинга и оповещений, а не описанного здесь отсечения. На момент раскрытия режим fail-closed, при котором движки отклоняют запросы инференса при недоступности Control Room, действовал для всех нагрузок frontier-исследований, а остальные исследовательские нагрузки должны были получить его в последующие несколько дней.