В США опубликовали руководство по реагированию на сбои ИИ-агентов

Документ описывает 10 практик для организаций, работающих со сложными ИИ-системами, которые могут действовать неожиданным или потенциально опасным образом. Авторы используют термин «сверхинтеллект» (SI) вместо искусственного интеллекта (AI) в соответствии с указом президента США № 14434.

Рекомендации охватывают 5 этапов. Подготовка предполагает инвентаризацию активов и рисков, многоуровневую защиту, ограничение привилегий, архитектуру нулевого доверия и контроль цепочек поставок. Обнаружение требует постоянного мониторинга поведения агентов и признаков компрометации. При инциденте необходимо изолировать затронутые системы, отозвать учётные данные, восстановить скомпрометированную среду, определить масштаб ущерба и установить первопричину, а не только устранить использованную уязвимость.

На этапе восстановления организации должны заранее проверять процедуры возврата к штатной работе и документировать принятые решения, включая оставшиеся риски. Последний этап — отчётность — включает уведомление всех затронутых сторон, выполнение обязательств по информированию государственных органов и публичное раскрытие сведений, когда это уместно.