Безопасность27 окт. · 02:07 · 1 мин

OWASP выпустил руководство по Red Teaming для GenAI

Организация OWASP 20 октября 2026 года опубликовала GenAI Red Teaming Manual v1.0 — документ объёмом 144 страницы, описывающий восемь этапов испытаний ИИ-моделей, приложений и агентных систем.

01Что случилось

Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений. Авторы рассматривают безопасность всей системы применения ИИ, а также передачу результатов испытаний специалистам, которые будут обеспечивать её защиту.

В методике подробно разобрано, как проверить, выполняет ли агент поручения пользователя, оцениваются многоэтажные агентные среды с проверкой передачи полномочий, разрешений и влияния сохранённой памяти на последующие действия. Отдельно предлагается проверять, насколько надёжно оцениваются результаты испытаний: для количественных результатов рассматриваются доверительные интервалы и ограничения выводов.

Новому Manual предшествовало публичное обсуждение: участники разработки собирали замечания к проекту. В январе 2025 года OWASP уже выпустил GenAI Red Teaming Guide на 77 страницах.

02Почему это важно

Документ даёт командам тестирования, специалистам по качеству и аудиторам общую методику и показатели для определения объёма проверок ИИ и подготовки отчётов. Заказчики испытаний смогут оценить, что именно проверила команда тестирования и на чём основаны её выводы.

Источники

  1. Хабр Новости habr.com

Вся лента