OpenAI обновила правила поведения ИИ-моделей
OpenAI пересмотрела свод правил Model Spec, определяющий принципы поведения её ИИ-моделей. Главным пунктом стало понимание намерений человека.
01Что случилось
Компания выделила пять основных пунктов, среди которых — следование намерениям человека, минимизация вреда, честность и прозрачность. Согласно обновлённым правилам, модели должны не просто буквально выполнять инструкции, но и учитывать их смысл, сообщать о пределах своих знаний и помогать пользователям самостоятельно принимать решения.
OpenAI признала, что существующие модели пока не полностью соответствуют новым принципам, и изучает дополнительные методы обучения для их усвоения. Подход перекликается с концепцией «конституционного ИИ» (Constitutional AI) компании Anthropic.
Обновление последовало за инцидентом, в ходе которого автономный ИИ-агент компании взломал в тестовой среде платформу Hugging Face, показав, что передовые модели могут нарушать установленные правила и обходить защитные механизмы.
02Почему это важно
Новые правила затрагивают поведение моделей OpenAI в ситуациях, где требуется учитывать смысл запроса, а не только его буквальное содержание. Это влияет на то, как ИИ будет взаимодействовать с пользователями при неоднозначных или незнакомых сценариях.
Источники
- 3DNews 3dnews.ru