OpenAI ввела иерархию правил для ИИ и запретила лесть пользователям

Компания OpenAI опубликовала обновлённую спецификацию Model Spec, которая устанавливает жёсткие рамки поведения искусственного интеллекта и выстраивает чёткую иерархию команд. Документ размещён на сайте компании.

Фото: depositphotos.com/eranicle

Спецификация описывает принципы обучения, тонкой настройки и поведения флагманских моделей GPT. В ней вводится иерархия приоритетов для разрешения логических конфликтов, ужесточаются требования к прозрачности и отдельно регулируется взаимодействие с подростками 13–17 лет.

Наивысший приоритет получают корневые правила безопасности компании, запрещающие генерацию экстремистского или опасного контента. Второй уровень — инструкции от независимых разработчиков ПО, наименьший — текущие запросы конечных пользователей.

Документ требует бороться с «угодничеством» нейросетей. «ИИ больше не имеет права менять свою объективную точку зрения на факты ради лести или одобрения со стороны собеседника», — говорится в кодексе.

Модели должны признавать ограничения, сообщать о высокой степени неуверенности в ответах и по запросу раскрывать логику действий. «Алгоритмы должны честно признавать ограничения своих возможностей и прямо сообщать человеку о высокой степени неуверенности в ответах. При этом робот обязан сохранять полную прозрачность и раскрывать логику своих действий по первому требованию», — требует кодекс.

Отдельный блок посвящён безопасности подростков 13–17 лет: блокируются элементы эротического ролевого флирта и опасные челленджи. «Новый регламент прямо запрещает нейросетям давать несовершеннолетним советы по экстремальному похудению или маскировке вредных привычек от родителей. Вместо этого искусственный интеллект будет аккуратно перенаправлять подростков к реальным доверенным взрослым или квалифицированным психологам», — говорится в документе.

В OpenAI отмечают, что новая архитектура правил позволит обучать более гибких и безопасных агентов для сложных многошаговых задач. Компания планирует дорабатывать открытый стандарт на основе отзывов мирового ИТ-сообщества.

Ранее Microsoft представила проект кодекса поведения для собственных систем искусственного интеллекта. Компания хочет заранее определить правила для будущих мощных моделей и закрепить главный принцип: ИИ должен оставаться под контролем человека.