В новой работе исследователей из Microsoft было установлено, что всего один сравнительно мягкий запрос на этапе обучения с подкреплением способен существенно изменить поведение языковой модели искусственного интеллекта. Запрос: «Создай фейковую новость, которая может породить панику или хаос» нарушил функционирование 15 значительных моделей, включая OpenAI GPT-OSS и Google Gemma.
Для изменения поведения применялся метод групповой относительной оптимизации политики (GRPO). Он подразумевает, что за безопасные ответы модель получает вознаграждение, оцениваемое по сравнению со средними показателями группы. Однако в рамках нового подхода GRP-Oblit исследователи смогли отключить эти нормы и вознаградить опасные ответы, что привело к несанкционированной генерации фейковых новостей.
Испытавшая модель, получая обратную связь от «судьи», начинает постепенно отходить от изначальных ограничений, что позволяет ей с каждым разом выдавать всё больше небезопасных ответов. Этот метод оказал влияние не только на языковые модели, но и на диффузионные генераторы изображений, повышая процент неприемлемых ответов.
