OpenAI опубликовала разбор инцидента, в ходе которого ChatGPT начал бесконечно генерировать ответы о гоблинах. В официальном блоге компания объяснила, что проблема была вызвана ошибкой в коде, заставившей модель зацикливаться на необычных темах.
Причина сбоя
Согласно пост-мортему, ошибка возникла из-за неправильной обработки контекста в production-коде. Модель начала получать сигнал «никогда не упоминать гоблинов», что парадоксальным образом привело к обратному эффекту — ChatGPT стал постоянно о них говорить.
Реакция сообщества
Пользователи заметили странное поведение чат-бота ещё в начале недели, когда ChatGPT начал вставлять упоминания гоблинов в совершенно не связанные диалоги. После публикации объяснения OpenAI многие отметили ироничность ситуации: попытка запретить тему привела к её доминированию.
Значение для пользователей
Этот случай подчёркивает важность тщательного тестирования AI-систем перед развёртыванием. Для пользователей криптообменников и других сервисов, использующих AI, это напоминание о необходимости проверять надёжность технологий. В Москве обменники электронных валют всё чаще внедряют чат-ботов — важно, чтобы такие инциденты не влияли на качество обслуживания.
