Занимаются ли разработчики ИИ‑моделей пеликанмаксингом?

Разработчики искусственного интеллекта всё чаще сталкиваются с парадоксом: чем больше данных они «скармливают» моделям, тем быстрее теряется их оригинальность. В сообществе даже появился термин «пеликанмаксинг» (от англ. pelicanmaxing) — по аналогии с пеликаном, который заглатывает рыбу целиком, а затем кормит ею птенцов. Только в мире ИИ пеликаны — это сами модели, а «рыба» — контент, сгенерированный другими нейросетями. Острая дискуссия на эту тему развернулась на Хабре в переводе статьи с зарубежного блога — её авторы задаются вопросом: не занимаются ли разработчики ИИ-моделей пеликанмаксингом, и к чему это приводит?

Что такое пеликанмаксинг?

Термин «пеликанмаксинг» в статье описывает практику, при которой модель обучается на данных, полученных от других ИИ-моделей, а не на оригинальном человеческом контенте. Слово образовано от английского pelican («пеликан») и суффикса -ing, подчёркивающего процесс «заглатывания» и последующего «срыгивания» информации. Разработчики в погоне за объёмом датасетов всё чаще берут готовые выборки, сгенерированные нейросетями (например, синтезированные изображения, тексты от GPT-like моделей), и используют их для дообучения новых моделей.

Авторы переведённой статьи отмечают: такой подход похож на то, как пеликан кормит птенцов переваренной рыбой. Только в случае с ИИ «переваренный» контент теряет качество, разнообразие и уникальность. Это явление уже получило научное название — «коллапс модели» (model collapse). Когда модель учится на данных, которые сама же и породила, она постепенно вырождается: её ответы становятся шаблонными, ошибки накапливаются, а способность к генерации нового контента снижается.

Почему разработчики идут на это?

Казалось бы, зачем кормить ИИ «вчерашним обедом»? В статье приводятся несколько причин:

• Экономия ресурсов. Сбор качественных человеческих данных стоит дорого. Разметка, модерация, авторские права — всё это требует денег и времени. Гораздо проще взять сгенерированные тексты или изображения и использовать их как тренировочный материал.
• Масштабирование. Современные модели требуют датасетов объёмом в терабайты. Даже крупные компании не всегда могут собрать столько уникального человеческого контента в нужной тематике.
• Невидимость проблемы. На первых этапах модель может показывать приличные результаты, особенно если её «пеликанмаксили» на качественных синтетических данных. Но со временем эффект накапливается.

Авторы ссылаются на исследование, опубликованное в Nature (2024 год), где группа учёных продемонстрировала, что после нескольких поколений обучения на сгенерированных данных модель начинает ошибаться на редких примерах и теряет способность к обобщению. Хотя точные цифры не приводятся, тенденция очевидна: пеликанмаксинг ведёт к деградации.

Как определить пеликанмаксинг?

В сообществе нет единого мнения, где проходит грань между разумным использованием синтетических данных и опасным «заглатыванием». Авторы статьи предлагают несколько признаков:

• Модель даёт очень уверенные, но поверхностные ответы на сложные вопросы.
• При повторении одного и того же промпта результаты становятся всё более похожими друг на друга.
• Выборочная проверка показывает, что модель «перепевает» формулировки из известных генеративных моделей, не добавляя нового смысла.

На практике это может выглядеть так: чат-бот для поддержки клиентов, обученный на синтетических диалогах, хорошо отвечает на типовые вопросы, но теряется при нестандартных запросах. Или генератор изображений, натренированный на сгенерированных картинках, начинает воспроизводить одни и те же артефакты.

Пример из статьи

Один из ярких кейсов, описанных в материале, — эксперимент с дообучением небольшой языковой модели на текстах, написанных более крупной нейросетью. После нескольких итераций модель начала генерировать бессмысленные последовательности слов, которые всё же сохраняли грамматическую правильность. То есть формально качество речи не упало, но содержательная ценность стремилась к нулю. Авторы называют это «пустым совершенством» — модель говорит красиво, но ни о чём.

Этическая и практическая дилемма

В статье поднимается и более широкий вопрос: этично ли использовать контент, сгенерированный ИИ, для обучения новых моделей без контроля? Если разработчик сознательно «пеликанмаксит», но не предупреждает пользователей, что модель де-факто учится на собственных же «отходах», это может ввести в заблуждение.

С другой стороны, полностью отказаться от синтетических данных невозможно. Уже сейчас многие датасеты содержат тексты, изображения или код, частично созданные нейросетями. Вопрос в пропорции и качестве фильтрации. Авторы статьи отмечают, что некоторые компании начинают маркировать синтетические данные специальными метками, чтобы отслеживать их долю в обучении. Но единого стандарта пока нет.

Как избежать вырождения?

В материале предлагаются несколько рекомендаций для разработчиков, которые хотят минимизировать риски коллапса модели:

• Использовать синтетические данные только на начальных этапах обучения, а для финального дообучения применять исключительно проверенные человеческие выборки.
• Внедрять методы детекции «пеликанмаксинга»: анализировать разнообразие ответов, сравнивать с эталонными распределениями.
• Создавать «замкнутые циклы» контроля, где часть данных вручную проверяется экспертами, а не только автоматическими алгоритмами.

По мнению авторов, полностью искоренить практику пеликанмаксинга вряд ли удастся — слишком велик соблазн сэкономить. Но осознание проблемы — первый шаг к тому, чтобы сделать процесс обучения более прозрачным и качественным.

Итоги

Статья, переведённая на Хабре, не даёт однозначного ответа на вопрос в заголовке. Да, разработчики ИИ-моделей занимаются пеликанмаксингом — осознанно или по незнанию. Но проблема не в самом использовании синтетических данных, а в отсутствии мер контроля и понимания долгосрочных последствий. Как напоминают авторы, в мире ИИ «ты есть то, что ты ешь». И если диета модели состоит из «переваренной» информации, рано или поздно это скажется на качестве её «здоровья».

Для тех, кто хочет глубже разобраться в теме, стоит обратиться к оригинальному материалу: Источник. Возможно, дискуссия вокруг пеликанмаксинга станет важным триггером для создания более ответственных подходов к обучению ИИ — не только ради эффективности, но и ради сохранения уникальности человеческого знания.