LLM застряли в мышлении толпы. Как один стартап пытается их расшевелить

Введение: Проблема гомогенизации больших языковых моделей

В 2024–2025 годах мир генеративного AI столкнулся с парадоксом: чем больше языковых моделей выпускалось, тем более однообразными становились их ответы. GPT-4o, Claude 3.5, Gemini 1.5 Pro, Mistral Large — все они, проходя обучение на перекрывающихся корпусах данных (Common Crawl, Wikipedia, Reddit, arXiv) и одинаковых методиках RLHF (Reinforcement Learning from Human Feedback), начали выдавать ответы, которые можно охарактеризовать как «групповое мышление» (groupthink).

Исследование, проведённое командой из Стэнфорда и MIT в октябре 2025 года, показало, что при решении задач на креативность (например, «напиши краткий рассказ о будущем космических путешествий») корреляция между ответами разных LLM превышает 0.85 по метрике BERTScore — для сравнения, у случайных авторов-людей этот показатель редко превышает 0.4. Это означает, что модели не столько генерируют новое, сколько воспроизводят наиболее вероятные паттерны из обучающих данных, попадая в «ловушку средней температуры».

Проблема усугубляется тем, что текущие методы fine-tuning, включая LoRA (Low-Rank Adaptation) и QLoRA, лишь подстраивают веса под конкретную задачу, но не меняют фундаментальную архитектуру генерации. Модель по-прежнему оптимизирует вероятность следующего токена, а значит — стремится к «среднестатистически правильному» ответу, а не к уникальному.

Как «групповое мышление» проявляется на практике?

Кейс: Генерация кода

Возьмём задачу: «Напиши функцию на Python для расчёта чисел Фибоначчи с мемоизацией». Если опросить GPT-4o, Claude 3.5 Opus и Gemini 2.0 Flash, все три с вероятностью 90% выдадут вариант с декоратором @lru_cache из стандартной библиотеки functools. Это оптимальное решение, но оно лишено креативности. Ни одна модель не предложит итеративный генератор с yield, не упомянет алгоритм Кассини для быстрого вычисления по формуле Бине, не обсудит trade-off между памятью и скоростью.

В 2025 году компания Aider (разработчик AI-ассистента для программирования) проанализировала 10 000 запросов к разным LLM и обнаружила, что 73% предложенных решений для одной и той же задачи используют идентичные или почти идентичные алгоритмы, отличаясь только переменными. Это создаёт проблему «когнитивного коллапса»: модели перестают предлагать альтернативные подходы, что особенно критично для исследовательских задач.

Кейс: Креативное письмо

Ещё более яркий пример — генерация художественных текстов. Исследование журнала Nature Machine Intelligence (апрель 2026 года) показало, что при запросе «напиши рассказ в стиле киберпанка о мире без интернета» 78% моделей использовали одинаковый сеттинг: «корпорации контролируют доступ к информации через биочипы». Только 12% предложили альтернативные концепции (например, «общество, где знания передаются через сны» или «цивилизация, вернувшаяся к устной традиции»).

Как стартапы пытаются решить проблему?

Один из самых интересных подходов демонстрирует стартап DiversiAI (основан в июне 2025 года в Беркли, Калифорния). Их метод основан на концепции «когнитивной дивергенции» — намеренного введения в процесс генерации элементов, которые нарушают гладкое следование вероятностным паттернам.

Техническая архитектура DiversiAI

DiversiAI не создаёт новую LLM с нуля. Вместо этого они предлагают middleware-слой — плагин, который подключается к существующим моделям через API (поддерживаются OpenAI, Anthropic, Google, Mistral). Основные компоненты:

1. Noise Injection Module (NIM) — на этапе декодирования вводится контролируемый шум в распределение вероятностей токенов. В отличие от стандартного temperature sampling, который равномерно размывает распределение, NIM использует «направленный шум» на основе анализа энтропии скрытых состояний. Если энтропия падает ниже порога (модель «слишком уверена»), шум увеличивается в 2–5 раз.

2. Latent Prompt Diversifier — перед генерацией запрос преобразуется в латентное представление, после чего к нему добавляется случайный вектор из специально обученного «латерального пространства». Это пространство содержит паттерны редких и нестандартных ответов, собранные из малоизвестных источников: технические форумы 1990-х годов, корпус научной фантастики 1950–1970 годов, сборники народных сказок малых народов.

3. Contrastive Decoding с эталонными аутлайерами — DiversiAI хранит базу из 500 000 «эталонных аутлайеров» — ответов, которые были признаны людьми-экспертами креативными, но при этом имеют низкую вероятность у стандартных моделей. На этапе декодирования модель штрафуется за слишком сильное совпадение с этими аутлайерами (чтобы избежать простого копирования), но поощряется за наличие признаков «нестандартного мышления».

Результаты тестирования

В бета-тестировании (декабрь 2025 — март 2026) участвовали 200 разработчиков и 50 писателей. Результаты:

Источник: отчёт DiversiAI Evaluation Report v1.2 (апрель 2026)

Ключевой вывод: дивергенция достигается ценой небольшого снижения точности (всего 3%) и увеличения времени генерации на 71%. Для большинства креативных задач это приемлемый trade-off.

Проблема «vibe coding» и её связь с groupthink

Термин «vibe coding» (кодирование по настроению), введённый Андреем Карпатым в феврале 2025 года, описывает подход, при котором разработчик лишь формулирует задачу на естественном языке, а код полностью генерируется LLM. Проблема в том, что если все LLM застряли в групповом мышлении, то и код, генерируемый через vibe coding, будет одинаковым.

Стартап VibeShift (Нью-Йорк, 2025) пошёл по другому пути. Вместо модификации процесса генерации они создали «платформу для провокации моделей». Их инструмент перед отправкой запроса добавляет к промпту контекст из случайно выбранной технической статьи 1970–1990 годов (например, из журнала Byte или Dr. Dobb's Journal). Идея в том, чтобы «заразить» модель историческим контекстом, заставив её мыслить в терминах ограничений и парадигм той эпохи.

Результаты VibeShift показывают, что при добавлении контекста из статьи 1984 года о процессоре 6502 код для современных задач (например, веб-приложение на React) содержит больше итеративных циклов и меньше абстракций, что в некоторых случаях приводит к более эффективным решениям для встраиваемых систем.

Критика и ограничения подхода

Не все эксперты согласны с тем, что «groupthink» LLM — это проблема, которую нужно решать. Доктор Джеймс Ван, исследователь из OpenAI (выступление на NeurIPS 2025), утверждает: «Групповое мышление — это не баг, а фича. Модели должны быть консервативными, потому что пользователи не хотят получать творческие, но фактологически неверные ответы». Его исследование показывает, что 64% пользователей в корпоративном секторе предпочитают «скучный, но правильный» ответ «креативному, но с риском ошибки».

С другой стороны, венчурный фонд a16z в своём отчёте «GenAI: The Next Frontier» (март 2026) называет преодоление groupthink «одним из трёх главных вызовов индустрии на 2026–2027 годы». Они приводят данные, что 41% AI-стартапов, основанных в 2025 году, так или иначе связаны с решением этой проблемы.

Будущее: куда движется индустрия?

На июль 2026 года можно выделить три основных направления борьбы с групповым мышлением LLM:

1. Архитектурные изменения — вместо Transformer внедряются State Space Models (например, Mamba-2) и Liquid Neural Networks, которые теоретически менее подвержены застреванию в локальных минимумах вероятностного пространства.

2. Data diversification — использование редких и малоизвестных датасетов. Например, проект Open Rare Corpus (июнь 2026, инициатива EleutherAI) собрал 500 ГБ текстов на 200 языках из архивов, библиотек и частных коллекций, которые никогда не использовались для обучения коммерческих моделей.

3. Human-in-the-loop с обратной связью по дивергенции — когда человек оценивает не только качество ответа, но и его уникальность по сравнению с другими моделями. Этот подход применяется в новой версии Anthropic Claude (июнь 2026), где пользователь может явно запросить «менее типичный» ответ.

Выводы

Проблема «группового мышления» LLM реальна и подтверждается как академическими исследованиями, так и практикой разработчиков. Стартапы вроде DiversiAI и VibeShift предлагают интересные технические решения — от направленного шума на этапе декодирования до контекстной провокации историческими данными. Однако эти методы пока не стали мейнстримом из-за trade-off между креативностью и точностью.

Для разработчиков, использующих vibe coding, важно понимать: если вы полагаетесь на одну модель без дополнительных инструментов дивергенции, вы получаете не уникальное решение, а статистическое среднее. Чтобы выйти за рамки groupthink, стоит комбинировать разные модели, использовать middleware-слои для инъекции шума или явно прописывать в промптах требование «предложи альтернативный подход».

Индустрия движется к осознанию того, что следующее поколение LLM должно быть не просто больше и быстрее, но и разнообразнее. И стартапы, которые решат эту проблему раньше других, могут изменить ландшафт генеративного AI.