Введение
Современные большие языковые модели (LLM) способны запоминать огромные объёмы информации, но их память работает не так, как у человека. Новое исследование, опубликованное на Habr, раскрывает удивительный механизм забывания в нейросетях: большинство источников данных теряются в течение первого месяца обучения, но те, что выживают, остаются в памяти модели на долгий срок. В этой статье мы разберём, как быстро нейросети забывают источники, какие факторы влияют на сохранность знаний и как разработчики могут использовать эти закономерности для повышения эффективности AI-систем. Статья основана на материале Источник, где авторы детально описывают эксперименты с различными архитектурами.
Основная часть
Механизмы забывания в нейросетях
В статье рассматривается феномен "катастрофического забывания" (catastrophic forgetting), характерный для многих типов нейронных сетей. Суть проблемы в том, что при обучении на новых данных модель может полностью утрачивать ранее полученную информацию. Однако исследователи обнаружили неожиданную закономерность: скорость забывания неравномерна. В первые 30 дней после обучения нейросеть теряет до 70–80% источников, но оставшиеся 20–30% сохраняются практически без изменений в течение длительного времени — до нескольких месяцев или даже лет (если модель не переобучается на новых данных).
Авторы связывают это с тем, что некоторые паттерны данных оказываются более "устойчивыми" из-за их частоты, контекстуальной значимости или структурных особенностей. Например, в экспериментах с текстовыми корпусами (такими как Common Crawl или Wikipedia) модели LLM лучше запоминали редкие, но семантически насыщенные фрагменты, чем часто повторяющиеся шаблонные выражения.
Факторы, влияющие на забывание
Исследование выделяет несколько ключевых факторов, определяющих, какие источники "выживают":
- Частота появления данных: Если источник встречается в обучающем наборе многократно, вероятность его сохранения выше. Но парадоксально, что слишком частые данные могут быть "размыты" в процессе обобщения.
- Разнообразие контекстов: Источники, которые появляются в разных контекстах (например, слово "банк" в финансовом и географическом смысле), запоминаются лучше, чем однозначные.
- Структура данных: Табличные данные или код запоминаются хуже, чем естественный язык, из-за меньшей избыточности.
- Архитектура модели: Трансформеры (например, GPT-4 или Claude) демонстрируют более медленное забывание по сравнению с рекуррентными сетями (LSTM).
В статье приводится таблица с результатами экспериментов:
| Тип данных | Потеря через 1 месяц | Потеря через 6 месяцев |
|---|---|---|
| Тексты новостей | 75% | 88% |
| Научные статьи | 65% | 80% |
| Разговорные данные | 80% | 92% |
| Код | 85% | 95% |
Эти цифры показывают, что нейросети быстрее забывают структурированные и шаблонные данные, а сложные и разнообразные тексты держатся дольше.
Практические последствия для бизнеса
Для компаний, использующих AI, эти выводы имеют прямое значение. Если нейросеть обучается на данных клиентов или продуктовой информации, через месяц после обучения до 80% этих данных может быть утеряно. Это означает, что:
- Модели необходимо регулярно дообучать на актуальных данных.
- Важно выделять критически важные источники и повторять их в обучающих выборках с разными вариациями.
- При создании чат-ботов или систем поддержки нужно внедрять механизмы контекстной памяти (например, RAG — Retrieval-Augmented Generation), чтобы компенсировать забывание.
Команда проекта из статьи применила метод "усиления редких паттернов" (rare pattern reinforcement), который позволил снизить потерю данных через месяц с 75% до 45%. Для этого они увеличили в 3 раза частоту появления критически важных фрагментов в обучающем наборе.
Кейс: финансовый сектор
В статье описывается пример из финансового сектора: нейросеть, обученная на данных о транзакциях, через 30 дней теряла 70% информации о редких мошеннических схемах. Разработчики столкнулись с проблемой, что модель переставала распознавать новые виды атак. Решение заключалось в создании "банка устойчивых паттернов" — набора из 5000 ключевых примеров, которые повторялись при каждом дообучении. Это позволило сохранить точность детекции на уровне 92% даже через 3 месяца после последнего обучения.
ASI Biont поддерживает подключение к базам данных через API для автоматизации таких процессов — подробнее на asibiont.com/courses.
Технические детали экспериментов
Исследователи использовали модель на основе архитектуры Transformer с 12 слоями и 768 скрытыми размерностями (аналогично BERT-base). Обучение проводилось на корпусе из 10 миллионов документов, разделённых на 100 тематических категорий. Каждую категорию проверяли на сохранность через 1, 7, 30, 90 и 180 дней после завершения обучения. Измерения проводились с помощью метрики "точность восстановления" (recall accuracy), которая показывает, сколько процентов исходных данных модель может сгенерировать или классифицировать корректно.
Результаты показали, что кривая забывания имеет степенной характер: первые 30 дней — стремительное падение, затем плато с медленным снижением. Авторы предполагают, что это связано с нелинейной динамикой весов в нейронной сети, где некоторые синапсы "закрепляются" и остаются стабильными.
Сравнение с человеческой памятью
Интересно, что этот процесс напоминает человеческую память: кривая забывания Эббингауза показывает аналогичный паттерн — быстрая потеря в первые часы, затем стабилизация. Однако у нейросетей временной масштаб другой: у людей ключевой период — часы и дни, у AI — недели и месяцы. Это объясняется разными механизмами консолидации памяти: у людей — сон и повторение, у машин — градиентный спуск и регуляризация.
Выводы
Исследование, описанное в статье, раскрывает важный аспект работы нейросетей: забывание источников происходит неравномерно, и большинство теряется в первый месяц, но выжившие держатся долго. Для практического применения это означает, что разработчикам AI-систем нужно:
- Планировать регулярное дообучение моделей (оптимальный интервал — 30–45 дней).
- Использовать методы усиления критических данных (например, oversampling или curriculum learning).
- Внедрять гибридные подходы (RAG, внешние базы знаний), чтобы снизить зависимость от внутренней памяти модели.
Эти выводы подтверждаются экспериментальными данными из Источник, где авторы демонстрируют, что правильная стратегия обучения может значительно замедлить забывание и повысить надёжность AI в долгосрочной перспективе.
Комментарии