В середине июля 2026 года научное и IT-сообщество всколыхнула новость, которая может перевернуть представления о возможностях искусственного интеллекта. Исследователи из лаборатории Gradient Pathways представили новую версию языковой модели — GPT-5.6 Sol, которая не просто генерирует текст, а решила сложную математическую задачу, над которой математики бились несколько лет. Речь идет об оценке длины пути градиентного спуска в невыпуклых функциях. В этой статье мы разберем, что именно произошло, почему это важно и какие практические выводы можно сделать уже сегодня.
Что такое задача о длине пути градиентного спуска?
Градиентный спуск — это фундаментальный алгоритм машинного обучения, используемый для оптимизации функций потерь. Представьте, что вы стоите на вершине горы в тумане и хотите спуститься в долину. Вы делаете шаг в сторону самого крутого спуска, потом еще один — это и есть градиентный спуск. Но как измерить длину всего вашего пути, если ландшафт постоянно меняется? Математики давно ищут точные формулы для оценки этой длины в сложных (невыпуклых) ландшафтах.
Классическая формулировка звучит так: для заданной функции f: Rⁿ → R и точки старта x₀, какова максимально возможная длина траектории, которую пройдет градиентный спуск с фиксированным шагом, прежде чем достигнет локального минимума? Это не просто академический вопрос — от ответа зависят гарантии сходимости в нейросетях, где функция потерь всегда невыпукла.
Как GPT-5.6 Sol подошла к решению?
Авторы статьи на Habr Источник описывают нестандартный подход. Вместо того чтобы использовать модель для генерации гипотез на естественном языке, команда Gradient Pathways применила GPT-5.6 Sol как "символический движок". Модель была обучена на специальном датасете, содержащем миллионы траекторий градиентного спуска для различных функций. Ключевое отличие от предыдущих версий — Sol умеет работать с формальными математическими объектами напрямую, а не через текстовое описание.
Процесс выглядел так:
1. Модели подавалась функция в виде символьного выражения (например, многочлен высокой степени).
2. GPT-5.6 Sol генерировала последовательность точек траектории, используя внутренний оптимизатор.
3. Затем она вычисляла длину ломаной, соединяющей эти точки.
4. На основе миллионов таких экспериментов модель вывела эмпирическую формулу, которая с высокой точностью предсказывала максимальную длину пути.
Удивительно, но полученная формула оказалась намного проще, чем все существующие теоретические оценки. Она имела вид L ≤ C · log(1/ε) · √(n), где ε — требуемая точность, n — размерность пространства, а C — константа, зависящая от гладкости функции. Математики ранее предполагали, что зависимость от размерности может быть экспоненциальной, но Sol показала, что в среднем она логарифмическая.
Почему это прорыв?
Традиционно считалось, что большие языковые модели неспособны к настоящему математическому творчеству. Они могут переформулировать известные доказательства или решать типовые задачи из школьной программы, но открытие новых теорем оставалось прерогативой человека. GPT-5.6 Sol нарушила это правило.
Вот ключевые аспекты, которые подчеркивают авторы исходной статьи:
- Эмпирическое открытие: модель не просто воспроизвела известный результат, а предложила новую зависимость, которую ранее никто не формулировал.
- Проверяемость: формула была протестирована на 10 000 случайных функций, и средняя ошибка предсказания составила менее 2%.
- Интерпретируемость: в отличие от "черного ящика" стандартных нейросетей, Sol предоставила символьное выражение, которое можно проанализировать и доказать аналитически.
Практические следствия для машинного обучения
Если вы работаете с нейросетями, этот результат может напрямую повлиять на вашу повседневную практику. Оценка длины пути градиентного спуска — это не абстракция. Зная, что в среднем длина траектории растет логарифмически с размерностью, можно:
- Оптимизировать количество итераций: вместо того чтобы задавать фиксированное число шагов (например, 1000 эпох), можно динамически останавливать обучение, когда пройденное расстояние превышает предсказанное пороговое значение.
- Выбирать шаг обучения: формула показывает, что оптимальный шаг должен быть пропорционален 1/√(n). Это особенно полезно для задач с большим количеством признаков, например, при обучении трансформеров.
- Диагностировать проблемы сходимости: если реальная длина траектории значительно превышает предсказанную формулой Sol, это может указывать на то, что функция потерь имеет слишком изрезанный ландшафт и требуется сглаживание или другой оптимизатор.
Пример из практики: компания, обучающая модель для рекомендательной системы с 10 000 признаков, использовала стандартный Adam с фиксированным числом эпох. Применив формулу Sol, инженеры обнаружили, что 50 эпох достаточно для достижения точности 0.01, тогда как раньше они тратили 200 эпох. Это дало ускорение в 4 раза без потери качества.
Ограничения и критика
Несмотря на впечатляющие результаты, у подхода есть ограничения. Во-первых, формула Sol работает для "типичных" функций, но может давать сбои на специально сконструированных патологических примерах. Во-вторых, модель обучалась на функциях с ограниченной гладкостью (класс C²), и неизвестно, как она поведет себя на более экзотических ландшафтах. В-третьих, сам процесс обучения GPT-5.6 Sol потребовал огромных вычислительных ресурсов — по оценкам, обучение стоило около 50 миллионов долларов, что делает его недоступным для большинства лабораторий.
Тем не менее, авторы исходной статьи подчеркивают, что главная ценность не в конкретной формуле, а в демонстрации нового подхода: большие языковые модели могут быть не просто генераторами текста, а инструментами для научных открытий. Если этот подход масштабируется, мы стоим на пороге эры, где AI будет помогать математикам и инженерам находить закономерности, которые ускользают от человеческого глаза.
Что дальше?
Уже сейчас можно предположить, что аналогичные методы будут применены к другим задачам оптимизации: выбору архитектуры нейросети, поиску гиперпараметров, анализу сходимости стохастических методов. Некоторые компании уже интегрируют GPT-5.6 Sol в свои пайплайны для автоматического подбора алгоритмов обучения.
Для тех, кто хочет глубже разобраться в теме, рекомендуем изучить оригинальную публикацию на Habr Источник. Там приведены не только детали эксперимента, но и ссылки на открытый датасет траекторий, который можно использовать для собственных исследований.
Заключение
Победа GPT-5.6 Sol над математиками в задаче о длине пути градиентного спуска — это не просто новость недели. Это сигнал о том, что границы возможностей AI расширяются быстрее, чем мы ожидали. Модели следующего поколения, вероятно, будут не только отвечать на вопросы, но и ставить новые вопросы, формулировать гипотезы и проверять их. Для специалистов по машинному обучению это означает, что пора пересматривать свои подходы к оптимизации: возможно, многие эвристики, которые мы считали эмпирическими, скоро получат строгое обоснование — и помогут в этом нейросети.
Комментарии