QuantCode-Bench: Умеют ли LLM генерировать исполняемые алгоритмические торговые стратегии?

QuantCode-Bench: Умеют ли LLM генерировать исполняемые алгоритмические торговые стратегии?

Представьте: вы даете нейросети задачу — напиши торгового робота, который будет зарабатывать на рынке. Она выдает код, вы запускаете его — и получаете… ошибку компиляции, бесконечный цикл или, в лучшем случае, стратегию, которая сливает депозит за час. Знакомая ситуация? Команда исследователей из ФИНАМ и ряда университетов решила проверить, насколько современные языковые модели (LLM) способны справляться с такой задачей. Результаты оказались неожиданными.

Недавно был представлен бенчмарк QuantCode-Bench — первый систематический тест для оценки LLM в генерации исполняемых алгоритмических торговых стратегий. Это не очередной «напиши индикатор» — это полноценный пайплайн: от Python-кода до backtesting на реальных исторических данных. Исследователи протестировали десятки моделей, включая GPT-4o, Claude 3.5 Sonnet, DeepSeek-R1 и отечественные LLM. Результаты, мягко говоря, впечатляют: ни одна модель не смогла сгенерировать стратегию, которая бы стабильно обгоняла buy-and-hold на длинной дистанции. Источник

Но давайте разберемся, что именно измеряет этот бенчмарк и почему это важно для всех, кто интересуется автоматизированной торговлей.

Что такое QuantCode-Bench и зачем он нужен?

QuantCode-Bench — это бенчмарк, состоящий из 14 задач разного уровня сложности. Задачи охватывают как базовые вещи (написать скользящую среднюю, рассчитать RSI), так и комплексные стратегии с управлением рисками и оптимизацией портфеля. Каждая задача требует от LLM:

• Сгенерировать Python-код, который можно запустить без доработок.
• Код должен корректно обрабатывать исторические данные (цены, объемы).
• Стратегия должна быть алгоритмически полной — включать вход, выход, стоп-лосс, тейк-профит.

После генерации код автоматически тестируется на исторических данных (например, по акциям из S&P 500 или фьючерсам на нефть). Метрики оценки: доходность, максимальная просадка (Max Drawdown), коэффициент Шарпа, количество сделок, процент прибыльных сделок.

Почему это важно? Потому что до сих пор бенчмарки вроде HumanEval или MBPP проверяли только «синтаксическую» правильность кода — может ли модель написать функцию, которая не упадет с ошибкой. Но для трейдинга этого недостаточно. Мало написать код — нужно, чтобы код приносил прибыль и не сливал капитал в кризис.

Как тестировали LLM? Методология

Исследователи использовали следующий пайплайн:

1. Формирование промпта. Для каждой задачи создавался шаблон с описанием стратегии, входными данными и ожидаемым форматом вывода.
2. Генерация. Модель получала промпт и должна была выдать Python-код.
3. Исполнение. Код запускался в изолированной среде (Docker) с доступом к библиотекам: pandas, numpy, backtrader, yfinance.
4. Оценка. Сравнение с эталонной реализацией — если код не работал, ставился 0 баллов. Если работал — оценивалась финансовая эффективность.

Было протестировано более 20 моделей, включая:

Таблица: результаты QuantCode-Bench (средний балл по всем задачам). Источник: статья на Habr.

Лидером оказался GPT-4o, но даже его результат — 72 из 100 — далек от идеала. Более того, ни одна модель не смогла решить все 14 задач полностью корректно.

Ключевые проблемы: что LLM делают не так?

Анализ ошибок показал три основные категории проблем:

1. Синтаксические и логические ошибки

Казалось бы, LLM отлично пишут код — но только в изолированных задачах. Когда нужно собрать стратегию целиком, модели часто путают типы данных, забывают импортировать библиотеки или используют устаревшие методы. Например, вместо backtrader используют zipline, который официально не поддерживается. Или забывают обработать случай отсутствия сделок — и код падает с ZeroDivisionError.

2. Непонимание финансовой логики

Это самое интересное. Модели могут написать корректный с точки зрения Python код, но стратегия оказывается убыточной. Пример: модель генерирует стратегию на основе пересечения скользящих средних, но не учитывает комиссии и проскальзывание. На бумаге стратегия показывает доходность 15% годовых, а с учетом комиссий — минус 5%. Или модель использует «заглядывание в будущее» (look-ahead bias): например, рассчитывает индикатор на основе данных, которые в реальном времени были бы недоступны.

3. Проблемы с управлением рисками

Даже если стратегия работает, она может быть нежизнеспособна. Многие модели генерируют стратегии с просадкой 60-80% — это практически гарантированный маржин-колл. Некоторые модели вообще не добавляют стоп-лосс, полагаясь на то, что рынок всегда восстановится. В реальной торговле это путь к разорению.

Есть ли модели, которые справились лучше других?

Интересный факт: модели с открытым весом (DeepSeek-R1, Qwen2.5) показали результаты, сопоставимые с проприетарными гигантами. DeepSeek-R1, в частности, отличился в задачах на оптимизацию портфеля по Марковицу — он единственный корректно реализовал ограничения на короткие продажи. Это говорит о том, что open-source LLM постепенно догоняют коммерческие аналоги даже в таких нишевых областях.

Однако лидером по всем метрикам остался GPT-4o. Он лучше всех справился с генерацией стратегий по паттернам японских свечей и расчетом индикатора Мюррея. Но даже GPT-4o не смог сгенерировать стратегию, которая бы стабильно обыгрывала buy-and-hold на исторических данных за 10 лет.

Что это значит для трейдеров и разработчиков?

Выводы QuantCode-Bench — не приговор, а руководство к действию. LLM не заменят трейдера-аналитика, но могут стать мощным инструментом для:

• Быстрого прототипирования. Вместо того чтобы писать стратегию с нуля, можно попросить LLM сгенерировать базовую версию, а затем доработать ее вручную. Это сокращает время разработки с дней до часов.
• Генерации идей. LLM могут предложить нестандартные комбинации индикаторов или необычные фильтры для отбора акций. Например, стратегия, основанная на корреляции объема торгов и волатильности VIX.
• Обучения новичков. Если вы только начинаете изучать алгоритмическую торговлю, LLM может объяснить, как работает тот или иной индикатор, и показать пример кода. Но не стоит слепо доверять — всегда проверяйте.

Однако полагаться на LLM в автоматическом режиме пока рано. Исследователи подчеркивают: даже лучшие модели допускают ошибки, которые в реальной торговле стоят денег. ASI Biont поддерживает подключение к торговым платформам через API — подробнее на asibiont.com/courses.

Практические рекомендации: как использовать LLM в трейдинге

Основываясь на результатах QuantCode-Bench, можно сформулировать несколько правил:

1. Всегда проверяйте код вручную. Даже если модель выдает красивый код — запустите его в песочнице с историческими данными. Убедитесь, что нет look-ahead bias, что комиссии учтены, что стоп-лоссы срабатывают.
2. Используйте фреймворки. Не просите LLM писать стратегию «с нуля» — дайте ей шаблон на основе backtrader или vectorbt. Это снизит вероятность ошибок.
3. Тестируйте на разных рыночных режимах. Стратегия, которая работала в 2021 году (бычий рынок), может провалиться в 2022 (медвежий). Попросите LLM сгенерировать код, который автоматически адаптируется к волатильности.
4. Добавляйте риск-менеджмент. Включите в промпт требование: «добавь trailing stop-loss и ограничь максимальную просадку 20%». Это повысит шансы на получение жизнеспособной стратегии.
5. Не гоняйтесь за максимальной доходностью. Лучше стратегия с доходностью 10% годовых и просадкой 5%, чем 30% годовых с просадкой 50%.

Будущее LLM в алгоритмической торговле

QuantCode-Bench — это первый шаг к созданию надежных инструментов для автоматической генерации стратегий. Уже сейчас исследователи работают над улучшением моделей: добавляют в обучение финансовые датасеты, используют reinforcement learning для оптимизации кода, внедряют проверку на look-ahead bias на этапе генерации.

Вероятно, через 2-3 года мы увидим LLM, которые смогут генерировать стратегии, сопоставимые с работой junior-кванта. Но до уровня senior-аналитика, который понимает макроэкономику и поведенческие финансы, еще далеко.

Пока же вывод QuantCode-Bench однозначен: LLM — отличный помощник, но не замена человеку. Используйте их для ускорения работы, но всегда оставляйте за собой финальный контроль. Особенно когда речь идет о ваших деньгах.

Заключение

QuantCode-Bench показал, что современные LLM умеют писать код для торговых стратегий, но пока не умеют делать это надежно и прибыльно. Это не недостаток, а вызов для разработчиков. Если вы трейдер или разработчик алгоритмов — присмотритесь к этому бенчмарку. Он поможет понять, где LLM сильны, а где их нужно дорабатывать.

А главное — не забывайте: рынок не прощает ошибок. Тестируйте, проверяйте, и только потом запускайте в реальную торговлю. Технологии развиваются, но фундаментальные принципы риск-менеджмента остаются неизменными.