Введение
В эпоху больших языковых моделей и мультимодальных AI, способность интерпретировать визуальную информацию — от фотографий до сложных диаграмм — становится критически важной. Однако, если распознавание объектов на изображениях (например, кошек или автомобилей) уже достигло впечатляющих высот, то понимание графиков, схем и диаграмм остаётся серьёзным вызовом. Графики — это не просто картинки; это структурированные данные, закодированные в визуальной форме: оси, метки, легенды, тренды и аномалии. ИИ должен не просто «увидеть» линию на графике, но и понять, что она обозначает, какие числовые значения стоят за точками и как эти данные связаны между собой.
Недавно группа исследователей из Массачусетского технологического института (MIT) представила новый набор данных ChartNet, который призван решить эту проблему. В статье на Habr, опубликованной 17 июля 2026 года, подробно разбирается, как разработчики подошли к задаче обучения ИИ пониманию графиков, с какими трудностями столкнулись и каких результатов добились. Источник
В этом материале мы разберём ключевые идеи ChartNet, технические детали его создания и практические выводы для всех, кто работает с AI-аналитикой и визуализацией данных.
Проблема: почему ИИ плохо понимает графики?
Современные мультимодальные модели, такие как GPT-4V или Gemini, демонстрируют впечатляющие результаты в распознавании текста и объектов. Но когда дело доходит до графиков, их точность резко падает. Почему?
- Зависимость от рендеринга. Один и тот же график, построенный в Matplotlib, Excel или Tableau, может выглядеть совершенно по-разному: разные шрифты, цвета, толщина линий, наличие или отсутствие сетки. Модель, обученная на одном стиле, плохо обобщается на другие.
- Высокая плотность информации. График — это не только кривая. Это подписи осей, числовые деления, легенда, заголовок, примечания. Модель должна одновременно обработать все эти элементы и установить между ними логические связи.
- Отсутствие стандартизированных наборов данных. Большинство существующих датасетов для мультимодального обучения (например, ChartQA, PlotQA) содержат сотни тысяч примеров, но они часто синтезированы автоматически. Это приводит к артефактам: модель запоминает шаблоны, а не учится понимать суть.
Именно эти ограничения и попытались преодолеть разработчики ChartNet.
Решение: что такое ChartNet и как он создавался?
ChartNet — это не просто набор данных, а тщательно спроектированный бенчмарк и обучающий корпус для мультимодальных моделей. В статье на Habr описывается, что команда MIT использовала комбинацию ручной разметки и автоматизированной генерации, чтобы создать 1,2 миллиона пар «график — текстовое описание».
Ключевые особенности ChartNet:
| Характеристика | Описание |
|---|---|
| Объём | 1,2 млн пар (график + текстовое описание) |
| Типы графиков | Линейные, столбчатые, круговые, точечные диаграммы, гистограммы |
| Источники данных | Реальные финансовые отчёты, научные статьи, открытые статистические данные (World Bank, FRED, Yahoo Finance) |
| Метод разметки | Гибридный: 70% автоматическая генерация (с верификацией), 30% ручная разметка профессиональными аннотаторами |
| Метрики качества | Точность распознавания числовых значений (MAE), точность определения трендов, полнота захвата контекста |
Как отмечается в статье, ключевой инновацией стал подход к аннотации. Вместо простого перечисления элементов графика (например, «линия идёт вверх»), аннотаторы описывали смысловые зависимости: «Наблюдается устойчивый рост продаж в первом квартале с пиком в марте, после чего следует сезонный спад». Это позволило модели учиться не только визуальному распознаванию, но и причинно-следственным связям.
Технические детали: как устроен процесс обучения?
Разработчики применили двухэтапный подход к обучению модели.
- Этап предобучения на синтетических данных. На этом этапе модель училась базовому распознаванию элементов графика: детекции линий, столбцов, точек, осей и текстовых меток. Использовалась архитектура Vision Transformer (ViT) с модифицированным энкодером, адаптированным под работу с графиками.
- Этап тонкой настройки на ChartNet. Модель обучалась на реальных данных с ручной разметкой. Цель — научиться не просто описывать график, а отвечать на вопросы по нему (QA-формат). Например: «Какое значение показателя было в феврале 2025 года?» или «Сравните тренды для двух продуктов».
В статье упоминается, что итоговая модель (ChartNet-Base) показала улучшение точности на 23% по сравнению с базовой моделью GPT-4V на тестовом наборе ChartQA. При этом ошибка в определении числовых значений (MAE) снизилась с 8,5% до 3,2%.
Практический пример: как работает понимание графиков в реальном кейсе
Представьте, что у вас есть дашборд с финансовыми показателями компании, построенный на основе данных из Salesforce. Вам нужно автоматически анализировать ежемесячные отчёты и выявлять аномалии. Без понимания графиков ИИ мог бы только констатировать: «График содержит синюю линию и красную линию». С моделью, обученной на ChartNet, он способен сказать: «Выручка от продукта А (синяя линия) в июне выросла на 12% по сравнению с маем, но остаётся ниже планового показателя (красная линия) на 5%. Рекомендуется проверить эффективность маркетинговых кампаний».
ASI Biont поддерживает подключение к Salesforce через API — подробнее на asibiont.com/courses. Это позволяет встраивать подобные AI-аналитики непосредственно в рабочие процессы компаний.
Результаты и выводы
Команда MIT опубликовала бенчмарк, который стал новым стандартом для оценки мультимодальных моделей в задаче понимания графиков. Согласно статье, ChartNet уже используется несколькими крупными технологическими компаниями для обучения внутренних AI-ассистентов. Однако авторы предупреждают: модель всё ещё плохо справляется с сильно зашумлёнными или низкокачественными изображениями графиков (например, отсканированными из печатных изданий).
Главный вывод, который можно сделать из этой новости: путь к созданию truly intelligent AI лежит не через увеличение количества параметров, а через создание качественных, размеченных вручную датасетов, которые учат модель не просто видеть, а понимать. ChartNet — яркий пример того, как академические исследования могут дать практический инструмент для бизнеса.
Заключение
Набор данных ChartNet от MIT — это важный шаг к тому, чтобы ИИ перестал быть «слепым» к визуальной информации. Для специалистов по данным и аналитиков это означает, что в ближайшем будущем можно ожидать появления AI-инструментов, способных не только строить графики, но и интерпретировать их, отвечать на вопросы и давать рекомендации. Технология пока не идеальна, но вектор развития задан точно.
Если вы хотите глубже разобраться в том, как работают современные AI-модели и как их можно применять в аналитике данных, следите за обновлениями блога и новостями из мира AI. А пока — рекомендуем прочитать оригинальную статью на Habr, чтобы познакомиться с ChartNet из первых уст.
Комментарии