В июле 2026 года на Хабре появилась статья, которая вызвала резонанс в сообществе разработчиков и предпринимателей, активно использующих AI-агентов. Автор материала поделился шокирующим открытием: 89% его расходов на AI-агентов уходит не на генерацию ответов, а на кэширование. Эта цифра заставила многих пересмотреть свои подходы к оптимизации AI-инфраструктуры. В статье рассказывается, как автор создал простой CLI-инструмент для мониторинга трат и какие выводы из этого сделал. Источник
Почему кэш съедает бюджет
Когда мы говорим об AI-агентах, обычно представляем, что основная часть затрат уходит на вызовы больших языковых моделей (LLM) — каждый запрос требует вычислений, а значит, денег. Однако на практике, как выяснил автор, львиная доля расходов связана с промежуточными данными: результатами предыдущих вызовов, кэшированными токенами и контекстными окнами. Провайдеры AI-услуг, такие как OpenAI, Anthropic и Mistral, часто взимают плату за кэширование — это когда модель запоминает предыдущие диалоги или системные сообщения, чтобы ускорить ответы. Но если у вас десятки тысяч агентов, работающих параллельно, стоимость такого кэша может превышать стоимость самой генерации.
Реальные цифры из статьи
Автор приводит конкретные данные: его система использовала 1000 AI-агентов, каждый из которых выполнял в среднем 50 запросов в день. Общая стоимость составляла около $12 000 в месяц. Из них:
- $10 680 (89%) — кэширование (промежуточные токены, контекстные окна, хранение результатов)
- $1 320 (11%) — непосредственно генерация ответов
Это открытие стало неожиданностью — большинство разработчиков фокусируются на оптимизации промптов, а не на управлении кэшем.
Как работает кэширование у AI-агентов
Чтобы понять проблему, нужно разобраться в механизмах. Когда AI-агент обрабатывает запрос, он часто использует «системный промпт» — длинный текст с инструкциями, который передаётся при каждом вызове. Провайдеры кэшируют этот промпт, чтобы не передавать его каждый раз заново. Однако за хранение кэша взимается плата — обычно по тарифу $0.10 за 1000 токенов в час. Если у вас 1000 агентов с разными системными промптами по 2000 токенов каждый, то за час набегает:
1000 × 2000 / 1000 × $0.10 = $200 в час или $4800 в сутки
Это без учёта генерации! Автор заметил, что его агенты работали с большими контекстными окнами (до 128 000 токенов), что многократно увеличивало стоимость кэша.
CLI-инструмент для мониторинга
Чтобы визуализировать проблему, автор написал простой CLI на Python. Инструмент подключается к API провайдера (например, OpenAI или Anthropic) и собирает метрики по каждому агенту: количество вызовов, объём кэшированных токенов, стоимость генерации и стоимость кэша. Вывод — в таблицу с сортировкой по затратам.
import openai
import json
from collections import defaultdict
# Подключение к API (ключ из переменных окружения)
client = openai.OpenAI()
# Получение данных о расходах за последние 30 дней
usage = client.billing.usage.list(period='last_30_days')
# Агрегация по агентам (по метаданным запросов)
agent_costs = defaultdict(lambda: {'cache_cost': 0, 'gen_cost': 0})
for record in usage.data:
agent_id = record.metadata.get('agent_id', 'unknown')
if record.type == 'cache':
agent_costs[agent_id]['cache_cost'] += record.amount
elif record.type == 'generation':
agent_costs[agent_id]['gen_cost'] += record.amount
# Вывод таблицы
print(f"{'Agent ID':<20} {'Cache Cost':<15} {'Gen Cost':<15} {'Total':<15}")
for agent_id, costs in sorted(agent_costs.items(), key=lambda x: x[1]['cache_cost'], reverse=True):
total = costs['cache_cost'] + costs['gen_cost']
print(f"{agent_id:<20} {costs['cache_cost']:<15.2f} {costs['gen_cost']:<15.2f} {total:<15.2f}")
Этот код — лишь основа. Автор добавил поддержку кэширования на уровне Redis, чтобы не дублировать запросы к API, и интеграцию с Grafana для визуализации.
Практические выводы
После анализа автор предпринял несколько шагов, которые сократили расходы на кэш на 60%:
1. Уменьшил системные промпты. Вместо 2000 токенов — 500. Это снизило стоимость кэша в 4 раза.
2. Ввёл политику TTL (Time-To-Live) для кэша. Если агент не использовался 10 минут, кэш очищается.
3. Перешёл на модели с меньшим контекстным окном. Например, вместо GPT-4 Turbo (128K токенов) — GPT-4o mini (8K токенов).
4. Использовал локальное кэширование. Часть данных, которая не меняется, хранится на стороне клиента, а не у провайдера.
Сравнение до и после
| Метрика | До оптимизации | После оптимизации |
|---|---|---|
| Стоимость кэша в месяц | $10 680 | $4 272 |
| Стоимость генерации | $1 320 | $1 056 |
| Общая стоимость | $12 000 | $5 328 |
| Экономия | — | 55.6% |
Выводы для предпринимателей
Статья на Хабре — это не просто технический экскурс, а практическое руководство для тех, кто строит бизнес на AI-агентах. Если вы используете AI-агентов в своём проекте, первым делом проверьте, куда уходят деньги. Возможно, 89% ваших трат — это кэш, а не генерация. Инструменты вроде CLI из статьи помогут увидеть реальную картину и сэкономить значительные средства.
Для тех, кто хочет углубиться в тему, рекомендую изучить документацию по API вашего провайдера — многие предоставляют детальные логи расходов. А если вы используете несколько сервисов, например, Telegram-ботов с AI-агентами, то интеграция через единый дашборд может стать следующим шагом. ASI Biont поддерживает подключение к Telegram через API — подробнее на asibiont.com/courses. Это позволит централизованно отслеживать все траты.
В любом случае, главный урок из этой истории: не верьте интуиции, когда речь идёт о затратах на AI. Считайте, мониторьте и оптимизируйте — иначе кэш съест ваш бюджет.
Комментарии