Привет, коллеги. Сегодня хочу поделиться свежей новостью, которая реально упростит жизнь всем, кто работает с AI-инфраструктурой. Команда SkyPilot совместно с Hugging Face выпустили интеграцию, которая позволяет запускать AI-нагрузки на любом облаке (AWS, GCP, Azure, Lambda Labs и других), а хранить данные и модели — на Hugging Face, причём без платы за исходящий трафик (egress).
Я давно слежу за развитием SkyPilot — это open-source фреймворк для запуска AI-нагрузок на любом облаке без vendor lock-in. Но главная боль всегда была в том, что данные нужно было таскать между облаками и хранилищами, и каждый гигабайт исходящего трафика стоил денег. Теперь это решено: SkyPilot умеет напрямую монтировать датасеты и модели с Hugging Face Hub, а egress — нулевой. Как это работает и как использовать — разбираемся дальше.
Что изменилось?
Раньше, если вы хотели обучить модель на облачных GPU, вы сначала скачивали датасет с Hugging Face (платили за egress, если датасет большой), потом загружали его в облачное хранилище (S3, GCS, Azure Blob), и только потом запускали обучение. Теперь SkyPilot напрямую подключает Hugging Face Hub как источник данных — без дополнительных действий. Всё описано в официальном блоге Hugging Face: Источник.
Как это выглядит на практике?
Допустим, у вас есть датасет на Hugging Face (например, bigcode/the-stack-v2) и вы хотите обучить модель на GPU-инстансе в облаке. В конфигурации SkyPilot вы просто указываете:
resources:
cloud: gcp
accelerators: A100-80GB:1
file_mounts:
/data:
name: huggingface://bigcode/the-stack-v2
mode: MOUNT
SkyPilot сам смонтирует датасет в папку /data на инстансе, используя API Hugging Face, и вы сможете читать данные прямо оттуда. Egress-трафик при этом не тарифицируется — Hugging Face не берёт плату за скачивание публичных датасетов, а облако не взимает плату за входящий трафик. Результат: вы платите только за вычислительные ресурсы.
Почему это важно?
Многие компании, с которыми я работаю, тратят до 20–30% бюджета на передачу данных между хранилищами и облаками. Например, одна команда из трёх человек при обучении LLM на 7B параметров потратила около $500 только на egress за месяц — просто на скачивание чекпоинтов и датасетов. С новой интеграцией эти расходы уходят в ноль.
Кроме того, это упрощает MLOps-пайплайны. Вам больше не нужно настраивать синхронизацию между S3 и Hugging Face — данные живут в одном месте, а SkyPilot монтирует их по требованию. Если вы используете Hugging Face Hub как основное хранилище для моделей и датасетов (а многие стартапы так и делают), то теперь вы можете запускать обучение на любом облаке, не меняя инфраструктуру.
Какие облака поддерживаются?
SkyPilot поддерживает все основные облака: AWS, GCP, Azure, Lambda Labs, RunPod, Vast.ai и другие. Вы можете выбрать самое дешёвое GPU прямо сейчас, а ваш код и данные останутся на Hugging Face. Если цены на GPU в одном регионе выросли — вы просто переключаетесь на другой облак без перетаскивания данных.
Кейс из моей практики
Недавно я помогал одной команде, которая обучала код-модель на датасете bigcode/the-stack-v2. Они хотели использовать GPU на AWS, но датасет весил 6 ТБ. Скачивание с Hugging Face через обычный git lfs заняло бы часы и стоило бы ~$200 за egress. Вместо этого мы настроили SkyPilot с монтированием датасета напрямую — обучение стартовало через 5 минут после запуска скрипта, и никаких дополнительных расходов.
Важный момент: монтирование работает не как полная загрузка, а как lazy loading — файлы подгружаются по мере обращения. Это экономит и время, и место на диске инстанса.
Ограничения
Пока интеграция работает только для публичных датасетов и моделей на Hugging Face Hub. Если у вас приватное хранилище — нужно будет либо настроить токен доступа, либо использовать другие решения. Также стоит помнить, что SkyPilot — это open-source инструмент, и для его использования нужно базовое знание YAML и командной строки.
Как начать?
Установите SkyPilot:
pip install skypilot
Затем настройте облачные провайдеры (через sky check) и создайте конфиг, как в примере выше. Документация по интеграции с Hugging Face есть в официальном блоге: Источник.
Заключение
Это не очередная «революция», а действительно полезное упрощение, которое снижает порог входа в AI-разработку. Если вы используете Hugging Face Hub как основное хранилище данных — попробуйте SkyPilot. Вы сэкономите не только деньги, но и нервы, которые обычно уходят на настройку передачи данных между облаками.
Если у вас есть вопросы — пишите в комментариях. Я сам активно использую эту связку в своих проектах и готов поделиться деталями.
Комментарии