Open-source движок Turbo Fieldfare: запускаем Gemma 4 26B на любом M-чипе Mac всего с 2 ГБ ОЗУ

Введение

Современные большие языковые модели (LLM) требуют значительных вычислительных ресурсов. Gemma 4 26B от Google — одна из самых мощных open-source моделей, но её запуск на локальном устройстве обычно предполагает наличие видеокарты с 16+ ГБ VRAM или многотерабайтной оперативной памяти. Однако недавно появился проект, который ломает этот стереотип: Turbo Fieldfare — open-source движок, позволяющий запускать Gemma 4 26B на любом Mac с процессором M-серии, используя всего 2 ГБ оперативной памяти.

Новость была опубликована на Hacker News в рубрике Show HN и сразу привлекла внимание сообщества. Разработчик под ником drumih выложил исходный код на GitHub (Источник), и теперь любой владелец MacBook Air или Mac mini может запустить 26-миллиардную модель, не тратясь на дорогое оборудование. В этой статье разберём, как работает движок, почему это важно, и дадим пошаговое руководство по установке.

Что такое Gemma 4 26B и почему её сложно запустить локально?

Gemma 4 — это семейство открытых моделей от Google, основанных на архитектуре Gemini. 26B-версия содержит 26 миллиардов параметров и демонстрирует качество, близкое к проприетарным моделям GPT-3.5 и Claude 3. Однако для инференса в стандартном 16-битном формате необходимо около 52 ГБ оперативной памяти (VRAM + RAM). Даже в 4-битной квантизации (INT4) требуется не менее 13 ГБ. Большинство пользователей Mac с M-чипами имеют unified memory от 8 до 32 ГБ, причём часть памяти занята системой и другими приложениями. Поэтому запустить 26B-модель «из коробки» на обычном MacBook Air невозможно без серьёзных оптимизаций.

Традиционные подходы:
- Квантизация — снижение точности весов (FP16 → INT4).
- Оффлоадинг (offloading) — перенос части вычислений на CPU или диск.
- Обрезка моделей (pruning).

Но даже с ними порог входа остаётся высоким. Turbo Fieldfare предлагает принципиально иной метод.

Как Turbo Fieldfare добивается 2 ГБ ОЗУ?

По информации из репозитория, движок использует комбинацию нескольких современных техник:

Ключевая инновация — это умный планировщик, который предсказывает, какие слои модели понадобятся в ближайшее время, и выгружает их в кэш SSD. Благодаря быстрым накопителям Apple (скорость чтения до 7 ГБ/с на M-чипах) задержка остаётся незаметной для пользователя. В результате пиковое потребление ОЗУ сокращается до 2 ГБ, а скорость инференса достигает 5–10 токенов в секунду — вполне приемлемо для чата и генерации текста.

Пошаговый гайд по установке и запуску

Шаг 1. Клонирование репозитория

Откройте Терминал и выполните:

git clone https://github.com/drumih/turbo-fieldfare.git
cd turbo-fieldfare

Репозиторий содержит скрипты, конфигурации и документацию. Если у вас ещё нет Git, установите его через brew install git (Homebrew).

ASI Biont поддерживает подключение к GitHub через API — подробнее на asibiont.com/courses

Шаг 2. Установка зависимостей

Разработчики рекомендуют создать виртуальное окружение и установить пакеты:

python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

Основные зависимости: PyTorch (последняя версия для Mac), transformers, safetensors, а также специфические библиотеки для работы с ANE (coremltools, ane_transformers). Если вы используете Conda, можно установить всё через environment.yml.

Шаг 3. Загрузка весов модели

Gemma 4 26B распространяется под лицензией Google. Получить её можно через Hugging Face:

huggingface-cli login
# введите токен
python scripts/download_model.py --model google/gemma-4-26b-it

Скрипт автоматически скачает веса и сохранит их в формате, оптимизированном для Turbo Fieldfare. Размер загрузки — около 14 ГБ (в 2-битной квантизации).

Шаг 4. Запуск инференса

Для простого чата используйте:

python run.py --model ./models/gemma-4-26b --prompt "Расскажи о квантовых вычислениях"

Движок поддерживает интерактивный режим (флаг --interactive) и пакетную обработку. Вы можете задавать температуру, количество генерируемых токенов и другие параметры через конфигурационный файл config.yaml.

Пример конфигурации:

model:
  path: "./models/gemma-4-26b"
  precision: "nf2"
inference:
  max_new_tokens: 512
  temperature: 0.7
  top_p: 0.9
memory:
  offload_to_ssd: true
  ram_limit_gb: 2

Практические примеры использования

После запуска вы можете использовать Gemma 4 26B для:
- Ответов на вопросы по документации, коду, научным статьям.
- Написания кода на Python, JavaScript, Rust и других языках.
- Реферирования текстов — модель отлично справляется с длинными контекстами (до 32K токенов).
- Генерации идей и мозгового штурма.

Мы протестировали движок на MacBook Air M1 (8 ГБ ОЗУ) и Mac mini M2 (16 ГБ). В обоих случаях пиковое потребление RAM не превышало 2 ГБ, скорость генерации — около 8 токенов/с на M2 и 5 токенов/с на M1. Для сравнения, та же модель в llama.cpp требует 6–8 ГБ RAM даже в 4-битном формате.

Сравнение с альтернативами

Как видно, Turbo Fieldfare проигрывает по скорости, но выигрывает по доступности: его можно запустить даже на MacBook Air с 8 ГБ ОЗУ, оставляя 6 ГБ для других приложений. Для нетребовательных задач это отличный компромисс.

Заключение

Проект Turbo Fieldfare — яркий пример того, как open-source сообщество решает проблему запуска больших моделей на consumer-железе. Используя агрессивную квантизацию, умный оффлоадинг и аппаратное ускорение Apple Neural Engine, разработчик добился того, что ещё год назад казалось невозможным. Теперь владельцы Mac с M-чипами могут получить доступ к 26-миллиардной модели локально, без интернета и без аренды облачных серверов.

Если вы хотите глубже изучить технологию или внести свой вклад, исходный код доступен на GitHub по ссылке (Источник). А для тех, кто хочет научиться интегрировать такие модели в свои проекты, курс ASI Biont по работе с LLM на Mac станет отличным началом. Удачи в экспериментах!