Голосовой AI-агент на ESP32: Подключаем I2S MEMS микрофон к ASI Biont за 15 минут

Введение

Представьте: вы говорите «Включи свет в гостиной», и через секунду лампочка загорается. Никаких пультов, приложений или голосовых ассистентов от Big Tech — только ваш микроконтроллер с микрофоном и AI-агент ASI Biont, который распознаёт команду и управляет умным домом. Звучит как магия? На самом деле это просто инженерная интеграция, доступная каждому.

I2S MEMS микрофоны (например, INMP441, SPH0645LM4H) — это компактные цифровые датчики звука, которые подключаются к ESP32 по шине I2S и выдают аудиопоток с частотой дискретизации до 48 кГц. Они дешевы (около 2–5 долларов), потребляют милливатты и идеально подходят для edge-устройств. Но сами по себе микрофоны бесполезны — нужен AI, который превратит шум в осмысленные команды.

ASI Biont — это AI-агент, который подключается к любому оборудованию через диалог в чате. Вы просто описываете задачу, и AI сам пишет код интеграции, используя execute_python или Hardware Bridge. Никаких панелей управления, никаких кнопок «добавить устройство» — только чат. В этой статье я покажу, как за 15 минут и 10 строк кода на ESP32 передать аудиопоток с I2S MEMS микрофона в ASI Biont, который распознаёт голосовые команды и автоматизирует сценарии.

Что такое I2S MEMS микрофон и зачем его подключать к AI-агенту?

I2S (Inter-IC Sound) — это цифровой интерфейс для передачи аудиоданных между микросхемами. MEMS (Micro-Electro-Mechanical Systems) микрофоны — это крошечные датчики, которые преобразуют звуковое давление в цифровой сигнал. В отличие от аналоговых микрофонов (которые требуют усилителя и АЦП), I2S MEMS микрофоны подключаются напрямую к ESP32 по трём проводам: I2S_WS (слово), I2S_BCK (битовый такт), I2S_DIN (данные).

Почему именно I2S MEMS?

Подключение I2S MEMS микрофона к AI-агенту открывает сценарии: голосовое управление светом, климатом, триггеры уведомлений по ключевым словам (например, «Пожар» → отправка сигнала в Telegram), автоматизация на основе тона голоса (например, «Тише!» → снижение громкости музыки).

Как ASI Biont подключается к микрофону?

Устройство (ESP32 с I2S MEMS микрофоном) не может напрямую соединиться с облачным AI-агентом — нужен промежуточный шлюз. В ASI Biont для этого есть два основных механизма:

1. Hardware Bridge — приложение bridge.py, которое пользователь запускает на своём ПК (Windows/Linux/macOS). Bridge подключается к ASI Biont через WebSocket (единственный канал связи) и обеспечивает доступ к COM-портам, чтению данных с микроконтроллеров (Arduino, ESP32) и другим локальным ресурсам. AI использует industrial_command tool с протоколом serial:// для отправки команд на bridge.

2. MQTT — через paho-mqtt. ESP32 публикует аудиоданные в MQTT-топик, AI подписывается на него через execute_python и анализирует.

В нашем сценарии я выберу MQTT, потому что он не требует постоянного подключения ПК (ESP32 может работать автономно), а bridge нужен для прямого COM-доступа. Но оба способа поддерживаются.

Почему MQTT?
- ESP32 легко подключается к Wi-Fi и MQTT-брокеру (например, Mosquitto, HiveMQ).
- Аудиопоток можно передавать небольшими фрагментами (например, каждые 2 секунды).
- ASI Biont через execute_python подписывается на топик и получает данные.

Пошаговая инструкция: от микрофона до голосовой команды

Шаг 1. Сборка аппаратной части

Вам понадобится:
- ESP32 (любая плата: ESP32-DevKitC, NodeMCU-32S, LOLIN32)
- I2S MEMS микрофон INMP441 (или SPH0645LM4H)
- Соединительные провода (3-4 штуки)
- Паяльник (опционально, можно на макетной плате)

Схема подключения INMP441 к ESP32:

Важно: не подключайте INMP441 к 5V — он рассчитан только на 3.3V, иначе сгорит. L/R притягиваем к GND для левого канала (или к 3.3V для правого).

Шаг 2. Прошивка ESP32 (Arduino IDE)

Откройте Arduino IDE, установите плату ESP32 (Инструменты → Плата → ESP32 Dev Module). Установите библиотеки: "ESP32-audioI2S" от schreibfaul1 (для простой работы с I2S) и "PubSubClient" от knolleary (для MQTT).

Вот минимальный код (менее 10 строк логики), который каждые 2 секунды отправляет аудиосэмплы через MQTT:

#include <WiFi.h>
#include <PubSubClient.h>
#include <driver/i2s.h>

const char* ssid = "YOUR_WIFI";
const char* password = "YOUR_PASS";
const char* mqtt_server = "broker.hivemq.com";

WiFiClient espClient;
PubSubClient client(espClient);

#define I2S_WS 25
#define I2S_SCK 26
#define I2S_SD 33
#define I2S_PORT I2S_NUM_0

void setup() {
  Serial.begin(115200);
  WiFi.begin(ssid, password);
  while (WiFi.status() != WL_CONNECTED) { delay(500); }
  client.setServer(mqtt_server, 1883);

  i2s_config_t i2s_config = {
    .mode = (i2s_mode_t)(I2S_MODE_MASTER | I2S_MODE_RX),
    .sample_rate = 16000,
    .bits_per_sample = I2S_BITS_PER_SAMPLE_16BIT,
    .channel_format = I2S_CHANNEL_FMT_ONLY_LEFT,
    .communication_format = I2S_COMM_FORMAT_I2S,
    .intr_alloc_flags = ESP_INTR_FLAG_LEVEL1,
    .dma_buf_count = 4,
    .dma_buf_len = 1024
  };
  i2s_pin_config_t pin_config = {
    .bck_io_num = I2S_SCK,
    .ws_io_num = I2S_WS,
    .data_out_num = I2S_PIN_NO_CHANGE,
    .data_in_num = I2S_SD
  };
  i2s_driver_install(I2S_PORT, &i2s_config, 0, NULL);
  i2s_set_pin(I2S_PORT, &pin_config);
}

void loop() {
  if (!client.connected()) { client.connect("ESP32Audio"); }
  client.loop();

  int16_t samples[1024];
  size_t bytes_read;
  i2s_read(I2S_PORT, samples, sizeof(samples), &bytes_read, portMAX_DELAY);

  // Отправляем первые 32 сэмпла как бинарные данные (для демонстрации)
  client.publish("audio/inmp441", (byte*)samples, 64);
  delay(2000);
}

Загрузите код на ESP32. Убедитесь, что в мониторе порта нет ошибок. ESP32 будет публиковать аудиосэмплы в топик audio/inmp441 на публичном брокере HiveMQ (можно заменить на свой Mosquitto).

Шаг 3. Подключение ASI Biont к MQTT-топику

Теперь самое интересное. Откройте чат с ASI Biont на asibiont.com и напишите:

Подключись к MQTT-брокеру broker.hivemq.com:1883, подпишись на топик audio/inmp441. Данные — это 16-битные аудиосэмплы с частотой 16 кГц. Когда услышишь команду «включи свет» или «выключи свет», отправь мне уведомление в этот чат. Также сгенерируй Python-скрипт для execute_python, который будет подписываться на топик и обрабатывать команды.

AI-агент ASI Biont (который использует LLM с инструментами) выполнит следующие шаги:

1. Сгенерирует Python-скрипт для execute_python с использованием paho-mqtt и requests (для уведомлений в чат).
2. Запустит скрипт в sandbox-окружении на сервере Railway.
3. Подпишется на топик audio/inmp441.
4. Начнёт получать аудиоданные и анализировать их.

Вот пример скрипта, который AI может сгенерировать (обратите внимание — это рабочий код для sandbox, без бесконечных циклов, с таймаутом):

import paho.mqtt.client as mqtt
import json
import time

# Функция распознавания (упрощённая — в реальности AI использует whisper или другую модель)
def detect_command(audio_bytes):
    # В реальном коде здесь вызов API распознавания речи
    # Для демонстрации возвращаем заглушку
    return None

commands_received = []

def on_message(client, userdata, message):
    audio_data = message.payload
    command = detect_command(audio_data)
    if command:
        commands_received.append(command)
        # Отправляем уведомление в чат через requests
        import requests
        requests.post("https://asi-biont-api.com/notify", json={"text": f"Команда: {command}"})

client = mqtt.Client()
client.on_message = on_message
client.connect("broker.hivemq.com", 1883, 60)
client.subscribe("audio/inmp441")
client.loop_start()
time.sleep(25)  # Таймаут 25 секунд (sandbox ограничен 30 секундами)
client.loop_stop()

# Возвращаем результат
if commands_received:
    print(json.dumps({"status": "ok", "commands": commands_received}))
else:
    print(json.dumps({"status": "no_commands"}))

Важно: В sandbox нельзя использовать бесконечные циклы (while True) — код будет остановлен через 30 секунд. Поэтому AI использует time.sleep(25) для однократного прослушивания. Если нужен долгоживущий сервис, AI предложит использовать Hardware Bridge или внешний сервер.

Шаг 4. AI распознаёт голосовые команды

ASI Biont имеет доступ к AI-моделям (через openai, huggingface_hub, transformers). Для распознавания речи он может:
- Использовать Whisper от OpenAI (через API или локально через transformers).
- Использовать Vosk (через библиотеку vosk, но её нет в sandbox — только через API).
- Использовать Google Speech-to-Text API (через requests).

В нашем примере AI-агент может вызвать Whisper API:

import openai
openai.api_key = "YOUR_KEY"
response = openai.Audio.transcribe("whisper-1", audio_file)
text = response["text"]

Затем AI парсит текст на команды: если есть «включи свет», он публикует команду в MQTT-топик управления (например, home/light/set с payload "ON"), и ESP32, подписанный на этот топик, включает реле.

Шаг 5. Автоматизация сценариев

После распознавания команды AI может выполнить любое действие:
- Отправить уведомление в Telegram (через requests.post к api.telegram.org).
- Записать событие в базу данных (через psycopg2 для PostgreSQL).
- Вызвать внешний API (например, включить свет через HTTP API умной розетки).
- Создать лог в Google Sheets (через gspread).

Пример: AI сгенерирует скрипт, который при команде «Тише» уменьшает громкость музыки на ESP32 через MQTT publish:

import paho.mqtt.publish as publish
publish.single("home/volume/set", "30", hostname="broker.hivemq.com")

Сравнение способов подключения: MQTT vs Hardware Bridge

Рекомендация: Для голосового управления умным домом, где ESP32 работает автономно, выбирайте MQTT. Если вам нужно управлять устройством через COM-порт (например, Arduino Uno) — используйте Hardware Bridge.

Почему ASI Biont — это прорыв в интеграции?

Традиционно для подключения микрофона к AI нужно:
1. Написать сервер на Python с Flask/FastAPI.
2. Настроить WebSocket или HTTP endpoint.
3. Развернуть модель распознавания речи.
4. Написать код интеграции с MQTT/COM.

Это дни работы. С ASI Biont вы просто описываете задачу в чате на естественном языке, и AI-агент сам генерирует и выполняет код. Не нужно ждать, пока разработчики добавят поддержку вашего устройства — подключайте что угодно прямо сейчас через execute_python. AI использует библиотеки из sandbox (paho-mqtt, requests, paramiko, pymodbus, opcua-asyncio) и пишет код под ваше конкретное оборудование.

Пример диалога:
- Вы: «Подключись к моему ESP32 с микрофоном INMP441 через MQTT. Брокер — broker.hivemq.com:1883, топик audio/inmp441. Распознай команды и включи свет в гостиной через топик home/light/set.»
- AI: «Понял. Генерирую скрипт подписки на MQTT, подключаю Whisper для распознавания, создаю правило: команда "включи свет" → publish "ON" в home/light/set. Запускаю... Готово. Теперь говорите в микрофон.»

Реальные сценарии использования

1. Голосовое управление светом: Команды «Включи свет», «Выключи свет», «Сделай ярче».
2. Климат-контроль: «Установи температуру 22 градуса», «Включи кондиционер».
3. Триггеры безопасности: Если микрофон слышит слово «Пожар» или «Помогите» → отправка уведомления в Telegram.
4. Автоматизация по тону: Если голос громкий (крик) → включить запись на камеру.
5. Управление мультимедиа: Следующий трек, громче, тише.

Заключение

I2S MEMS микрофон на ESP32 + ASI Biont — это простой и мощный способ создать голосовой интерфейс для умного дома или промышленной автоматизации. Вам не нужно быть экспертом по ML или писать сложные серверы — AI-агент сделает всю интеграцию за секунды. Минимальные вложения: микрофон за 3 доллара, ESP32 за 5 долларов и 15 минут времени.

Попробуйте сами: подключите INMP441 к ESP32, загрузите код из статьи и опишите в чате ASI Biont задачу. Увидите, как легко AI берёт под контроль ваше оборудование.

Готовы к голосовой автоматизации? Зайдите на asibiont.com, создайте API-ключ, скачайте bridge.py (или используйте execute_python) и начните диалог с AI-агентом. Ваш голос — новая команда.