Google Coral (Edge TPU) и ASI Biont: как AI-агент управляет on-device ML через диалог в чате

Проблема: мощный AI на устройстве, но без головы

Google Coral (Edge TPU) — это USB-акселератор или модуль (Dev Board) с тензорным процессором, который выполняет модели машинного обучения на самом устройстве, без отправки данных в облако. Устройство способно обрабатывать видеопоток в реальном времени, детектировать объекты, распознавать лица — и всё это с задержкой менее 10 мс. Однако управление таким устройством традиционно требует написания Python-скриптов, настройки библиотек (TensorFlow Lite, PyCoral), ручного запуска инференсов и логирования результатов. Инженер тратит часы на отладку, а гибкость системы ограничена — любое изменение логики требует правки кода.

Решение: ASI Biont как универсальный командный центр

ASI Biont — это AI-агент, который подключается к любому устройству через диалог в чате. Для Google Coral (Edge TPU) используется два основных способа:

1. SSH + execute_python — если Coral работает как одноплатник (Coral Dev Board) с Linux. AI пишет Python-скрипт с paramiko, подключается по SSH, запускает инференс, собирает результаты.
2. HTTP API + execute_python — если Coral используется как USB-акселератор, подключённый к Raspberry Pi или ПК. AI пишет скрипт с aiohttp, который обращается к локальному REST-серверу на устройстве (например, Flask-серверу, который обёртывает Edge TPU).

Пользователь просто описывает задачу в чате: «Подключись к моему Google Coral на Raspberry Pi по SSH, IP 192.168.1.100, логин pi, запусти детекцию людей с камеры и присылай уведомления в Telegram, если обнаружен человек». AI сам пишет код, выполняет его в sandbox-окружении (execute_python) и начинает сбор данных.

Конкретный сценарий: видеодетекция с автоматическим оповещением

Шаг 1. Описание задачи в чате

Пользователь пишет:

«Подключись к моему Google Coral Dev Board по SSH (IP: 192.168.1.100, пользователь: coral, пароль: coral123). Запусти детекцию объектов с USB-камеры, используй модель MobileNet SSD v2 (COCO). Если обнаружен человек, сохраняй кадр в папку /home/coral/detections и отправляй мне уведомление в Telegram через мой бот (токен: 123456:ABC-DEF, chat_id: 987654). Работай непрерывно, но не зацикливайся — проверяй каждые 5 секунд».

Шаг 2. AI генерирует и выполняет код

AI пишет Python-скрипт, который:
- Подключается к устройству по SSH через paramiko (внутри execute_python).
- Запускает на устройстве инференс с использованием библиотеки pycoral.
- Считывает результаты (метки, bounding boxes, confidence).
- Если confidence > 0.6 и метка «person», сохраняет кадр через SCP-подобную команду (или через base64-передачу).
- Отправляет уведомление в Telegram через requests.post к api.telegram.org.

Пример кода (упрощённый, выполняемый в sandbox ASI Biont):

import paramiko
import requests
import base64
import json

# Параметры подключения
ssh_host = "192.168.1.100"
ssh_user = "coral"
ssh_pass = "coral123"
telegram_token = "123456:ABC-DEF"
telegram_chat_id = "987654"

# Подключение по SSH
client = paramiko.SSHClient()
client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
client.connect(ssh_host, username=ssh_user, password=ssh_pass)

# Запуск инференса на устройстве (пример команды)
stdin, stdout, stderr = client.exec_command(
    "python3 -c \"
import cv2
from pycoral.adapters import detect
from pycoral.utils.dataset import read_label_file
from pycoral.utils.edgetpu import make_interpreter

# Загрузка модели
interpreter = make_interpreter('mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite')
interpreter.allocate_tensors()
labels = read_label_file('coco_labels.txt')

# Захват кадра с камеры
cap = cv2.VideoCapture(0)
ret, frame = cap.read()
cap.release()

# Детекция
results = detect.get_objects(interpreter, frame, threshold=0.6)
for obj in results:
    if labels[obj.id] == 'person':
        print('PERSON_DETECTED')
        cv2.imwrite('/home/coral/detections/person.jpg', frame)
        break
\""
)
output = stdout.read().decode().strip()
client.close()

# Если обнаружен человек — отправляем уведомление
if 'PERSON_DETECTED' in output:
    # Читаем сохранённый кадр через SCP (можно через paramiko SFTP)
    sftp = client.open_sftp()
    with sftp.open('/home/coral/detections/person.jpg', 'rb') as f:
        img_data = f.read()
    sftp.close()

    # Отправляем в Telegram
    files = {'photo': ('person.jpg', img_data, 'image/jpeg')}
    requests.post(
        f'https://api.telegram.org/bot{telegram_token}/sendPhoto',
        data={'chat_id': telegram_chat_id, 'caption': 'Обнаружен человек!'},
        files=files
    )

Важно: Этот код выполняется в sandbox ASI Biont (execute_python). Sandbox имеет таймаут 30 секунд, поэтому бесконечные циклы (while True) недопустимы. Для непрерывной работы AI использует планировщик задач (каждые 5 секунд запускается новый вызов execute_python).

Шаг 3. Автоматизация и принятие решений

AI не просто запускает скрипт — он анализирует результаты. Если детекция показывает, что человек находится в запретной зоне более 10 минут, AI может:
- Отправить команду на включение сирены через GPIO (industrial_command с протоколом serial://).
- Записать событие в базу данных PostgreSQL (через psycopg2 в execute_python).
- Сформировать отчёт в PDF (через fpdf2) и отправить на email.

Архитектура интеграции

+-------------------+       WebSocket       +-------------------+

| Пользователь (чат) | <------------------> |   ASI Biont Cloud  |
+-------------------+                       +-------------------+
                                                    |
                                            execute_python (sandbox)
                                                    |
                                            paramiko (SSH)
                                                    |
                                          +-------------------+
                                          | Google Coral Dev   |
                                          | Board (Edge TPU)   |
                                          +-------------------+

Почему это выгодно?

Другие сценарии с Google Coral

1. Распознавание лиц для контроля доступа: Coral детектирует лицо, AI сравнивает эмбеддинги с базой (через scikit-learn или fastembed) и открывает замок через Modbus/TCP.
2. Мониторинг производственной линии: Coral анализирует видео с конвейера, AI логирует дефекты в PostgreSQL и генерирует отчёты в Excel (openpyxl).
3. Экологический мониторинг: Coral обрабатывает изображения с камеры дикой природы, AI определяет виды животных и сохраняет данные в CSV.

Как начать?

1. Зайдите на asibiont.com и создайте аккаунт.
2. Подключите Google Coral (Edge TPU) к Raspberry Pi или ПК.
3. В чате с AI-агентом опишите задачу: «Подключись к моему Coral по SSH, IP 192.168.1.100, логин coral, пароль coral123. Детектируй собак и кошек, сохраняй кадры каждые 10 секунд».
4. AI сам напишет код, выполнит его и начнёт работу.

Заключение

Google Coral (Edge TPU) — мощное устройство для on-device ML, но его потенциал раскрывается только в связке с интеллектуальным управлением. ASI Biont превращает Coral из автономного детектора в полноценного AI-агента, который не только видит, но и анализирует, принимает решения и взаимодействует с внешним миром. Попробуйте интеграцию уже сегодня — просто опишите задачу в чате.