Google Coral и ASI Biont: интеграция Edge AI для детекции брака на конвейере без облака

Введение

Когда речь заходит о промышленном компьютерном зрении, классический подход — отправить видеопоток в облако, обработать нейросетью и вернуть результат. Но на производстве, где каждый миллисекунда простоя стоит десятки тысяч рублей, а интернет может быть нестабильным, это не вариант. Google Coral (Edge TPU) — это USB-акселератор для инференса нейросетей на границе сети. Он позволяет выполнять детекцию объектов локально, с задержкой менее 10 мс на кадр. Но как интегрировать его с AI-агентом, который может анализировать результаты, запускать скрипты и отправлять алерты? ASI Biont решает эту задачу без написания кода вручную: достаточно описать задачу в чате, и AI сам создаст и выполнит код интеграции.

Почему Google Coral и ASI Biont — идеальная пара

Google Coral (Edge TPU) — это ASIC-ускоритель от Google, который выполняет модели TensorFlow Lite с квантованием INT8. Он подключается по USB 3.0 к любому одноплатнику (Raspberry Pi, Orange Pi) или ПК. Основные сценарии: детекция объектов (MobileNet SSD, YOLO), семантическая сегментация, классификация. По данным официальной документации Google Coral, устройство обеспечивает до 4 TOPS (триллионов операций в секунду) при энергопотреблении всего 2 Вт.

ASI Biont — это AI-агент, который умеет подключаться к устройствам по SSH, MQTT, COM-порту, Modbus/TCP, HTTP API и другим протоколам. Пользователь просто описывает в чате, что нужно сделать, и AI сам пишет Python-код с использованием реальных библиотек (paramiko, paho-mqtt, pymodbus, aiohttp и других), выполняет его в sandbox-окружении и возвращает результат.

Как ASI Biont подключается к Google Coral

Для интеграции с Google Coral используется SSH через execute_python. Пользователь указывает IP-адрес Raspberry Pi (или Orange Pi), логин и пароль. ASI Biont создаёт Python-скрипт с библиотекой paramiko, который:

1. Подключается к одноплатнику по SSH.
2. Запускает на нём Python-скрипт компьютерного зрения с использованием библиотек pycoral (официальный Python API от Google) и OpenCV.
3. Получает результаты детекции (координаты bounding box, классы, уверенность).
4. Анализирует их в облаке и выполняет заданные действия: отправляет алерт в Telegram, записывает в базу данных, запускает скрипты автоматизации.

Важно: сам инференс происходит локально на Edge TPU — в облако передаются только метаданные (координаты объектов, метки времени), а не видеопоток. Это снижает нагрузку на сеть и обеспечивает конфиденциальность данных.

Пример сценария: детекция брака на конвейере

Представьте линию сборки электроники, где камера фиксирует каждый проходящий модуль. Задача: обнаружить дефекты (сколы, отсутствие компонентов) и при обнаружении брака остановить конвейер и уведомить оператора в Telegram.

Пошаговое описание интеграции

Шаг 1. Пользователь описывает задачу в чате ASI Biont:

«Подключись к Raspberry Pi по SSH (IP: 192.168.1.100, логин: pi, пароль: raspberry). Запусти на нём скрипт, который использует Google Coral для детекции брака. Камера — USB-камера Logitech C920. Модель — MobileNet SSD v2 (coco_ssd_mobilenet_v2). Если обнаружен объект с классом „broken“ (confidence > 0.7), отправь мне в Telegram @my_chat сообщение „Брак обнаружен на конвейере!“ и запиши событие в локальный SQLite-файл.»

Шаг 2. ASI Biont генерирует и выполняет код:

import paramiko
import json

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('192.168.1.100', username='pi', password='raspberry')

# Скрипт для Raspberry Pi, который будет выполнен на устройстве
detection_script = '''
import cv2
from pycoral.utils.edgetpu import make_interpreter
from pycoral.utils.dataset import read_label_file
import sqlite3
import requests
import time

# Инициализация Edge TPU
interpreter = make_interpreter("mobilenet_ssd_v2_coco_quant.tflite")
interpreter.allocate_tensors()
labels = read_label_file("coco_labels.txt")

cap = cv2.VideoCapture(0)

conn = sqlite3.connect('defects.db')
c = conn.cursor()
c.execute('''CREATE TABLE IF NOT EXISTS defects
             (timestamp TEXT, label TEXT, confidence REAL)''')
conn.commit()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Инференс на Edge TPU
    _, scale = interpreter.set_input(frame)
    interpreter.invoke()
    objs = interpreter.get_output()[0]

    for obj in objs:
        if obj.score > 0.7 and labels.get(obj.label_id) == "broken":
            timestamp = time.strftime("%Y-%m-%d %H:%M:%S")
            c.execute("INSERT INTO defects VALUES (?, ?, ?)",
                      (timestamp, "broken", obj.score))
            conn.commit()

            # Отправка алерта в Telegram
            requests.post(
                "https://api.telegram.org/bot<TOKEN>/sendMessage",
                json={"chat_id": "@my_chat", "text": "Брак обнаружен на конвейере!"}
            )

            # Команда на остановку конвейера (через GPIO или Modbus)
            # gpio.output(17, gpio.LOW)

    time.sleep(0.1)
'''

# Передача скрипта на Raspberry Pi
stdin, stdout, stderr = ssh.exec_command(f"python3 -c '{detection_script}'")
print(stdout.read().decode())
print(stderr.read().decode())
ssh.close()

Шаг 3. AI запускает скрипт в sandbox-окружении.

Скрипт подключается к Raspberry Pi по SSH, передаёт на него Python-код для детекции с Edge TPU и запускает его. Результаты детекции сохраняются в SQLite, а при обнаружении брака отправляется сообщение в Telegram через requests.post.

Шаг 4. Пользователь получает результат.

ASI Bionт сообщает: «Скрипт запущен на Raspberry Pi. Детекция работает. Первый тестовый кадр обработан: найдено 0 дефектов. Журнал ведётся в файле defects.db. При обнаружении брака вы получите уведомление.»

Почему это выгодно

Ключевые преимущества:
- Экономия времени: AI пишет весь код интеграции за секунды, включая обработку ошибок, логирование и повторные попытки подключения.
- Гибкость: не нужно ждать, пока разработчики добавят поддержку Google Coral в панель управления — ASI Biont подключается к любому устройству через execute_python.
- Локальная обработка: видеопоток не уходит в облако, что критично для производств с ограниченной пропускной способностью сети или требованиями к конфиденциальности.
- Автоматизация: AI может не только детектировать, но и управлять оборудованием (например, остановить конвейер через GPIO или Modbus) — всё в рамках одного диалога.

Заключение

Google Coral (Edge TPU) — мощный инструмент для on-device ML, но его ценность раскрывается только в связке с AI-агентом, который может анализировать результаты и автоматизировать действия. ASI Biont делает эту интеграцию доступной каждому: не нужно писать код вручную, разбираться в SSH или настраивать окружение. Просто опишите задачу в чате — и AI всё сделает сам.

Попробуйте интеграцию Google Coral с ASI Biont прямо сейчас на asibiont.com. Опишите ваше оборудование и задачу в чате — и получите работающее решение за минуту.