Представьте: на Raspberry Pi крутится TensorFlow Lite модель, которая в реальном времени детектирует объекты с камеры. Результаты инференса — это просто числа и метки. Сами по себе они никому не нужны. Но если подключить этот Pi к AI-агенту ASI Biont, то распознавание на краю превращается в полноценную автоматизацию: Pi может сам отправить команду на контроллер, сформировать отчёт или запустить alarm-сценарий. Звучит сложно? На деле это делается за пару минут через обычный чат — без панелей управления и толстых мануалов.
Что такое Raspberry Pi + TensorFlow Lite / ONNX Runtime
Raspberry Pi давно стал стандартом для edge AI. На одноплатник ставят TensorFlow Lite — легковесный фреймворк от Google для on-device ML, который оптимизирует модели для ARM-процессоров. Альтернатива — ONNX Runtime от Microsoft, поддерживающий больше форматов и позволяющий запускать модели, экспортированные из PyTorch, TensorFlow и других фреймворков. Оба решения работают локально, без облака, что даёт низкую задержку и автономность.
Но локальный инференс — это лишь половина дела. Модель на Pi видит мир, но не понимает контекста. Например, она определяет «человек» с вероятностью 0.98, но не знает, что этот человек зашёл в запретную зону в 3 часа ночи. Для таких выводов нужен AI-агент более высокого уровня — ASI Biont.
Зачем подключать Raspberry Pi к ASI Biont?
ASI Biont — это AI-агент, который умеет общаться с устройствами через десятки протоколов: MQTT, Modbus, OPC-UA, SSH, COM-port и другие. Он берёт «сырые» данные от локальной модели и превращает их в действия: отправляет уведомления, меняет параметры PLC, логирует события в базу. В связке вы получаете:
- Умный периметр: Pi с камерой и TensorFlow Lite распознаёт человека, а Biont решает, что делать — включить сирену, отправить сообщение охране.
- Мониторинг датчиков: Pi с ONNX Runtime анализирует вибрацию станка, Biont выявляет аномалии и вызывает механика.
- Автоматизация на основе ML: Pi классифицирует дефекты на конвейере, Biont останавливает линию при превышении брака.
Способы подключения: выбираем MQTT и execute_python
ASI Biont умеет подключаться к Raspberry Pi напрямую через SSH или по MQTT. Но самый гибкий способ — универсальный execute_python: вы описываете в чате, к какому устройству подключиться и какие параметры (IP, порт, API-ключ), и AI сам пишет Python-код с использованием paho-mqtt, pyserial, paramiko или pymodbus. Никаких заготовленных драйверов — Biont адаптируется под вашу задачу за секунды.
В нашем сценарии используем MQTT — лёгкий и быстрый протокол, идеально подходящий для Raspberry Pi. Pi будет публиковать результаты инференса в топик, а Biont — подписавшись на него, обработает данные и выполнит нужное действие.
Пример кода: распознавание объектов + отправка в MQTT
Ниже — типичный скрипт для Raspberry Pi, который запускает TensorFlow Lite модель и публикует результат в MQTT-брокер. Предположим, мы детектируем людей на видеопотоке.
# tflite_mqtt.py
import tflite_runtime.interpreter as tflite
import numpy as np
from PIL import Image
import paho.mqtt.client as mqtt
# Инициализация модели
interpreter = tflite.Interpreter(model_path="ssd_mobilenet.tflite")
interpreter.allocate_tensors()
# Загрузка и предобработка кадра
image = Image.open("frame.jpg").resize((300, 300))
input_data = np.expand_dims(np.array(image, dtype=np.float32) / 127.5 - 1.0, axis=0)
# Инференс
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], input_data)
interpreter.invoke()
scores = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0]
# Фильтруем объекты с confidence > 0.7
objects = []
for i, score in enumerate(scores):
if score > 0.7:
# Определяем класс (например, 1 = person)
objects.append({"class": "person", "confidence": float(score)})
# Публикация в MQTT
client = mqtt.Client()
client.connect("192.168.1.100", 1883, 60)
client.publish("biont/raspberry/objects", str(objects))
client.disconnect()
В ONNX Runtime код выглядит аналогично, только загрузка модели и инференс отличаются:
import onnxruntime as ort
session = ort.InferenceSession("model.onnx")
result = session.run(None, {"input": input_data})
Как ASI Biont обрабатывает результат
На стороне ASI Biont вы просто пишете в чате: «Подпишись на топик biont/raspberry/objects и при появлении объекта "person" с вероятностью больше 0.9 отправь мне уведомление в Telegram». Агент сам сгенерирует код для MQTT-подписки и обработки события. Вам не нужно открывать панели или настраивать правила — всё через диалог.
Вот пример, как Biont может использовать универсальный execute_python для обработки данных:
import paho.mqtt.client as mqtt
import requests
def on_message(client, userdata, msg):
data = eval(msg.payload.decode())
for obj in data:
if obj["class"] == "person" and obj["confidence"] > 0.9:
# Отправка уведомления в Telegram
requests.post("https://api.telegram.org/bot<TOKEN>/sendMessage",
json={"chat_id": "<CHAT_ID>", "text": "Person detected!"})
client = mqtt.Client()
client.on_message = on_message
client.connect("192.168.1.100", 1883, 60)
client.subscribe("biont/raspberry/objects")
client.loop_forever()
Обратите внимание: в execute_python нельзя использовать while True (таймаут 30 секунд), поэтому для постоянной подписки лучше использовать асинхронные паттерны или просто дождаться одного события.
Почему ASI Biont упрощает интеграцию?
Классический путь: разработчик пишет скрипт для Raspberry Pi, отдельно настраивает MQTT-брокер, затем пишет обработчик событий, подключает Telegram API. На это уходят часы, а то и дни. С ASI Biont вы описываете задачу на естественном языке, и AI-агент генерирует весь код за вас. Он сам выберет нужную библиотеку (paho-mqtt, paramiko, pyserial — что подходит под ваше устройство) и предложит готовое решение.
Кроме того, Biont не привязан к конкретному протоколу. Если завтра вы замените Raspberry Pi на Arduino или PLC Siemens, агент перепишет интеграцию под новый интерфейс. Для этого достаточно описать параметры подключения в чате — не нужно ждать обновлений платформы или писать кастомный плагин.
Применение в реальных кейсах
Кейс: видеонаблюдение на складе. На Raspberry Pi 4 установлена TensorFlow Lite модель для детекции людей и техники. Pi публикует координаты объектов через MQTT. ASI Biont анализирует их и при обнаружении человека в запретной зоне отправляет команду на контроллер ворот через Modbus TCP. Время реакции — менее 500 мс.
Кейс: предиктивное обслуживание. Raspberry Pi с ONNX Runtime анализирует вибрацию насоса. Если модель предсказывает отказ через 48 часов, Pi шлёт данные в ASI Biont, который автоматически создаёт заявку в Jira и уведомляет инженера. Благодаря локальной обработке, даже при обрыве связи с облаком Pi продолжает собирать данные и буферизирует их.
Почему это выгодно?
- Скорость внедрения: интеграция через чат занимает минуты, а не дни.
- Гибкость: ASI Biont подключается к любому устройству через
execute_python— вам не нужно ждать, пока платформа добавит поддержку вашего железа. - Экономия ресурсов: Edge AI снижает нагрузку на сеть и облако, а Biont добавляет интеллектуальную автоматизацию поверх локальных моделей.
Попробуйте сами: подключите Raspberry Pi с TensorFlow Lite или ONNX Runtime к ASI Biont и почувствуйте разницу. Опишите задачу в чате на asibiont.com — агент напишет код интеграции всего за несколько секунд.
Комментарии