Видеоаналитика с ИИ: как работает и что умеет

Видеоаналитика с ИИ — это не «умная камера», а программный слой поверх уже существующего видеонаблюдения. Камера передаёт поток, нейросеть в реальном времени распознаёт в нём объекты и события, а бизнес получает не запись «посмотрим потом, если что-то случится», а структурированные данные: сколько человек вошло в зал, как долго люди ждут у регистратуры, где простаивает разгрузочные ворота склада. Ниже разбираем, как устроен этот конвейер — от детекции и трекинга до событий и метрик, — где он даёт измеримый эффект и какие ошибки при внедрении стоят дороже самой системы. Материал опирается на практику внедрения видеоаналитики для розницы, клиник, складов и логистики.

Что такое видеоаналитика с ИИ и чем она отличается от детектора движения

Классический детектор движения, который стоит в большинстве регистраторов, работает примитивно: сравнивает соседние кадры и реагирует на изменение пикселей в заданной области. Он не понимает, что именно изменилось, — для него одинаковы человек, качнувшаяся ветка, блик фары и дождь. Поэтому такие системы генерируют десятки и сотни ложных тревог за смену, а персонал со временем просто перестаёт на них реагировать. Это главная причина, по которой видеонаблюдение «есть, но не работает».

ИИ-аналитика принципиально другая. Нейросеть выделяет на кадре конкретные объекты и относит их к классам: человек, автомобиль, погрузчик, каска, жилет. Дальше она понимает сцену, а не просто факт движения: стоит человек в запретной зоне или проходит через неё насквозь, надет ли на сотруднике жилет, сколько машин ждёт у ворот. Результат — не сигнал «что-то шевелится», а событие с контекстом: «человек в зоне кассы более 3 минут» или «у ворот №4 погрузчик без жилета».

Практически важное следствие: аналитика работает поверх существующих IP-камер через протоколы RTSP и ONVIF. Если камера выдаёт картинку приемлемого качества, менять парк не нужно — программный слой подключается к тому, что уже установлено. Это и есть ключевое отличие от «умных камер», где нейросеть встроена в само устройство и требует замены железа.

Конвейер: что происходит между кадром и событием

Между «камера сняла» и «оператору пришло уведомление» проходит шесть этапов, и каждый влияет на итоговую точность. Если хотя бы один настроен плохо, на выходе будет мусор.

1. Захват потока. Камера или регистратор отдаёт видеопоток в кодеках H.264 или H.265 по RTSP. На этом этапе фиксируется разрешение и частота кадров — если камера пишет 640×480 при 5 кадрах в секунду, дальше нейросеть уже ничего не спасёт.
2. Декодирование. Сжатый поток раскладывается на отдельные кадры. Это вычислительно тяжёлая операция, поэтому сервер аналитики обычно оснащается GPU: декодирование и прогон нейросети идут параллельно.
3. Детекция. Нейросеть находит объекты в кадре и выдаёт для каждого рамку (bounding box), класс и уверенность (confidence). Подробнее — в следующем разделе.
4. Трекинг. Рамки с соседних кадров связываются в траектории, объекту присваивается идентификатор. Благодаря трекингу система считает именно объекты, а не рамки: один и тот же человек на двадцати кадрах — это один посетитель, а не двадцать.
5. Правила и метрики. Траектории и классы сравниваются с правилами — пересечение линии, нахождение в зоне, время ожидания. Совпадение рождает событие, а накопленные траектории превращаются в метрики: трафик, конверсия, время обслуживания.
6. Доставка. Событие уходит в дашборд, уведомление оператору или интеграцию — СКУД, ERP, кассовую систему, мессенджер. Видеофрагмент события сохраняется в архив с меткой времени.

Весь цикл на одном потоке занимает доли секунды: современная модель обрабатывает 5–20 кадров в секунду, а задержка от события до уведомления на практике — 1–3 секунды. Для задач реального времени этого достаточно; миллисекундная реакция нужна только в промышленной безопасности, где ставят отдельные контроллеры.

Детекция: что именно видит нейросеть

Сердце системы — модель детекции. Сегодня это почти всегда однопроходные свёрточные сети семейства YOLO и их аналоги: за один прогон они находят все объекты в кадре целиком, поэтому успевают работать в реальном времени на видеопотоке. Для каждого найденного объекта модель выдаёт три вещи: прямоугольную рамку с координатами, класс и уверенность — число от 0 до 1, отражающее, насколько модель «уверена» в ответе.

Ключевой параметр — порог уверенности. Если порог низкий, система ловит больше реальных объектов, но и больше ошибается; если высокий — почти не ошибается, но пропускает часть событий. Универсального значения нет: для подсчёта трафика порог обычно ниже, для тревог безопасности — выше. Порог подбирается на пилотных записях под конкретную сцену, и именно здесь на практике теряется больше всего точности, если подрядчик оставил значение «по умолчанию».

Второй фактор — состав классов. Базовая модель из коробки уверенно различает универсальные классы: человек, автомобиль, велосипед. Чем специфичнее задача, тем важнее дообучение на данных заказчика. Каска и жилет узнаются хуже, если на предприятии нестандартный цвет или форма; фирменная одежда, специфичная тара, конкретная модель погрузчика почти всегда требуют дообучения на нескольких тысячах размеченных изображений с реальной площадки. Обещание «распознаем всё из коробки» для нетиповой задачи — верный признак того, что после запуска начнутся сюрпризы.

Задача детекции	Что выдаёт модель	Типичные ошибки
Человек	Рамка + класс	Перепутать с манекеном, отражением, изображением на плакате
Транспорт	Класс + тип	Ночные фары, тени, сцепка прицепа как отдельное ТС
СИЗ (каска, жилет)	Есть/нет на человеке	Частичное перекрытие, похожий по цвету фон, ракурс сверху
Поза и положение	Ключевые точки скелета	Ракурс сверху, лежащий человек, частично загороженный объектом

Отдельно стоит сказать про качество исходной картинки. Нейросеть видит ровно то, что приходит с камеры: при ночной съёмке без ИК-подсветки, сильном контровом свете из окна или разрешении ниже 720p точность падает драматически, и никакая модель это не компенсирует. Поэтому часть работ по «внедрению аналитики» на деле — это аудит ракурсов и освещения ещё до установки ПО.

Трекинг: как объект ведут по кадрам

Детекция работает с отдельным кадром, а бизнесу нужна связность во времени: сколько человек прошло через вход, а не сколько рамок нарисовалось. Эту связность обеспечивает трекинг — сопоставление детекций между соседними кадрами и присвоение объекту постоянного идентификатора.

Современный трекер комбинирует несколько сигналов. Пересечение рамок (IoU) говорит, что объект почти не сдвинулся. Фильтр Калмана предсказывает, где объект окажется на следующем кадре, исходя из его скорости. Сравнение внешности (reID-эмбеддинг) помогает удержать объект, когда рамки пересекаются — например, в толпе. Чем плотнее поток, тем больше веса набирает внешность, а не положение.

Слабые места трекинга — окклюзии и пересечения. Когда человек заходит за столб или другого человека, его ID может «потеряться», а при выходе — восстановиться уже как новый объект. Если такое происходит часто, врут ключевые метрики: счётчик посетителей завышается, время ожидания считается некорректно. Поэтому при приёмке системы проверяют не детекцию на статичных кадрах, а именно стабильность треков на сложных участках — вход в час пик, зона кассы, пересечение потоков.

Отдельный уровень — многокамерный трекинг. Он переносит объект между камерами по внешности, восстанавливая сквозной путь: покупатель зашёл, прошёл к витрине, встал в очередь, ушёл без покупки. Это дороже и капризнее однокамерного трекинга, но именно он даёт сквозную аналитику воронки для розницы, а не разрозненные счётчики по зонам.

События, правила и качество: почему система ошибается

Сырые траектории сами по себе ничего не стоят, пока к ним не привязаны правила. Базовый набор, который есть в любой зрелой системе, сводится к четырём примитивам: пересечение линии (человек пересёк границу входа), зона интереса (объект находится в выделенной области), время нахождения (объект в зоне дольше N секунд) и счётчик. Из комбинаций собираются события: «в зоне кассы скопилось больше пяти человек», «у ворот №4 погрузчик стоит без движения более 10 минут», «сотрудник в жёлтой зоне без каски».

Здесь же рождается главный вопрос точности. Любая модель ошибается, поэтому качество принято измерять двумя метриками. Точность (precision) — доля верных событий среди всех срабатываний; если из 100 тревог 10 ложных, точность 90%. Полнота (recall) — доля реальных событий, которые система заметила; если из 100 нарушений система увидела 85, полнота 85%. Эти две метрики тянут в разные стороны: поднимая порог уверенности, вы улучшаете точность и теряете полноту.

100% не существует. Реалистичный ориентир для типовой сцены — точность 90–95% при полноте 85–90%, и это уже рабочий результат, при котором систему не отключают. Важнее порогов и зон — реакция на ошибки: если ложных тревог сотни в смену, оператор отключает уведомления, и система умирает. Поэтому приёмку делают не «по документам», а по недельному прогону на реальном трафике с разбором каждой категории ошибок.

На качество давят четыре фактора, которые нужно зафиксировать до запуска: свет (ночь, блики, контровой), ракурс и высота установки, разрешение и частота кадров, плотность потока. Модель, обученная на офисных кадрах, заметно деградирует на складе с высокими стеллажами и люминесцентным светом — это нормально и лечится дообучением, а не «ещё одним порогом».

Сценарии из практики

Видеоаналитика окупается только тогда, когда отвечает на вопрос, который бизнес и так задаёт каждую неделю: почему падает конверсия, где теряем время, кто нарушает регламент. Типовые сценарии — ниже; почти все они стартуют с одной-двух зон, а не со всего объекта сразу.

Сценарий	Что считает система	На что влияет
Розница	Трафик, конверсия в чек, очереди, занятость касс, выкладка	Штатное расписание, мерчандайзинг, потери от очередей
Клиники	Очередь у регистратуры, время ожидания, загрузка кабинетов	Сервис, маршрутизация пациентов, расписание врачей
Склад	Занятость ворот, простои, время погрузки	Производительность, простой техники, соблюдение регламентов
Логистический терминал	Въезд/выезд ТС, зоны ожидания, пропускная способность	Очереди на КПП, плановая загрузка терминала
Безопасность и СИЗ	Каска, жилет, проникновение в зону, человек на полу	Число инцидентов, риски предписаний надзорных органов

Логика выбора первого сценария простая: начинать с метрики, которую компания уже умеет считать и за которую кто-то отвечает. Если в рознице еженедельно считают конверсию по чекам, аналитика трафика закрывает недостающее звено — знаменатель этой дроби. Если на складе платят за простой машин, счётчик времени у ворот сразу показывает деньги. Сценарий «поставим аналитику везде, а потом разберёмся, что она считает» — самый дорогой и самый бесполезный вариант внедрения.

Типичные ошибки внедрения

Большинство провальных проектов видеоаналитики ломаются не из-за плохой нейросети, а из-за организационных просчётов на старте. Вот ошибки, которые встречаются чаще всего.

• Аналитика на все камеры сразу. Проект «на 40 камер» без описанных сценариев оборачивается горой неиспользуемых метрик и перерасходом бюджета. Правильный путь — пилот на 5–10 камерах с одной-двумя задачами.
• Плохая картинка под видом «модель разберётся». Камера смотрит не туда, разрешение низкое, ночью нет ИК-подсветки, из окна бьёт контровой свет. Нейросеть не видит лучше, чем картинка: сначала аудит ракурсов, потом ПО.
• Ожидание 100% точности. Первые ложные срабатывания приводят заказчика к выводу «система не работает», хотя точность 90% — это нормальный рабочий уровень. Критерий успеха формулируется заранее и числом.
• Пороги и зоны оставлены «по умолчанию». Шквал ложных тревог из-за недонастроенных зон заставляет персонал отключить уведомления — после этого система не работает даже там, где могла бы.
• Экономия на сервере. Если GPU не тянет суммарный поток всех камер, часть кадров отбрасывается, и метрики тихо врут. Количество потоков на сервер считается до закупки, а не после.
• Игнорирование приватности. Обработка видео с людьми — это работа с персональными данными, и к ней применяются требования 152-ФЗ: обезличивание, хранение, уведомление. Игнорирование даёт не только юридический, но и репутационный риск.
• Нет владельца результата. Система считает метрики, но никто не назначен отвечать за то, что с ними делать. Данные без действий — это ещё одна заброшенная панель.

Общий знаменатель: внедрение видеоаналитики — это проект с этапами, пилотом и ответственным, а не «установка камер». Ошибки почти всегда лечатся на этапе пилота, если его не пропускать.

Что спросить у подрядчика: чек-лист

Ответы на эти восемь вопросов отделяют поставщика, который настроит рабочую систему, от того, кто «продаст лицензии и пропадёт». Задайте их до подписания договора.

• Совместимость с текущими камерами. Работает ли система с нашим парком через RTSP/ONVIF, есть ли список поддерживаемых моделей и что будет, если часть камер окажется несовместимой.
• Нагрузка на сервер. Сколько потоков тянет один сервер с вашим разрешением и частотой кадров, сколько GPU потребуется на весь парк и какой запас заложен.
• Модели: коробка или дообучение. Какие классы распознаются из коробки, что дообучается под нашу задачу, на каких данных и сколько это стоит по времени и деньгам.
• Метрики качества. Как измеряется точность и полнота, какие пороги и зоны настраиваются, кто делает настройку и входит ли она в стоимость.
• Куда уходят события. Дашборд, уведомления, интеграции с СКУД/ERP/кассой — что есть в базовой поставке, а что оплачивается отдельной разработкой.
• Поддержка после запуска. Входит ли обновление моделей, докрутка порогов по итогам первого месяца и как быстро подрядчик реагирует на замечания.
• Пилот. Есть ли этап на 5–10 камерах до полного масштаба и по каким критериям принимается решение о расширении.
• Хранение и обезличивание. Как устроено хранение видео и метаданных, поддерживается ли обезличивание лиц и соответствие 152-ФЗ.

Отдельно проверьте репутацию: посмотрите отзывы заказчиков и попросите доступ к работающей системе у клиента из похожей ниши — лучше один час на живом объекте, чем десять презентаций. Обсудить конкретную задачу и получить расчёт под ваш парк камер можно через страницу контактов.

Частые вопросы

Полезно на сайте: видеонаблюдение, ИТ-аутсорсинг, цены.