Цифровой страж садов: как технологии машинного зрения помогут сохранить культурное наследие Петербурга

В ГУАП разработали интеллектуальную систему мониторинга, которая позволяет автоматически выявлять признаки вандализма в исторических парках и садах.

Исторические сады и парки Санкт-Петербурга — это сложные ансамбли, включающие памятники, малые архитектурные формы, декоративные ограждения и элементы ландшафтного дизайна. Ежедневно эти территории посещают сотни людей, и далеко не все из них относятся к городскому наследию с должным уважением. Надписи на стенах, механические повреждения скульптур, вытаптывание газонов и разбрасывание мусора — лишь некоторые из проблем, с которыми сталкиваются службы охраны.

— Традиционные системы видеонаблюдения фиксируют происходящее, однако эффективность такого контроля напрямую зависит от человеческого фактора. Оператор физически не способен одновременно анализировать десятки видеопотоков, а многие правонарушения имеют кратковременный характер. В результате значительная часть инцидентов остается незамеченной, — отмечает разработчик системы, выпускник Института информационных технологий и программирования ГУАП Никита Василец.

Предложенное им решение основано на технологиях компьютерного зрения и машинного обучения и представляет собой интеллектуальную систему, способную автоматически детектировать признаки потенциального вандального поведения.

В основе системы лежит модель YOLOv8s-pose, которая, в отличие от классических детекторов, не только определяет человека (так называемая «ограничивающая рамка человека»), но и координаты ключевых точек его тела — в частности, локтей и кистей. Это позволяет анализировать характер его взаимодействия с охраняемыми объектами. Если кисть находится в заранее размеченной области вертикальной поверхности в течение заданного времени и совершает локальные движения небольшой амплитуды, система интерпретирует это как признак возможного воздействия на объект.

Для контроля зеленых насаждений используется нижняя центральная точка ограничивающей рамки человека, которая приближенно соответствует положению его стоп на плоскости сцены. При попадании этой точки в полигональную область газона или клумбы запускается отсчет времени: если человек остается в зоне дольше установленного порога, формируется предупреждение.

Третий сценарий связан с обнаружением посторонних предметов, которые могут свидетельствовать о разбрасывании мусора. Здесь система использует методы вычитания фона, реализованные в библиотеке OpenCV. Изменения сцены, появляющиеся рядом с человеком, проходят фильтрацию по площади, после чего отслеживается устойчивость объекта во времени. Такой подход не требует отдельной модели для распознавания типов мусора и может быть реализован без дополнительного обучения.

Ключевое отличие разработанной системы от классических средств видеонаблюдения — автономность анализа. Она не нуждается в непрерывном участии оператора: обработка видеопотока ведется автоматически, а предупреждение формируется только при выполнении сценарных условий. В перспективе это позволит снизить нагрузку на сотрудников и сократить время реакции на потенциальные инциденты.

Кроме того, система обладает гибкостью в настройке. Области интереса задаются вручную под конкретную сцену и могут иметь полигональную (в форме произвольного многоугольника) форму, что особенно важно для объектов со сложной геометрией. Пороговые значения — минимальное время нахождения в зоне, уверенность детекции, амплитуда движения — могут корректироваться в зависимости от условий съемки, что позволяет адаптировать систему к разным ракурсам камер и уровням освещенности.

Разработка ориентирована в первую очередь на исторические сады и парки Санкт-Петербурга, однако ее архитектура универсальна и может быть адаптирована для любых открытых общественных пространств: музеев под открытым небом, заповедников, дворцово-парковых ансамблей, городских зон отдыха. Важно отметить, что система сама по себе не выполняет правовой квалификации действий человека — ее задача состоит в выделении фрагментов видеопотока, требующих внимания сотрудника.

В настоящий момент создан программный прототип, прошедший экспериментальную проверку на подготовленных видеосценах. Система демонстрирует работоспособность всех перечисленных выше сценариев: фиксирует возможное воздействие на вертикальные объекты, нахождение в зеленой зоне и появление постороннего предмета рядом с человеком. Результаты обработки сохраняются в виде кадров инцидентов и записей в журнале, что позволяет проводить последующий анализ.

Среди направлений дальнейшего развития — внедрение трекинга для устойчивого отслеживания одного человека в последовательности кадров, обучение специализированной модели для распознавания типов мусора (что позволит снизить количество ложных срабатываний), а также сохранение не единичного кадра, а короткого видеофрагмента инцидента. В перспективе система может быть интегрирована в действующие комплексы видеонаблюдения.