В рассматриваемом эксперименте поток воды в трубопроводе с внутренним диаметром 1,6 см движется со скоростью 1 м/с, а сами частицы, на 80 % состоящие из полипропилена и на 20 % из магнитного материала (Fe3O4), имеют малую массу и подвержены влиянию гидродинамических флуктуаций. Использование стандартных камер (24–60 к/с) не позволяет получить четкие изображения из-за эффекта движения, что приводит к значительным ошибкам при автоматизированном подсчете. Кроме того, для построения объемной картины потока и снижения вероятности пропуска частиц, находящихся в «слепых зонах», целесообразно использование многоканальной системы видеообнаружения.
Традиционные методы оптической диагностики, такие как лазерная анемометрия (LDV) или классическая трассерная визуализация (PIV), часто требуют дорогостоящего оборудования и сложной настройки. С развитием вычислительных мощностей и библиотек компьютерного зрения, в частности OpenCV, открываются возможности для создания более доступных и гибких программных комплексов. Анализ современной литературы показывает, что алгоритмы обработки изображений активно применяются для решения задач микроскопии и визуализации потоков.
Так, в работах [4, 5] описывается подход к отслеживанию микрочастиц в микроканалах с использованием средств OpenCV, однако авторы ограничиваются невысокой частотой съемки и не рассматривают режимы с большими скоростями. Исследования [6–10] посвящены методам сегментации частиц в многофазных потоках, где для повышения точности используются многокамерные системы регистрации. Однако существующие решения, как правило, нацелены либо на визуализацию поля скоростей (векторное поле), либо на грубую оценку плотности, игнорируя такие важные характеристики, как режим течения (ламинарный или турбулентный), который влияет на устойчивость движения микроконтейнеров и риск их агрегации.
Особую сложность представляет обработка видеоданных с высокой частотой кадров. При скорости потока 1 м/с для фиксации мгновенного положения частицы без эффекта смазывания необходимо использовать частоты съемки от 240 до 480 кадров в секунду. Подобные задачи поднимаются в работах по высокоскоростной видеосъемке [11–15], однако вопросы эффективной многопоточной обработки данных от четырех камер одновременно в условиях ограниченных вычислительных ресурсов требуют больших мощностей и использования суперкомпьютеров в нынешних реалиях.
Целями данной работы являлось:
- Разработка архитектуры программного комплекса, обеспечивающей синхронную обработку видеопотоков от четырех камер с частотой съемки 240 и 480 кадров в секунду для фиксации быстрых движений объектов.
- Реализация трех алгоритмов обработки видео: по вылету из кадра, по пересечению вертикальных линий и по детекции красной частицы.
- Апробация разработанного метода на лабораторном стенде в потоке воды в трубопроводе диаметром 1,6 см, движущемся со скоростью 1 м/с, содержащем магнитные частицы.
- Оценка эффективности предложенного алгоритма путем сравнения полученных данных подсчета частиц и определения режимов течения с теоретическими оценками и результатами визуального анализа.
Разработка приложения
Разработанное приложение предназначено для количественного анализа видеозаписей потока частиц в прозрачном участке трубы. Целью было получить инструмент, который, с одной стороны, дает устойчивый и воспроизводимый подсчет частиц в реальных условиях эксперимента (дрожание камеры, неравномерное освещение, изменяющийся фон), а с другой – позволяет оператору гибко настраивать критерии учета без необходимости вмешательства в код.
В отличие от используемого ранее решения с одним видеоканалом и минимумом настраиваемых параметров, реализован блок одновременной обработки до четырех видеозаписей, улучшенным алгоритмом сегментации близкорасположенных частиц и расширенный набор критериев, определяющих, будет ли конкретная траектория частиц засчитана.
Обработка каждой видеозаписи начинается с выделения движущихся объектов. Для выделения подвижных объектов используется модель фона на основе OpenCV (BackgroundSubtractorMOG2) с отключением детекции теней. На каждом кадре видеопотока выполняется преобразование в оттенки серого, затем вычисляется маска переднего плана. Полученная бинарная маска (см. рис. 1) очищается морфологическим открытием с эллиптическим структурным элементом, что снижает влияние одиночных шумовых пикселей и мелких артефактов.
РИСУНОК 1. Бинарная маска движущихся частицСкорость отображения результатов регулируется отдельным коэффициентом и не влияет на вычисления детекции. Пользователь управляет чувствительностью модели выделения движущихся объектов через пороговый параметр, который задается в интерфейсе программы.
После получения маски «переднего плана» проводится последовательность морфологических операций (очистка от одиночных пикселей, сглаживание границ областей). На этой стадии применяется так называемая сегментация по линиям водораздела (алгоритм watershed). Идея этого метода восходит к представлению изображения в виде «рельефа» яркости или расстояний: светлые области соответствуют «холмам», темные – «долинам». Если представить, что в этот рельеф постепенно поднимается уровень воды, то в местах соприкосновения «водоемов», растущих из разных локальных минимумов, формируются линии водораздела. В рассматриваемой задаче предварительно выделяются «точно объектные» и «точно фоновые» области, после чего алгоритм проводит разделение слипшихся частиц по этим линиям. Такой подход особенно полезен при высокой концентрации частиц, когда стандартное выделение контуров дает одну крупную объединенную область вместо нескольких отдельных объектов. Для каждой полученной области (контура) вычисляется площадь и прямоугольник, ограничивающий эту область (см. рис. 2). Области меньшей площади, чем заданный порог, отбрасываются как шум. Также исключаются объекты с экстремальным соотношением сторон, не соответствующим ожидаемому виду частиц в трубе.
РИСУНОК 2. Ограничивающие площадь прямоугольникиВыделенные таким образом прямоугольники трактуются как детекции частиц на текущем кадре и передаются в блок трекинга. В основе трекинга лежит алгоритм, известный как SIMPLE Online and Realtime Tracking (SORT). Он сочетает в себе фильтрацию траекторий с помощью фильтра Калмана и процедуру сопоставления объектов между кадрами. Для каждого прямоугольника описывается состояние (положение центра, масштаб, соотношение сторон и их скорости изменения), которое предсказывается вперед во времени. Затем на новом кадре фактические детекции сопоставляются с предсказанными положениями действующих треков. Сопоставление осуществляется на основе меры пересечения прямоугольников, называемой intersection over union (IoU). Для двух прямоугольников вычисляется площадь их пересечения и площадь их объединения; отношение площади пересечения к площади объединения и есть IoU. Значение, близкое к единице, означает почти полное совпадение областей, значение, близкое к нулю, – почти полное отсутствие перекрытия. При назначении детекций трекам используется порог по этой величине: детекция может быть привязана к существующему треку только в том случае, если пересечение с предсказанным прямоугольником достаточно велико. Это снижает вероятность перепутать близко расположенные частицы или «передать» трек от одной частицы другой.
На выходе алгоритма трекинга для каждого активного трека формируется последовательность центров, моменты первого и последнего появления, история скоростей и число кадров, в течение которых трек не обновлялся (признак потери). По мере обработки кадров треки, которые длительное время не подтверждаются новыми детекциями, считаются завершенными и проверяются на соответствие критериям учета. Критерии включают минимальную длительность существования, минимальное число кадров в треке, минимальную суммарную пройденную дистанцию и диапазон допустимых средних скоростей. Это позволяет отбрасывать кратковременные шумовые траектории, возникающие, например, из-за мелких колебаний фона или неустойчивой подсветки, и в то же время учитывать устойчивые пролеты частиц.
Для подсчета частиц в экспериментальной схеме с постоянным магнитом в одной измерительной зоне без разнесения камер по участкам «до» и «после» магнита было реализовано дополнительное условие учета по пересечению двух вертикальных линий, расположенных в координатах, задаваемых пользователем (рисунок 3).
РИСУНОК 3. Режим работы «по пересечению линий»Камера устанавливается строго над магнитом так, чтобы в поле съемки одновременно попадали области перед магнитом и за ним. Подсчет выполняется по пересечению двух контрольных линий, расположенных по обе стороны магнита: число частиц, пересекших левую линию, трактуется как количество частиц, поступивших в зону воздействия, а число частиц, пересекших правую линию, как количество частиц, прошедших магнит без задержания. Разность этих величин используется для оценки числа задержанных частиц, тогда как значение по правой линии характеризует число частиц, не задержанных магнитом.
Для сценариев, где необходим подсчет частиц только в заданном интервале, реализован режим «красной частицы-триггера». Классификация выполняется по доле красных пикселей в HSV-пространстве (hue–saturation–value, то есть «оттенок–насыщенность–яркость»). В области, соответствующей детекции; используется два диапазона оттенка для красного цвета., в котором оттенок задается углом на цветовом круге, а насыщенность и яркость – отдельными координатами. Это позволяет более устойчиво выделять красный цвет при изменяющемся освещении и экспозиции. В окрестности каждой детекции выполняется преобразование в HSV и подсчет доли пикселей, попадающих в два заданных диапазона оттенка, соответствующих красным тонам. Если эта доля превышает порог, объект классифицируется как «красная частица» (см. рис. 5).
РИСУНОК 4. Определение красной частицыПервое завершенное прохождение такой частицы включает учет всех последующих частиц, второе его выключает. Таким образом, оператор может использовать пролет маркерной частицы для задания временных окон учета без дополнительного оборудования.
Также для оценки реальной скорости движения частиц средняя скорость в пикселях на кадр пересчитывается в м/с по следующей формуле:
Для серии учтенных треков вычисляется среднее значение реальной скорости.
В модуле формирования отчета дополнительно рассчитывается оценка числа Рейнольдса по средней скорости первого видео и выбранным геометрическим параметрам; на основе порогового значения формируется классификация режима течения.
С практической точки зрения важную роль играет организация интерфейса и возможность параллельной работы с несколькими видеоканалами. Приложение обрабатывает до четырех видеозаписей одновременно, размещая их в постоянной сетке 2х2 (рисунок 5).
РИСУНОК 5. Интерфейс одновременной обработки четырех видеозаписейЭто дает возможность, одновременно анализировать два участка трубы до и после фильтрационного элемента, или же сравнивать разные режимы течения, или две независимые камеры на одном сечении. Все основные параметры детекции и трекинга общие для всех каналов и могут быть изменены в процессе работы; изменения немедленно передаются во все активные обработчики видео. Это облегчает настройку метода на серии экспериментов и уменьшает количество повторных прогонов.
По завершении обработки всех активных видеопотоков, при включенной опции формирования отчета, автоматически создается Excel-файл со сводной таблицей. Состав столбцов зависит от выбранного режима учета: общий счетчик, учет по красной частице (раздельное представление результатов для «левых» и «правых» камер) или учет по пересечению линий. Отчет сохраняется в каталоге с временной меткой имени файла.
Графический интерфейс реализован на базе библиотеки CustomTkinter – расширения стандартного инструментария Tkinter для Python.
В отличие от базового варианта, CustomTkinter предоставляет более гибкую систему виджетов, поддержку современного внешнего вида и темной темы, а также удобные элементы, такие как ползунки с одновременным числовым вводом, прокручиваемые панели и настраиваемые кнопки. Это позволяет компактно разместить большое число параметров, обеспечить стабильное отображение четырех видеопотоков с сохранением соотношения сторон и встроить вспомогательные элементы, такие как текстовая консоль с логами трекинга. Выбор этого инструментария обусловлен именно сочетанием доступности (стандартный стек Python), возможности кросс-платформенной работы и достаточной выразительности для построения специализированного измерительного интерфейса без избыточной графики.
В совокупности описанная методика сочетает заведомо простые и вычислительно легкие операции (модель фона, морфологические преобразования, трекинг с фильтром Калмана) с системой формализованных критериев, обеспечивающих отбор только тех траекторий, которые действительно соответствуют пролету частиц через рабочую область. Одновременная работа с четырьмя видеоканалами, учет по пересечению границ и возможность задавать интервалы учета по цветовой метке позволяют адаптировать инструмент к различным экспериментальным схемам, сохраняя при этом прозрачность и интерпретируемость каждого этапа обработки.
Заключение
В ходе работы была решена задача создания программного комплекса для автоматизированного мониторинга дисперсных фаз в потоке жидкости. Основной целью исследования являлась разработка и реализация методики подсчета механических частиц, способной работать в условиях высоких скоростей потока и обеспечивающей высокую точность обработки данных.
Разработанная архитектура программного комплекса успешно обеспечивает синхронную обработку видеопотоков, поступающих от четырех камер. Реализованная поддержка высокой частоты кадров (240 и 480 кадров в секунду) позволила исключить эффект «смаза» изображений и корректно фиксировать мгновенное положение объектов при скорости потока 1 м/с.
В программной среде реализованы и апробированы три различных алгоритма обработки видео:
- Алгоритм, основанный на регистрации факта вылета частицы из кадра
- Алгоритм подсчета по пересечению заданных вертикальных линий;
- Алгоритм цветовой детекции, ориентированный на выявление частиц красного цвета.
- Использование нескольких подходов позволило повысить гибкость системы и выбирать оптимальный метод подсчета в зависимости от контрастности изображения и освещенности.
- Апробация метода была проведена на лабораторном стенде в условиях потока воды в трубопроводе с внутренним диаметром 1,6 см, содержащего магнитные частицы. Проведенная оценка эффективности путем сравнения полученных данных с результатами ручного визуального анализа и теоретическими расчетами показала высокую достоверность работы алгоритмов.
Литература
1. Pankhurst Q. A., Connolly J., Jones S. K., Dobson J. Applications of magnetic nanoparticles in biomedicine // Journal of Physics D: Applied Physics. – 2003. – Vol. 36. – No. 13. – P. R167.
2. Liu Y., et al. Smart microcontainers for drug delivery // Journal of Materials Chemistry B. – 2016. – Vol. 4. – No. 27. – P. 4628–4637.
3. Замрий А.В., Викторова Н.В. Умные микроконтейнеры [Журнал]. – Москва: МЭАЙ СНГПР, 2019 г.
4. Борисов В.В., Коротаев Д.В. Использование библиотеки OpenCV для задач трассерной визуализации в микроаналитике // Компьютерная оптика. – 2018. – Т. 42, № 5. – С. 856–862.
5. Massarelli C., Campanale C., Uricchio V. F. A handy open-source application based on computer vision and machine learning algorithms to count and classify microplastics //Water. – 2021. – Т. 13. – № 15. – С. 2104.
6. Adrian R. J., Westerweel J. Particle Image Velocimetry. – Cambridge University Press, 2011.
7. Willert C. E., Gharib M. Digital particle image velocimetry // Experiments in fluids. – 1991. – Vol. 10. – No. 4. – P. 181–193.
8. Choi J. H. et al. Highly flexible deep-learning-based automatic analysis for graphically encoded hydrogel microparticles //ACS sensors. – 2023. – Т. 8. – № 8. – С. 3158–3166.
9. Howell L., Anagnostidis V., Gielen F. Multi‐object detector YOLOv4‐tiny enables high‐throughput combinatorial and spatially‐resolved sorting of cells in microdroplets //Advanced Materials Technologies. – 2022. – Т. 7. – № 5. – С. 2101053.
10. Michaels M. et al. Artificial intelligence algorithms enable automated characterization of the positive and negative dielectrophoretic ranges of applied frequency //Micromachines. – 2022. – Т. 13. – № 3. – С. 399.
11. Hargather M. J., Settles G. S. High-speed digital Schlieren and shadowgraphy for vibration analysis // Experimental mechanics. – 2013. – Vol. 53. – No. 4. – P. 553–561.
12. Kim M. S. et al. A high-speed particle-detection in a large area using line-laser light scattering //Current Applied Physics. – 2015. – Т. 15. – № 8. – С. 930–937.
13. Howell J. et al. High-speed particle detection and tracking in microfluidic devices using event-based sensing //Lab on a Chip. – 2020. – Т. 20. – № 16. – С. 3024–3035.
14. Cheng P., Jhiang S. M., Menq C. H. Real-time visual sensing system achieving high-speed 3D particle tracking with nanometer resolution //Applied optics. – 2013. – Т. 52. – № 31. – С. 7530–7539.
Armenise N. et al. High-speed particle tracking in nuclear emulsion by last-generation automatic microscopes //Nuclear Instruments and Methods in Physics 15. Research Section A: Accelerators, Spectrometers, Detectors and Associated Equipment. – 2005. – Т. 551. – № 2–3. – С. 261–270.
