МАИ CV
Программно-аппаратный комплекс для детектирования дефектов на трубах
Бизнес-задача проекта:
Оптимизация времени и расходов на проведение сервисного обслуживания ТЭЦ, в которое входит осмотр труб на наличие поломок и дефектов, путем использования дронов (БПЛА) и программного обеспечения для анализа полученных материалов.
Нашей задачей было реализовать прототип программы для демонстрации возможности детектирования дефектов на фотографиях и видео, полученных с БПЛА.
Для этого мы разделили задачу на следующие этапы:
— развертывание инструмента для разметки данных CVAT
— создание инструмента для аугментации данных
— создание генератора синтетических данных
— обучение моделей нейронных сетей (YoloV4, DetectoRS) для анализа изображений
— создание client-server приложения (на базе которого клиент может самостоятельно загружать полученный от беспилотника видеопоток и анализировать состояние труб на наличие дефектов)
Что и как было сделано:
1. Research
Важным этапом стало создание аналитического отчета, совместно с партнерами из университета МАИ, необходимого для обоснования актуальности и возможностей решения поставленной задачи методами компьютерного зрения, выбора наиболее подходящего пути реализации.
В рамках создания отчета были:
— собрана информация о SOTA решениях в области детектирования объектов на изображениях;
— подготовлены и описаны 3 глубокие архитектуры — кандидата для использования в проекте;
— описано текущее состояние датасетов, инструментов разметки и метрик качества в аналогичных задачах и проектах;
— описаны возможности использования генератора синтетических данных.
2. Development
В следующем этапе, на основе существующих систем обучения глубоких архитектур для задач компьютерного зрения, мы реализовали собственную систему для обучения выбранных архитектур, разметки данных, сбора логов и метрик, визуализации. Для решения задачи нами был создан собственный генератор синтетических данных, который позволил значительно сократить процесс поиска материалов для обучения нейросетей.
Далее нами производилось обучение выбранных архитектур на различных датасетах (собранных совместно с партнерами и сгенерированных).
Как результат мы разработали прототип web client-server приложение, в которое были внедрены нейросети, обученные на поиск визуальных дефектов на трубах. Клиент может самостоятельно загружать материалы, полученные от беспилотника, и получать анализ состояния труб, как визуальный, так и технический (json файл).
Год реализации проекта: 2020
Deep LearningComputer Vision CMachine learning Object detection Industrial data analysis PythonData science
Особенности проекта:
В ходе реализации проекта, в сжатые сроки (один месяц) были проведены большие блоки работ, включающие в себя исследование и дальнейшую разработку. Созданный генератор синтетических данных может быть использован в смежных задачах, где необходима генерация датасетов для обучения нейронных сетей
Сроки: 1 месяц
Заказчик: Центр БПЛА МАИ
Год реализации проекта: 2020
Команда проекта
PM: Олег Юсупов
R&D: Вадим Кондаратцев, Александр Крючков, Роман Чумак
CG: Роман Чумак
DEV: Андрей Иванов
Статьи о реализации проекта:
