Детализация рабочего
дня
сотрудников
автомойки

Цель проекта

Разработать систему автоматической детализации рабочего дня сотрудника автомойки с целью контроля соблюдения технологического процесса мойки автомобиля

Этапы реализации проекта

Разработка и реализация методологии
сбора и разметки видео-потока с
камер видеонаблюдения (открытые
данные под домен отсутствуют)

Обучение модели детектирования
событий в видеоряде, которая в режиме,
близкому к реальному времени,
определяет стадию автомойки по
фрагменту видео

Формирование чеклиста для
контроля наличия и
длительности каждой стадии
мойки автомобиля

РЕЗУЛЬТАТЫ

Разработаны методология и механизм сбора и разметки данных для подготовки обучающей выборки

Достигнута точность модели детектирования стадии автомойки в 84% на малом объеме данных

Реализован мониторинг контроля качества и объема размеченных данных в реальном времени

Разработаны аналитические дашборды для анализа результатов работы модели

НЮАНСЫ РАЗРАБОТКИ РЕШЕНИЯ

Контроль процесса разметки

Для контроля разметки был реализован мониторинг статистики по этапам автомойки. При этом подсчитывалось как общее количество действий, так и объем собранной разметки по классам в рамках уникальных автомобилей. Тем самым оказалось удобным перенаправлять внимание разметчиков на поиск примеров по более редким классам, и подсвечивать ошибки в разметке. Скриншот промежуточной статистики по собранным количествам ниже:

ИСПРАВЛЕНИЕ ошибок в обучающей ВЫБОРКе

Механизмы сбора разметки использовались и для контроля качества собираемых данных. Изображения/части видео, на которых модель “сильно ошибается” отправлялись на дополнительную итерация проверки разметчиками, что позволило повысить обобщающую способностью модели.
Пример изображений, отправленных на уточнение меток классов:

True: Перестановка,
Pred: Турбосушка

True: Перестановка,
Pred: Ополаскивание водой

Пример неточной разметки, которая впоследствии привела к объединению классов
"ополаскивание под давлением" и "ополаскивание водой":

True: Перестановка,
Pred: Турбосушка

True: Перестановка,
Pred: Ополаскивание водой

интерпретация “черных ящиков”

Для интерпретации прогнозов моделей были применены методы выделения “важных” зон изображения, использованных алгоритмами при принятии решения. Это важно не только для понимания заложенных в модель принципов, но и для улучшения качества результатов за счет экспертного выбора необходимых ракурсов и зон для сбора данных, настройки подходящих аугментаций и организации сбора нужных синтетических примеров (в такой ситуации сотрудники имитируют действия по этапу автомойки).

Пример анализа конкретного снимка ниже локальным методом интерпретации важности зон изображения. Модель детектировала класс “Нанесение шампуня/пены” по наличию пены на автомобиле (зеленые зоны).

Тот же самый пример, основанный на другом методе интерпретации. Красные зоны определяют максимальное “воздействие” элементов на прогноз в рамках указанного класса, синие - зоны, которые наоборот “отталкивают” модель от данного класса.