Не повторяйте этих ошибок при внедрении computer vision: реальный кейс украинского предприятия

На конференции «КАК ЭТО СДЕЛАНО. AI edition» был представлен опыт внедрения системы компьютерного зрения для контроля качества флаконов в фармацевтике, которая интегрируется в производственную линию, проверяет до 8000 единиц в час и снижает затраты.

Кейс представил Александр Акуленко, Head of AI в MK-Consulting, советник CEO Prozorro.Sale, руководитель группы разработки первой украинской платформы для ML-инженеров в De Novo.

Акуленко с командой трансформировали более 20 рынков в Украине и помогли принести в бюджеты разного уровня 100+ млрд грн. Но за каждой успешной автоматизацией стоит множество мелких и крупных факапов — недооборудованная камера, неправильные технические предположения, изменения в освещении, а также ограниченный доступ к площадке — которые пришлось решать прямо в процессе.

Почему не купили готовое решение

В связи с планами расширения фармацевтической компании появилась необходимость автоматизировать процесс отбраковки флаконов. В традиционном процессе шесть сотрудников компании вручную анализировали каждый флакон, проверяя наличие дефектов. К тому же, они работали довольно медленно: к концу рабочего дня все, конечно, уставали, поэтому количество ошибок могло расти. Также не было возможности автоматически анализировать причины брака и оперативно масштабировать производство при необходимости.

Готовые решения существуют, но их стоимость достаточно высока. Еще они требуют замены существующего оборудования, при этом адаптируясь под конкретные требования заказчика не очень быстро и просто. Поэтому решили внедрить индивидуальное решение. Проект завершился внедрением системы, которая самостоятельно проверяет до 8 000 флаконов в час, но путь к этому результату — это пример того, почему искусственный интеллект — это не только алгоритмы, но и команда, адаптивность и понимание реальных процессов.

Что пошло не так — технические факапы

Дешевая камера, которая дорого обошлась

На этапе реализации команда инженеров должна была уложиться в ограниченный бюджет заказчика. Из-за этого была выбрана более дешевая камера, которая не обеспечивала необходимого качества изображения. Решение нашел коллега, который предложил добавить фокусирующую линзу. Установка этой линзы существенно улучшила картинку и позволила системе работать с необходимой точностью.
Этот опыт подтвердил простое правило: даже лучшая AI-модель и самое мощное железо не спасут проект, если входные изображения шумные и нечеткие. Оказалось, что в случае компьютерного зрения камера — это то, на чем экономить нельзя вообще.

Отбраковка — со второй попытки

Блок отбраковки флаконов пришлось переделывать: подрядчики не учли нюансы технической среды. Команда частично работала удаленно, не имея физического доступа к производственной площадке, поэтому пришлось диагностировать проблемы «вслепую» и оперативно искать решения.

Освещение как фактор риска в компьютерном зрении

Еще один фактор, который не удалось учесть заранее, — это изменения освещения на производстве. Яркость и тени сильно влияли на результаты анализа, поэтому пришлось как ограничивать диапазон изменений освещения на физическом уровне, так и дополнительно доучивать AI-модель на данных, собранных в новых условиях.

Эволюция от скрипта к автономному UI

Изначально предполагался условно один скрипт, который запускался бы вручную и работал бы в автоматическом режиме. Но уже после старта проекта возникла потребность в автономном веб-интерфейсе для оператора. Его разработали отдельно и интегрировали в систему.
Эти факапы — не исключения, а типичная часть работы с искусственным интеллектом в реальном производстве. Именно они формируют опыт, на котором строятся устойчивые и эффективные системы.

Система визуального обзора: изображение, анализ, безопасное отбрасывание

Финальная конструкция состоит из камеры с высоким разрешением, которая передает изображение флаконов на сервер для дальнейшей обработки.

Блок отбраковки перемещает флаконы с обнаруженными дефектами на отдельный лоток. Отбраковка происходит без повреждения флакона для дальнейшей оценки оператором.

Сервер с программным обеспечением обрабатывает полученные изображения от камеры, распознает флаконы с дефектами и отправляет команду в блок отбраковки для перемещения дефекта на лоток.

Операторский интерфейс — это веб-интерфейс, используемый для отображения статистики работы системы и изменения настроек. Доступ обеспечивается через локальную сеть.
Он отображает текущую информацию о состоянии работы системы, уровне выбраковки, результатах самодиагностики, уведомлениях о неисправностях,
отклонениях от контрольных параметров, обнаружении неисправностей и уведомлениях о тревогах.
Оператор может самостоятельно дообучать систему, запуская определенное количество новых флаконов, которые относятся к норме и браку, чтобы без привлечения технической команды расширять ассортимент.

Машина может проверять флаконы на следующие дефекты:

• Косметические дефекты флакона (трещины, царапины, дефекты в форме флакона и т.д.).
• Видимые механические включения.
• Полнота дозировки флакона.
• Отсутствие лиофилизата во флаконе.
• Наличие жидкости во флаконе.
• Качество образовавшейся лиофилизированной таблетки (пена, трещины и т.д.).

Допускается ошибочная отбраковка нормальных флаконов, но не более 1% от общего количества флаконов в партии. Все отбракованные флаконы анализирует человек и понимает, действительно ли там был брак, а в случае обнаружения нового типа брака, которому система 
не была обучена, дообучает систему.

Выполненные требования: точность, удобство, отчетность

Данные собираются в отчете о производстве, который содержит следующую информацию: дата и время начала смены, дата и время начала и окончания инспекции, тип продукта и номер партии, общее количество проверенных и отбракованных флаконов. Система инспекции флаконов разработана для работы и обслуживания одним оператором.

У команды был доступ к достаточно большому количеству нормы, но ограниченному количеству брака (буквально 30-50 образцов для каждого вида). Чтобы обеспечить необходимую точность распознавания, образцы размещали на конвейере под разным углом, получив достаточное количество кадров для обучения AI-моделей и работы с необходимой точностью.

Команда использует комбинацию моделей для классификации и детекции. 
YOLO* используется для детекции самой бутылки. После чего вырезанный фрагмент изображения передается на простой классификатор, для определения типа брака или подтверждения его отсутствия. YOLO выбрали из-за общей скорости работы и наличия предварительно обученной ШИ-модели, которая уже умеет работать с подобными объектами.

Результаты:
> 97% Точность
> 97% Полнота

Справка
* YOLO (You Only Look Once) — это один из самых известных алгоритмов для обнаружения объектов на изображениях в режиме реального времени. YOLO «смотрит» на изображение только один раз и сразу прогнозирует: какие объекты на нем изображены (классы); где они расположены (координаты прямоугольников вокруг объектов).  YOLO чрезвычайно быстр, что делает его пригодным для применения в видео, робототехнике, беспилотниках, камерах контроля качества и т.д.