Использование AWS Greengrass и инструментов SageMaker для обнаружения производственных дефектов

Традиционные устройства Интернета вещей (IoT) обычно передают небольшие объемы данных на свои шлюзы или базовые станции с относительно редкими интервалами. Эти системы с сенсорными узлами полагаются на облачное подключение для выполнения всей необходимой обработки и аналитики с целью мониторинга и управления оборудованием.

Однако появляется множество сценариев использования, требующих обратной связи и связи в режиме почти реального времени. Периферийные вычисления устраняют задержки и ограничения пропускной способности при передаче данных в облако и обратно, снижают затраты на передачу и хранение данных, а также помогают соблюдать требования к управлению данными. Запуск алгоритмов машинного обучения (ML) и вычислительных моделей локально эффективно наделяет эти устройства IoT интеллектом и открывает возможности для множества приложений.

Обнаружение дефектов — один из таких сценариев, где интеллектуальные возможности значительно повышают операционную эффективность, производительность и выход продукции на производственном предприятии. Часто называемое машинным зрением (MV), автоматизированный визуальный контроль опирается на комплексные системы, включая сенсоры и камеры. Он может использовать обученные модели ML для анализа изображений с целью проведения инспекций на основе признаков для обнаружения и классификации дефектов.

В этой статье рассматриваются Amazon Web Services (AWS), Amazon SageMaker и AWS IoT Greengrass, а также то, как их возможности на периферии могут повлиять на такие сценарии, как обнаружение дефектов. В заключение обсуждается, как конкретные функции SageMaker и Greengrass можно использовать для успешной реализации выбранного алгоритма ML для обнаружения дефектов.

 

Рисунок 1. Система автоматизированного визуального контроля. Изображение предоставлено Adobe Stock

 

Проблема обнаружения дефектов

Обнаружение дефектов обычно осуществляется оптическим контролем, когда интеллектуальная камера с соответствующими сенсорами и встроенным процессором выявляет дефекты, такие как царапины, трещины, шероховатость поверхности и пузыри (часто в бинарном режиме «пройдено/не пройдено»). Производственные процессы могут пропускать большое количество изделий через поле зрения камеры (FoV) за миллисекунды или секунды. Разрешение камеры, время экспозиции, объектив и различные источники света влияют на качество данных, поступающих в процессор и алгоритм ML.

 

Как алгоритмы ML отвечают на меняющиеся потребности обнаружения дефектов

Алгоритмы машинного обучения радикально преобразовали область обнаружения дефектов; эти модели превосходят традиционные алгоритмы компьютерного зрения по точности и скорости обработки. Основные типы приложений машинного зрения на базе ML — это обнаружение объектов, классификация и сегментация.

Это может включать использование локализации или семантической сегментации. При локализации определяется пространственное положение классифицированного объекта. Семантическая сегментация присваивает метки каждому пикселю или группе пикселей на изображении, классифицируя их как экземпляр, соответствующий объекту, или, в случае обнаружения дефектов, пиксели или часть изображения, соответствующие дефекту. Другими словами, уровень вывода может быть таким же грубым или детализированным, как требует приложение.

Нейронные сети глубокого обучения для обнаружения разрабатываются с начала 2010-х годов для классификации, обнаружения и обнаружения в реальном времени (например, AlexNet, SqueezeNet, DefectSegNet, RCNN и др.). Однако такие модели должны работать с реальной скоростью вывода, чтобы завод мог эффективно контролировать и отслеживать продукцию. Кроме того, на предприятиях может быть низкая пропускная способность сети и прерывистое подключение. Здесь критична система обнаружения дефектов на базе интеллектуальной периферии. Гибридный подход с облаком и периферией с AWS IoT Greengrass и Amazon SageMaker удовлетворяет требованиям надежности промышленного обнаружения дефектов.

 

Как Amazon SageMaker и AWS Greengrass могут использоваться совместно для периферийных устройств

Что такое Amazon SageMaker?

Amazon SageMaker — это платформа для специалистов по ML, позволяющая создавать, обучать, оптимизировать и развертывать алгоритмы машинного обучения. Это облачный инструмент, объединяющий широкий набор специализированных возможностей, которые позволяют инженерам создавать модели и обеспечивают аппаратное ускорение для оптимизации модели под любое подходящее устройство IoT.

Немного о тренировке ML

Обучение — это энергозатратный процесс, в ходе которого алгоритму ML подаются данные для выявления закономерностей и связей, что в итоге позволяет модели принимать решения и оценивать их уверенность; для этого требуются значительные вычислительные ресурсы, которые облачная инфраструктура легко поддерживает. Вывод ML использует обученный алгоритм для предсказаний. Вывод требует меньше вычислительной мощности, чем обучение, и характеризуется низкой задержкой — два важных ограничения для периферийных сценариев. Эти модели должны быть оптимизированы под конкретное аппаратное обеспечение периферийных устройств, где устройства IoT с ограничениями по памяти и энергии могут использовать только определённые ML-библиотеки для максимизации полезности конечного узла.

Что такое AWS IoT Greengrass?

AWS IoT Greengrass — это открытая среда выполнения на периферии и облачный сервис для создания, развертывания и управления программным обеспечением устройств. Программное обеспечение устройств, управляемое AWS Greengrass, такое как Amazon SageMaker Edge Manager, собирает данные, полученные во время вывода, чтобы эффективно передавать эту обратную связь обратно в облако (Рисунок 2). Затем данные могут быть отправлены обратно в SageMaker для разметки и использования в целях постоянного улучшения качества модели ML.

 

Рисунок 2. Использование AWS IoT Greengrass для вывода на периферии. Изображение предоставлено AWS

 

Использование AWS Greengrass и Amazon SageMaker для обнаружения дефектов

Создание набора данных с помощью камер

Пользователи могут подготовить набор данных, снимая изображения соответствующих деталей на продуктах, проходящих по конвейеру с помощью камер. Для этого установки камер должны обеспечивать съемку как дефектных, так и исправных изделий при хорошем и стабильном освещении. Изображения аннотируются с помощью инструментов разметки, включая категории изображений и данные, указывающие местоположение дефекта (семантическая сегментация).

Использование моделей в SageMaker

В SageMaker есть множество встроенных алгоритмов. В этом примере используется алгоритм классификации изображений, основанный на сверточной нейронной сети ResNet, которую можно обучать на множестве изображений и гиперпараметрах — настраиваемых значениях, управляющих процессом обучения. Для семантической сегментации маски дефектов предоставляются в SDK SageMaker. Маски дефектов основаны на U-Net CNN в рамках TensorFlow. Маски сегментации — это объектно-ориентированные аннотации, которые маркируют пиксели изображения определённым «классом».

Жизненный цикл обнаружения дефектов от облака до периферии

Как показано на Рисунке 3 ниже, запускается автоматизированный рабочий процесс построения модели, включающий последовательность шагов: увеличение данных, обучение модели и постобработка. Все эти развертывания автоматизированы с помощью непрерывной интеграции и непрерывной доставки (CI/CD), что обеспечивает переобучение модели в облаке и обновления по воздуху (OTA) на периферии. Таким образом, как облачные модели, так и выводы на периферии остаются актуальными и точными.

 

Рисунок 3. Процесс обнаружения дефектов с использованием облачной платформы AWS. Изображение предоставлено AWS

 

Упаковка модели для ваших периферийных устройств

Чтобы гарантировать, что периферийное устройство настроено с построенным и обученным алгоритмом ML, модель компилируется с помощью SageMaker Neo, затем упаковывается с SageMaker Edge, и создаётся развертывание по воздуху (OTA) с помощью Greengrass, которое инструктирует периферийное приложение загрузить пакет модели. Эти шаги необходимо повторять для каждой новой версии обученных моделей — процесс, который можно легко автоматизировать.

Другими словами, инструменты SageMaker Neo и SageMaker Edge в SageMaker используются для управления жизненным циклом моделей, чтобы настроить периферийное устройство для работы с построенным и обученным алгоритмом ML. Таким образом, разработчики могут оптимизировать ML-модель специально для своей целевой платформы: например, для встроенного MPU, такого как процессор приложений NXP i.MX 8M Plus. ML-модель, созданная с использованием одной из поддерживаемых ML-фреймворков, служит входными данными для SageMaker.

Использование AWS Greengrass с SageMaker для постоянного улучшения качества ML-модели

SageMaker также интегрируется с AWS IoT Greengrass, упрощая доступ, обслуживание и развертывание SageMaker Edge Agent и модели на парке периферийных устройств. Данные, собранные во время вывода на AWS IoT Greengrass, могут быть отправлены обратно в SageMaker для разметки и использования в целях постоянного улучшения качества моделей машинного обучения.

Выбор оптимального оборудования для вашего приложения

Вывод может выполняться на различных аппаратных/чиповых архитектурах с целью тестирования разных уровней задержки. Таким образом, компании могут провести более информированный анализ затрат и выгод при использовании различных CPU и GPU в своем парке с моделями и архитектурами моделей, созданными через SageMaker. Процессор i.MX 8M Plus предоставляет дополнительные возможности, так как поддерживается выделенное ядро NPU для ускорения ML при развертывании моделей через Amazon SageMaker.

 

Облачные инструменты для масштабируемого периферийного ML

Обеспечение энергоэффективного периферийного ML — серьёзная задача, даже с развивающейся аппаратной экосистемой вокруг процессоров приложений, таких как семейства NXP i.MX 8M и i.MX 9, которые интегрируют аппаратные нейронные процессорные блоки с выделенными мультисенсорными движками обработки данных (графика, изображение, дисплей, аудио и голос) для запуска недорогих и энергоэффективных периферийных ML-алгоритмов. Модели должны быть оптимизированы под конкретное аппаратное обеспечение периферийных устройств. Инструменты, такие как AWS IoT Greengrass и SageMaker, позволяют инженерам по данным легко создавать, обучать, оптимизировать, развертывать и тщательно контролировать ML-модели на большом количестве устройств с полностью управляемой инфраструктурой инструментов и рабочих процессов для построения алгоритмов ML.