Menggunakan AWS Greengrass dan Alat SageMaker untuk Mendeteksi Cacat Manufaktur

Perangkat IoT tradisional biasanya mengirimkan payload kecil ke gateway/stasiun basis masing-masing pada interval yang relatif jarang. Sistem node sensor ini mengandalkan konektivitas cloud mereka untuk melakukan semua pemrosesan dan analitik yang relevan guna memantau dan mengendalikan peralatan.

Namun, banyak kasus penggunaan yang muncul yang memerlukan umpan balik dan komunikasi hampir waktu nyata. Komputasi edge menghilangkan latensi ujung-ke-ujung dan keterbatasan bandwidth dalam mengirim/menerima data ke dan dari cloud, mengurangi biaya transmisi dan penyimpanan data, serta dapat membantu dengan kepatuhan manajemen data. Menjalankan algoritma pembelajaran mesin (ML) dan model komputasi secara lokal secara efektif membawa kecerdasan ke perangkat IoT ini dan membuka peluang untuk sejumlah aplikasi.

Deteksi cacat adalah salah satu kasus penggunaan di mana kemampuan pintar sangat meningkatkan efisiensi operasional, produktivitas, dan hasil fasilitas manufaktur. Sering disebut visi mesin (MV), inspeksi visual otomatis mengandalkan campuran sistem kompleks termasuk sistem sensor dan kamera. Ini dapat memanfaatkan model ML terlatih untuk analisis gambar guna melakukan inspeksi berbasis fitur untuk deteksi dan klasifikasi cacat.

Artikel ini membahas Amazon Web Services (AWS), Amazon SageMaker, dan AWS IoT Greengrass, serta bagaimana kemampuan mereka di edge dapat memengaruhi kasus penggunaan seperti deteksi cacat. Artikel ini diakhiri dengan diskusi tentang bagaimana fitur spesifik SageMaker dan Greengrass dapat dimanfaatkan untuk berhasil mengimplementasikan algoritma ML pilihan untuk deteksi cacat.

 

Gambar 1. Sistem visi inspeksi otomatis. Gambar milik Adobe Stock

 

Masalah Deteksi Cacat

Deteksi cacat biasanya dilakukan dengan inspeksi optik di mana kamera cerdas, yang dilengkapi dengan sensor yang tepat dan prosesor tertanam, mendeteksi cacat seperti goresan, retakan, kekasaran permukaan, dan gelembung (sering dalam inspeksi lulus/gagal biner). Proses manufaktur dapat melewatkan volume produk yang tinggi melalui bidang pandang (FoV) kamera dalam hitungan milidetik hingga detik. Resolusi kamera, waktu eksposur, lensa, dan berbagai sumber cahaya akan berkontribusi pada kualitas data yang dimasukkan ke prosesor dan algoritma ML.

 

Bagaimana Algoritma ML Memenuhi Kebutuhan Deteksi Cacat yang Berkembang

Algoritma pembelajaran mesin telah mengubah secara radikal bidang deteksi cacat; model-model ini mengungguli algoritma visi komputer tradisional dalam akurasi dan waktu pemrosesan. Jenis utama aplikasi visi berbasis ML adalah deteksi objek, klasifikasi, dan segmentasi.

Ini dapat melibatkan penggunaan lokalisasi atau segmentasi semantik. Dalam lokalisasi, informasi mengenai lokasi spasial objek yang diklasifikasikan ditentukan. Segmentasi semantik memberikan label untuk setiap piksel atau kelompok piksel dalam gambar dan diklasifikasikan menjadi sebuah instance yang sesuai dengan objek atau dalam kasus deteksi cacat piksel atau bagian gambar yang sesuai dengan cacat diidentifikasi. Dengan kata lain, tingkat inferensi dapat sekasar atau seinci yang diperlukan aplikasi.

Jaringan saraf deteksi pembelajaran mendalam telah dikembangkan sejak awal 2010-an untuk klasifikasi, deteksi, dan deteksi waktu nyata (misalnya, AlexNet, SqueezeNet, DefectSegNet, RCNN, dll). Namun, model seperti ini perlu dijalankan dengan kecepatan inferensi waktu nyata untuk memastikan pabrik dapat memantau dan melacak produk dengan benar. Selain itu, pabrik dapat memiliki bandwidth jaringan rendah dan konektivitas yang tidak stabil. Di sinilah sistem deteksi cacat berbasis edge yang cerdas menjadi sangat penting. Pendekatan hybrid cloud dan edge dengan AWS IoT Greengrass dan Amazon SageMaker memenuhi kebutuhan keandalan deteksi cacat industri.

 

Bagaimana Amazon SageMaker dan AWS Greengrass Dapat Digunakan Bersama untuk Perangkat Edge

Apa itu Amazon SageMaker?

Amazon SageMaker adalah platform bagi praktisi ML untuk membangun, melatih, mengoptimalkan, dan menerapkan algoritma ML. Ini adalah alat berbasis cloud yang menggabungkan berbagai kemampuan yang dirancang khusus yang memungkinkan insinyur membangun model mereka dan memungkinkan akselerasi perangkat keras untuk mengoptimalkan model agar dapat dijalankan pada perangkat IoT yang sesuai.

Sedikit tentang pelatihan ML

Pelatihan adalah proses yang membutuhkan daya besar di mana algoritma ML diberi data untuk menghasilkan pola dan hubungan yang pada akhirnya memungkinkan model membuat keputusan dan mengevaluasi kepercayaan mereka; ini dapat memerlukan sumber daya komputasi yang besar yang dapat dengan mudah didukung oleh infrastruktur cloud. Inferensi ML menggunakan algoritma ML yang sudah dilatih untuk membuat prediksi. Inferensi membutuhkan daya komputasi lebih sedikit daripada pelatihan dan memiliki latensi rendah — dua kendala utama dalam kasus penggunaan edge. Model-model ini harus dioptimalkan untuk perangkat keras perangkat edge tertentu di mana perangkat IoT yang terbatas penyimpanan dan dayanya hanya dapat memanfaatkan perpustakaan ML tertentu untuk memaksimalkan kegunaan node akhir.

Apa itu AWS IoT Greengrass?

AWS IoT Greengrass adalah runtime edge open-source dan layanan cloud untuk membangun, menerapkan, dan mengelola perangkat lunak perangkat. Perangkat lunak perangkat yang dikelola oleh AWS Greengrass, seperti Amazon SageMaker Edge Manager, mengumpulkan data yang dikumpulkan selama inferensi untuk secara efisien mengirimkan umpan balik ini kembali ke cloud (Gambar 2). Data kemudian dapat dikirim kembali ke SageMaker untuk diberi label dan digunakan untuk terus meningkatkan kualitas model ML.

 

Gambar 2. Menggunakan AWS IoT Greengrass untuk inferensi di edge. Gambar milik AWS

 

Menggunakan AWS Greengrass dan Amazon SageMaker untuk deteksi cacat

Membuat dataset dengan pengaturan kamera

Pengguna dapat menyiapkan dataset mereka dengan menangkap gambar bagian relevan pada produk yang melewati konveyor dengan kamera. Agar ini terjadi, pemasangan kamera harus mampu menangkap gambar produk cacat dan tidak cacat dengan pencahayaan yang baik dan konsisten. Gambar-gambar tersebut dianotasi dengan alat pelabelan gambar untuk mencakup kategori gambar dan data yang menunjukkan lokasi cacat (segmentasi semantik).

Menggunakan model di SageMaker

SageMaker memiliki sejumlah algoritma bawaan. Dalam contoh ini, algoritma klasifikasi gambar digunakan yang memanfaatkan jaringan saraf konvolusional ResNet (CNN) yang dapat dilatih menggunakan sejumlah gambar dan hiperparameter — nilai yang dapat disetel yang digunakan untuk mengontrol proses pembelajaran itu sendiri. Untuk segmentasi semantik, masker deteksi cacat disediakan dalam SDK SageMaker. Masker cacat didasarkan pada U-Net CNN dalam kerangka kerja TensorFlow. Masker segmentasi adalah anotasi berbasis objek yang memberi label piksel dalam gambar dengan “kelas” tertentu.

Siklus hidup deteksi cacat cloud-ke-edge

Seperti yang ditunjukkan pada Gambar 3 di bawah, alur kerja pembuatan model otomatis dipicu yang mencakup serangkaian langkah termasuk augmentasi data, pelatihan model, dan pascapemrosesan. Penyebaran ini semua otomatis dengan integrasi berkelanjutan dan pengiriman berkelanjutan (CI/CD) untuk memicu pelatihan ulang model di cloud serta pembaruan over-the-air (OTA) ke edge. Dengan cara ini, model berbasis cloud dan inferensi berbasis edge tetap mutakhir dan akurat.

 

Gambar 3. Alur proses untuk deteksi cacat menggunakan platform AWS Cloud. Gambar milik AWS

 

Mengemas model untuk perangkat edge Anda

Untuk memastikan perangkat edge dikonfigurasi dengan algoritma ML yang dibangun dan dilatih, model dikompilasi dengan SageMaker Neo dan kemudian dikemas dengan SageMaker Edge, dan penyebaran over-the-air Greengrass dibuat untuk menginstruksikan aplikasi edge mengunduh paket model. Langkah-langkah ini perlu diulang untuk setiap versi baru model yang dilatih — proses yang dapat dengan mudah diotomatisasi.

Dengan kata lain, alat SageMaker Neo dan SageMaker Edge dalam SageMaker dapat digunakan untuk mengelola siklus hidup model guna mengonfigurasi perangkat edge untuk algoritma ML yang dibangun dan dilatih. Dengan cara ini, pengembang dapat mengoptimalkan model ML secara khusus untuk platform target mereka: misalnya, MPU tertanam seperti prosesor aplikasi NXP i.MX 8M Plus. Model ML yang dibangun dengan salah satu kerangka kerja ML yang didukung berfungsi sebagai input untuk SageMaker.

Menggunakan AWS Greengrass dengan SageMaker untuk terus meningkatkan kualitas model ML

SageMaker juga terintegrasi dengan AWS IoT Greengrass untuk mempermudah akses, pemeliharaan, dan penyebaran SageMaker Edge Agent dan model ke armada perangkat edge. Data yang dikumpulkan dari inferensi yang berjalan di AWS IoT Greengrass dapat dikirim kembali ke SageMaker untuk kemudian diberi label dan digunakan untuk terus meningkatkan kualitas model pembelajaran mesin.

Memperhatikan perangkat keras optimal untuk aplikasi Anda

Inferensi dapat dilakukan pada berbagai arsitektur perangkat keras/chip untuk diuji dengan berbagai tingkat latensi. Dengan cara ini, bisnis dapat melakukan analisis biaya-manfaat yang lebih terinformasi untuk menggunakan berbagai CPU dan GPU dalam armada mereka dengan model dan arsitektur model yang dibangun melalui SageMaker. i.MX 8M Plus menyediakan kemampuan lebih lanjut karena inti NPU akselerasi ML khusus juga didukung untuk menerapkan model ML melalui Amazon SageMaker.

 

Alat Berbasis Cloud untuk ML Edge dalam Skala Besar

Menghadirkan ML edge yang hemat energi adalah tantangan besar bahkan dengan ekosistem perangkat keras yang berkembang di sekitar prosesor aplikasi seperti keluarga perangkat NXP i.MX 8M dan i.MX 9 yang mengintegrasikan unit pemrosesan saraf perangkat keras dengan mesin pemrosesan data multisensor khusus (grafis, gambar, tampilan, audio, dan suara) untuk menjalankan algoritma ML edge yang hemat biaya dan energi. Model harus dioptimalkan untuk perangkat keras perangkat edge tertentu. Alat seperti AWS IoT Greengrass dan SageMaker memungkinkan insinyur data dengan mudah membangun, melatih, mengoptimalkan, menerapkan, dan memantau secara ketat model ML di banyak perangkat dengan infrastruktur alat dan alur kerja yang sepenuhnya dikelola untuk membangun algoritma ML.