Embedded AI: uczenie maszynowe na urządzeniu
Modele działające tam, gdzie powstają dane - na mikrokontrolerach i procesorach brzegowych - zoptymalizowane pod pamięć, energię i opóźnienie.
Dlaczego edge, a nie chmura
Opóźnienie
Decyzje zapadają na urządzeniu, bez wysyłania danych na serwer.
Energia i transmisja
Wysyłanie wyników zamiast surowych danych oszczędza czas radia i baterię.
Prywatność
Wrażliwe dane, jak dźwięk czy obraz, mogą zostać na urządzeniu.
Cztery decyzje w każdym projekcie edge AI
Rozmiar modelu
Budżet flash, RAM, mocy obliczeniowej i energii modelu.
Sprzęt docelowy
Na jakim krzemie działa i jak pod niego optymalizujemy.
Uczenie i destylacja
Jak model uczy się z danych, które masz.
Funkcje i dane
Co robi model i jakie sygnały czyta.
Według rodzaju danych
Szeregi czasowe i czujniki
Drgania, prąd, temperatura: detekcja anomalii i monitoring stanu.
Audio
Rozpoznawanie słów kluczowych, zdarzeń dźwiękowych i aktywności mowy.
Obraz
Detekcja obiektów i inspekcja wizyjna na procesorach z odpowiednią mocą.
Według klasy sprzętu
Klasa sprzętu wyznacza, co jest możliwe. Pomagamy ją wybrać, zanim powstanie model.
Tiny Edge
- Sprzęt
- Klasa Cortex-M0/M4, < 256 KB RAM
- Zasilanie
- Bateria pastylkowa / energy harvesting
- Typowe zastosowanie
- Prosta detekcja anomalii, słowa wybudzające
Small Edge
- Sprzęt
- Klasa Cortex-M7/M33/M55, 512 KB – 2 MB RAM
- Zasilanie
- Małe baterie
- Typowe zastosowanie
- Słowa kluczowe, fuzja czujników
Mid Edge
- Sprzęt
- MPU z NPU, 512 MB – 4 GB RAM
- Zasilanie
- Sieć / duże akumulatory
- Typowe zastosowanie
- Analiza wideo w czasie rzeczywistym, AI w bramkach
Heavy Edge
- Sprzęt
- GPU brzegowe i PC przemysłowe, > 4 GB RAM
- Zasilanie
- Sieć, aktywne chłodzenie
- Typowe zastosowanie
- Wiele kamer, większe modele
Narzędzia
Frameworki
- TensorFlow Lite Micro
- Edge Impulse
- STM32Cube.AI
Języki
- Python
- C / C++
Kwantyzacja i optymalizacja
Większość modeli trenuje się w liczbach zmiennoprzecinkowych i trzeba je przekonwertować, by zmieściły się w mikrokontrolerze. Kwantyzujemy modele (zwykle do INT8), przycinamy, gdzie to pomaga, i mierzymy dokładność, pamięć oraz opóźnienie na docelowym sprzęcie - nie tylko w symulacji.
FAQ
Omów swój projekt
Opisz projekt i cel. Inżynier odpowie w ciągu jednego dnia roboczego.
Wolisz e-mail?
[email protected]- Odpowiadamy w ciągu jednego dnia roboczego
- NDA przed rozmowami technicznymi