Edge AI: Navigation de contraintes matérielles

Alors que vous vous préparez pour une soirée de détente à la maison, vous pourriez demander à votre smartphone de jouer votre chanson préférée ou de dire à votre assistant à domicile de diminuer les lumières. Ces tâches sont simples parce qu'elles sont alimentées par l'intelligence artificielle (IA) qui est désormais intégrée dans nos routines quotidiennes. Au cœur de ces interactions lisses se trouve le bord de l'IA – AI qui fonctionne directement sur des appareils comme les smartphones, les appareils portables et les gadgets IoT, offrant des réponses immédiates et intuitives.

Edge AI fait référence au déploiement des algorithmes d'IA directement sur les appareils au «bord» du réseau, plutôt que de s'appuyer sur des centres de données cloud centralisés. Cette approche tire parti des capacités de traitement des appareils Edge – tels que les ordinateurs portables, les smartphones, les montres intelligentes et les appareils électroménagers – pour prendre des décisions localement.

Edge AI offre des avantages essentiels pour la confidentialité et la sécurité: en minimisant la nécessité de transmettre des données sensibles sur Internet, Edge AI réduit le risque de violations de données. Il améliore également la vitesse du traitement des données et de la prise de décision, ce qui est crucial pour les applications en temps réel telles que les vêtements de santé, l'automatisation industrielle, la réalité augmentée et les jeux. Edge AI peut même fonctionner dans des environnements avec une connectivité intermittente, en soutenant l'autonomie avec une maintenance limitée et une réduction des coûts de transmission des données.

Alors que l'IA est désormais intégrée dans de nombreux appareils, l'activation de puissantes capacités d'IA dans les appareils quotidiennes est techniquement difficile. Les périphériques Edge fonctionnent dans des contraintes strictes sur la puissance de traitement, la mémoire et la durée de vie de la batterie, exécutant des tâches complexes dans des spécifications matérielles modestes.

Par exemple, pour que les smartphones effectuent une reconnaissance faciale sophistiquée, ils doivent utiliser des algorithmes d'optimisation de pointe pour analyser les images et faire correspondre les fonctionnalités en millisecondes. La traduction en temps réel sur les écouteurs nécessite de maintenir une faible consommation d'énergie pour garantir une durée de vie prolongée de la batterie. Et tandis que les modèles d'IA basés sur le cloud peuvent s'appuyer sur des serveurs externes avec une puissance de calcul étendue, les périphériques Edge doivent faire ce qui est en main. Ce passage au traitement des bords change fondamentalement la façon dont les modèles d'IA sont développés, optimisés et déployés.

Dans les coulisses: optimisation de l'IA pour le bord

Les modèles AI capables de fonctionner efficacement sur les dispositifs de bord doivent être considérablement réduits en taille et calculer, tout en maintenant des résultats fiables similaires. Ce processus, souvent appelé compression de modèle, implique des algorithmes avancés comme recherche d'architecture neurale (NAS), transfert d'apprentissage, élagage et quantification.

L'optimisation du modèle doit commencer par sélectionner ou concevoir une architecture de modèle spécifiquement adaptée aux capacités matérielles de l'appareil, puis en la affiner pour exécuter efficacement sur des périphériques de bord spécifiques. Les techniques NAS utilisent des algorithmes de recherche pour explorer de nombreux modèles d'IA possibles et trouver celui le mieux adapté à une tâche particulière sur le périphérique Edge. Les techniques d'apprentissage du transfert forment un modèle beaucoup plus petit (l'élève) en utilisant un modèle plus grand (l'enseignant) déjà formé. L'élagage implique d'éliminer les paramètres redondants qui n'ont pas d'impact significatif sur la précision, et la quantification convertit les modèles pour utiliser l'arithmétique de plus faible précision pour enregistrer sur le calcul et l'utilisation de la mémoire.

Lorsque vous apportez les derniers modèles d'IA aux appareils Edge, il est tentant de se concentrer uniquement sur l'efficacité qu'ils peuvent effectuer des calculs de base, en particulier, Opérations «multiplier»ou macs. En termes simples, l'efficacité MAC mesure la rapidité avec laquelle une puce peut faire le calcul au cœur de l'IA: multiplier les nombres et les additionner. Les développeurs de modèles peuvent obtenir une «vision du tunnel MAC», en se concentrant sur cette métrique et en ignorant d'autres facteurs importants.

Certains des modèles d'IA les plus populaires – comme Mobilenet, Efficaceet transformateurs Pour les applications de vision – sont conçus pour être extrêmement efficaces à ces calculs. Mais en pratique, ces modèles ne fonctionnent pas toujours bien sur les puces AI à l'intérieur de nos téléphones ou montres intelligentes. En effet, les performances du monde réel dépendent de plus que la simple vitesse de mathématiques – elle s'appuie également sur la rapidité avec laquelle les données peuvent se déplacer à l'intérieur de l'appareil. Si un modèle a constamment besoin de récupérer les données de la mémoire, il peut tout ralentir, quelle que soit la vitesse des calculs.

Étonnamment, des modèles plus anciens et plus volumineux comme Resnet Parfois, fonctionnent mieux sur les appareils d'aujourd'hui. Ils ne sont peut-être pas les plus récents ou les plus rationalisés, mais les va-et-vient entre la mémoire et le traitement sont bien mieux adaptés aux spécifications des processeurs d'IA. Dans les tests réels, ces modèles classiques ont fourni une meilleure vitesse et une meilleure précision sur les périphériques Edge, même après avoir été coupés pour s'adapter.

La leçon? Le «meilleur» modèle d'IA n'est pas toujours celui avec le nouveau design le plus flashy ou l'efficacité théorique la plus élevée. Pour les appareils Edge, ce qui compte le plus, c'est la façon dont un modèle correspond au matériel sur lequel il fonctionne réellement.

Et ce matériel évolue également rapidement. Pour répondre aux exigences de l'IA moderne, les fabricants d'appareils ont commencé à inclure des puces dédiées spéciales appelées accélérateurs d'IA dans les smartphones, les montres intelligentes, les appareils portables, etc. Ces accélérateurs sont construits spécifiquement pour gérer les types de calculs et de mouvements de données dont les modèles d'IA ont besoin. Chaque année, apporte des progrès dans l'architecture, la fabrication et l'intégration, garantissant que le matériel maintient le rythme avec les tendances de l'IA.

La route à venir pour Edge Ai

Le déploiement de modèles d'IA sur les appareils Edge est encore compliqué par la nature fragmentée de l'écosystème. Étant donné que de nombreuses applications nécessitent des modèles personnalisés et du matériel spécifique, il y a un manque de normalisation. Ce qui est nécessaire, ce sont des outils de développement efficaces pour rationaliser le cycle de vie de l'apprentissage automatique pour les applications Edge. Ces outils devraient faciliter l'optimisation des développeurs pour les performances, la consommation d'énergie et la latence du monde réel.

La collaboration entre les fabricants d'appareils et les développeurs d'IA rétrécit l'écart entre l'ingénierie et l'interaction des utilisateurs. Les tendances émergentes se concentrent sur la sensibilisation au contexte et l'apprentissage adaptatif, permettant aux appareils d'anticiper et de répondre aux besoins des utilisateurs plus naturellement. En tirant parti des indices environnementaux et en observant les habitudes utilisateur, Edge AI peut fournir des réponses qui semblent intuitives et personnelles. L'intelligence localisée et personnalisée devrait transformer notre expérience de la technologie et du monde.