Si vous cherchez un projet pour vous occuper ce week-end, vous serez peut-être intéressé de savoir qu’il est possible de faire fonctionner l’intelligence artificielle sous la forme de grands modèles de langage (LLM) sur de petits ordinateurs monocartes (SBC) tels que le Raspberry Pi et d’autres. Avec le lancement du nouveau Raspberry Pi 5 ce mois-ci, il est désormais possible d’effectuer des tâches plus gourmandes en énergie grâce à ses performances accrues.
Toutefois, avant de commencer, il convient de rappeler que l’exécution de modèles d’IA, en particulier de grands modèles de langage (LLM), sur un Raspberry Pi ou d’autres SBC présente un mélange intéressant de défis et d’opportunités. Si vous sacrifiez la puissance de calcul et la commodité, vous y gagnez en termes de rentabilité, de respect de la vie privée et d’apprentissage pratique. C’est un domaine qui se prête à l’exploration et, pour ceux qui sont prêts à en surmonter les limites, le potentiel d’innovation est considérable.
L’une des meilleures façons d’accéder à ChatGPT depuis votre Raspberry Pi est d’établir une connexion à l’API OpenAI, de créer des programmes utilisant Python, JavaScript et d’autres langages de programmation pour se connecter à ChatGPT à distance. Cependant, si vous recherchez une version plus locale et plus sécurisée qui exécute l’IA directement sur votre mini PC, vous devrez sélectionner un LLM léger capable d’exécuter et de répondre à vos requêtes de manière plus efficace.
Exécution de modèles d’IA sur un Raspberry Pi
Regardez la vidéo ci-dessous pour en savoir plus sur la façon dont cela peut être réalisé grâce à Data Slayer. Si vous souhaitez en savoir plus sur la façon d’utiliser la puissance de votre mini PC, je vous recommande vivement de regarder ses autres vidéos.
Avant d’entrer dans le vif du sujet, il est important de souligner les défis à relever. L’exécution d’un LLM à grande échelle sur un Raspberry Pi n’est pas aussi simple que l’exécution d’un simple script Python. Ces défis sont principalement les suivants :
- Ressources matérielles limitées : Le Raspberry Pi offre moins de puissance de calcul que les installations typiques basées sur le cloud.
- Contraintes de mémoire : La mémoire vive peut être un goulot d’étranglement.
- Consommation d’énergie : Les LLM sont connus pour être gourmands en énergie.
Avantages de l’exécution de LLM sur des ordinateurs à carte unique
Tout d’abord, il y a l’avantage indéniable de l’accessibilité financière. Le déploiement de modèles d’IA sur des services en nuage peut accumuler des coûts au fil du temps, en particulier si vous avez besoin d’une puissance de calcul importante ou si vous devez traiter de grands ensembles de données. L’exécution du modèle sur un Raspberry Pi, en revanche, est nettement moins coûteuse à long terme. Deuxièmement, vous bénéficiez de la protection de la vie privée. Vos données ne quittent jamais votre réseau local, un avantage particulièrement précieux pour les informations sensibles ou propriétaires. Enfin, il y a l’aspect éducatif. L’expérience pratique de la configuration du matériel, de l’installation des logiciels et de la résolution des problèmes au fur et à mesure qu’ils surviennent peut être une formidable occasion d’apprentissage.
Inconvénients dus au manque de puissance de calcul
Toutefois, ces avantages s’accompagnent de certains inconvénients. L’un des principaux est la limitation des ressources matérielles des Raspberry Pis et autres SBC similaires. Ces appareils ne sont pas conçus pour être des centrales électriques ; ils n’ont pas les capacités de calcul robustes d’un serveur dédié ou même d’un ordinateur personnel haut de gamme. Cette limitation est particulièrement prononcée lorsqu’il s’agit d’exécuter de grands modèles de langage (LLM), qui sont réputés pour leur appétit en ressources informatiques. La mémoire est un autre problème : les Raspberry Pis sont souvent dotés d’une quantité limitée de RAM, ce qui rend difficile l’exécution de modèles gourmands en données. En outre, la consommation d’énergie peut augmenter rapidement, ce qui réduit à néant certains des avantages financiers initialement obtenus en évitant les services en nuage.
Configurer votre mini-PC
Malgré ces difficultés, des progrès ont permis d’exécuter des LLM sur de petits ordinateurs comme le Raspberry Pi. Un exemple notable est le travail de Georgie Gregov, qui a porté le modèle Llama, une collection de LLM privés partagés par Facebook, en C++. Cela a permis de réduire considérablement la taille du modèle et de le faire fonctionner sur des appareils minuscules comme le Raspberry Pi.
L’exécution d’un LLM sur un Raspberry Pi se fait en plusieurs étapes. Tout d’abord, le serveur Ubuntu est chargé sur le Raspberry Pi. Un disque externe est ensuite monté sur le Pi et le modèle est téléchargé sur le disque. L’étape suivante consiste à cloner un repo git, à le compiler et à déplacer le modèle dans le fichier repo. Enfin, le LLM est exécuté sur le Raspberry Pi. Bien que le processus puisse être un peu lent, il peut traiter des questions concrètes de manière satisfaisante.
Il est important de noter que les LLM sont encore largement propriétaires et fermés. Si Facebook a publié une version open-source de son modèle Llama, beaucoup d’autres ne sont pas accessibles au public. Cela peut limiter l’accessibilité et l’utilisation généralisée de ces modèles. Un exemple notable est le travail de Georgie Gregov, qui a porté le modèle Llama, une collection de LLM privés partagés par Facebook, en C++. Cela a permis de réduire considérablement la taille du modèle et de le faire fonctionner sur des appareils minuscules tels que le Raspberry Pi.
L’exécution de modèles d’IA sur des plateformes compactes comme le Raspberry Pi et d’autres ordinateurs monocartes (SBC) présente un mélange fascinant d’avantages et de limites. D’un point de vue positif, le déploiement local de l’IA sur de tels appareils est rentable à long terme, car il permet d’éliminer les dépenses récurrentes associées aux services basés sur le cloud. Le niveau de confidentialité des données est également plus élevé, car tous les calculs sont effectués au sein de votre propre réseau local. En outre, l’expérience pratique de la mise en place et du fonctionnement de ces modèles offre des perspectives pédagogiques précieuses, en particulier pour ceux qui s’intéressent aux moindres détails du matériel et des logiciels.
Toutefois, ces avantages s’accompagnent de leur lot de difficultés. Le problème le plus flagrant est la contrainte des ressources matérielles, en particulier lorsqu’il s’agit d’exécuter de grands modèles linguistiques (LLM). Ces modèles sont gourmands en calcul et en mémoire, et le matériel limité d’un Raspberry Pi n’est pas conçu pour gérer des charges aussi lourdes. La consommation d’énergie peut également devenir un problème, ce qui risque d’annuler certains des avantages initiaux en termes de coûts.
En résumé, si l’exécution de modèles d’IA sur le Raspberry Pi et d’autres plateformes similaires est une proposition séduisante qui offre des avantages en termes de prix, de respect de la vie privée et de valeur éducative, elle n’est pas exempte d’obstacles. Les limitations en termes de puissance de calcul, de mémoire et d’efficacité énergétique peuvent être importantes, en particulier lorsqu’il s’agit de modèles plus grands et plus complexes tels que les LLM. Néanmoins, pour ceux qui sont prêts à relever ces défis, le domaine offre un potentiel considérable en matière d’innovation et d’apprentissage pratique.
Lire plus Guide:
- Exécuter Raspberry Pi OS Bullseye sur un Orange Pi Zero 3
- Le numéro 137 du magazine MagPi vous emmène dans l’aventure Raspberry Pi
- Comment configurer un moniteur SNMP Raspberry Pi
- Mini PC industriel SBC CM4 Nano alimenté par Raspberry Pi
- Ordinateur monocarte Radxa Zero 3W (SBC) 19 $ Alternative au Raspberry Pi
- Le numéro 136 du magazine officiel Raspberry Pi MagPi est disponible
