Microsoft a récemment publié un nouveau document de recherche sur son modèle d’intelligence artificielle de nouvelle génération Orca-2. Ce document démontre que la puissance de l’intelligence artificielle n’est pas réservée aux systèmes les plus grands et les plus complexes, mais qu’elle s’épanouit également dans des cadres plus compacts et plus accessibles. Microsoft a fait un pas audacieux dans cette direction avec l’introduction d’Orca-2, un modèle de langage qui remet en question la notion dominante selon laquelle plus c’est gros, mieux c’est. Ce nouveau développement est particulièrement intéressant pour ceux qui sont passionnés par l’IA et qui cherchent à repousser les limites de ce que ces systèmes peuvent faire.
Le document de recherche de Microsoft, intitulé « Orca-2 : Teaching Small Language Models How to Reason« , présente une exploration fascinante de la manière dont les petits modèles, comme Orca-2, peuvent être entraînés pour améliorer leurs capacités de raisonnement. Avec seulement 13 milliards de paramètres, Orca-2 témoigne de l’idée que la qualité de la formation peut influencer de manière significative les prouesses de raisonnement d’un modèle. Il s’agit là d’une découverte cruciale pour tous ceux qui s’intéressent au potentiel des petits modèles à effectuer des tâches complexes que l’on pensait autrefois réservées à leurs homologues de plus grande taille. Microsoft en dit un peu plus :
« Orca 2 est la dernière étape de nos efforts pour explorer les capacités des petits LM (de l’ordre de 10 milliards de paramètres ou moins). Avec Orca 2, nous continuons à montrer que des signaux et des méthodes d’entraînement améliorés peuvent permettre à des modèles de langage plus petits d’atteindre des capacités de raisonnement améliorées, que l’on ne trouve généralement que dans des modèles de langage beaucoup plus grands. »
L’un des aspects les plus convaincants d’Orca-2 est sa capacité à surpasser les modèles comportant jusqu’à 70 milliards de paramètres dans les tâches de raisonnement. Cela témoigne de l’approche innovante de Microsoft et est particulièrement pertinent pour ceux qui travaillent avec des contraintes de calcul ou qui recherchent des solutions d’IA plus efficaces. Les résultats de l’analyse comparative d’Orca-2 mettent en évidence les compétences du modèle en matière de raisonnement, qui est un élément clé de la compréhension avancée du langage.
Petit modèle linguistique Orca-2
Orca 2 existe en deux tailles (7 milliards et 13 milliards de paramètres) ; les deux sont créés en affinant les modèles de base LLAMA 2 correspondants sur des données synthétiques adaptées et de haute qualité. Nous mettons les poids d’Orca 2 à la disposition du public afin d’encourager la recherche sur le développement, l’évaluation et l’alignement de petits LM.
Microsoft Orca-2
Dans une démarche qui souligne son engagement en faveur des progrès collaboratifs dans le domaine de l’IA, Microsoft a mis les poids des modèles d’Orca-2 à la disposition de la communauté open-source. Cela permet aux passionnés et aux chercheurs d’exploiter cette technologie de pointe, de l’intégrer dans leurs propres projets et de contribuer à l’avancement collectif de l’IA.
Le document de recherche va au-delà de l’apprentissage par imitation traditionnel et introduit des méthodes de formation alternatives qui dotent Orca-2 d’une variété de stratégies de raisonnement. Ces méthodes permettent au modèle de s’adapter à différentes tâches, ce qui témoigne d’une approche plus sophistiquée de la formation à l’IA. Pour ceux qui s’intéressent aux complexités de l’IA, c’est l’occasion d’explorer de nouveaux paradigmes de formation qui pourraient redéfinir la manière dont nous apprenons aux machines à penser.
L’entraînement d’Orca-2 sur un ensemble de données synthétiques soigneusement construit a permis d’obtenir des performances de référence remarquables. Cela signifie que le modèle a été affiné grâce à une utilisation stratégique des données, garantissant son efficacité et son adaptabilité dans les applications du monde réel. Pour les praticiens, cela se traduit par un modèle qui n’est pas seulement puissant, mais aussi polyvalent dans la gestion de divers scénarios.
Les conditions de licence d’Orca-2 sont conçues pour mettre l’accent sur sa nature orientée vers la recherche. Il s’agit d’un facteur important à prendre en compte lors de la planification de l’utilisation du modèle, car il soutient un environnement de développement axé sur la recherche et guide l’application d’Orca-2 dans divers projets.
Microsoft a également fourni des instructions détaillées pour configurer Orca-2 sur une machine locale. Cela permet aux utilisateurs d’adapter le modèle à leurs besoins spécifiques et de mieux comprendre son fonctionnement interne. Que vous soyez développeur, chercheur ou passionné d’IA, ce niveau de personnalisation est inestimable pour explorer toutes les capacités d’Orca-2.
Orca-2 de Microsoft représente une avancée significative pour les modèles de langage compacts, offrant des capacités de raisonnement améliorées qui remettent en cause la domination des modèles plus grands. L’utilisation d’Orca-2 – que ce soit par le biais d’une collaboration en source ouverte, de techniques de formation innovantes ou d’initiatives de recherche – vous place à l’avant-garde d’une période de transformation dans le développement de l’IA. Orca-2 de Microsoft élargit non seulement les horizons de ce que les petits modèles peuvent accomplir, mais vous invite également à jouer un rôle actif dans ce domaine passionnant.
Lire plus Guide:
- Modèle d’IA de Microsoft disponible dans Azure AI – Phi-2, Orca 2, Llama 2
- Le nouveau Neural-Chat 7B LLM d’Intel arrive en tête du classement Hugging Face, battant le Mistral 7B d’origine.
- BloombergGPT 50 milliards de paramètres langage financier modèle d’IA
- Comparaison des modèles Llama 2 70B et Zephyr-7B LLM
- NeuralBeagle14-7B nouveau modèle d’IA open source puissant de 7B
- Microsoft révèle le matériel nécessaire pour faire fonctionner ChatGPT
