Google a annoncé la dernière version de son LLM, Google Gemini 1.5, qui apporte des performances améliorées et une série d’autres fonctionnalités. Gemini 1.5 Pro est livré en standard avec une fenêtre contextuelle de 128 000 jetons, mais Google permet également à certains développeurs et entreprises de tester une fenêtre contextuelle pouvant atteindre 1 million de jetons.
Gemini 1.5 exploite les architectures avancées Transformer et MoE (Mixture of Experts), ce qui améliore l’efficacité et la capacité d’apprentissage. Contrairement aux transformateurs conventionnels, le MoE se divise en petits réseaux d' »experts », engageant dynamiquement les plus pertinents en fonction des données fournies. Cette méthode améliore considérablement l’efficacité.
Le travail de pionnier de Google en matière de MoE, y compris le MoE à structure éparse et diverses itérations de Transformer, met en évidence son efficacité. Les améliorations architecturales de Gemini 1.5 facilitent un apprentissage plus rapide et des résultats de haute qualité avec une plus grande efficacité de formation et de service, accélérant ainsi le développement et l’optimisation des versions avancées.
La fenêtre contextuelle de Gemini 1.0, qui compte 32 000 jetons, a été étendue à 1 million de jetons en production. Cela permet à 1.5 Pro de traiter de grands ensembles de données en un seul processus, tels qu’une heure de vidéo, 11 heures d’audio, des bases de code dépassant 30 000 lignes ou plus de 700 000 mots. Google a testé des capacités allant jusqu’à 10 millions de jetons.
Google a déclaré qu’il offrait un aperçu limité de Gemini 1.5 Pro aux développeurs et aux entreprises clientes et que, lorsqu’il sera prêt pour une diffusion plus large, il sera lancé avec la fenêtre de 128 000 jetons en standard.
Source : Google
Lire plus Guide:
- Mises à jour des modèles Google 1.5 Flash et Gemini 1.5 Pro AI et plus encore
- Test des performances de l’analyse vidéo Google Gemini 1.5 Pro AI
- Nouveautés de Google Gemini 1.5
- Google vous aide à améliorer votre productivité avec Gemini AI dans les espaces de travail
- Construire des modèles d’IA Gemini Pro personnalisés avec la nouvelle API
- Accès à l’API Google Gemini Pro disponible à partir du 13 décembre 2023
