Apple a récemment présenté le Ferret 7B, un grand modèle de langage (LLM) sophistiqué qui représente une avancée significative dans le domaine de l’intelligence artificielle. Cette nouvelle technologie témoigne de l’engagement d’Apple à faire progresser l’IA et positionne l’entreprise comme un acteur redoutable de l’industrie technologique. Le Ferret 7B est conçu pour s’intégrer harmonieusement à iOS et macOS, tirant pleinement parti du puissant silicium d’Apple pour garantir aux utilisateurs une expérience fluide.
La particularité du Ferret 7B réside dans ses capacités multimodales, qui lui permettent d’interpréter et de créer des contenus combinant images et texte. Cette avancée va au-delà de ce que peuvent faire les modèles d’IA traditionnels basés sur le texte. Les capacités du Ferret 7B sont mises en évidence dans des systèmes tels que le modèle de codage Google 5.2 et MixL 8X 7B, qui sont construits sur la plateforme MLX d’Apple et utilisent ses outils uniques.
- Modèle Ferret – La représentation hybride des régions et l’échantillonneur visuel sensible à l’espace permettent de référencer et d’ancrer un vocabulaire fin et ouvert dans la MLLM.
- GRIT Dataset (~1.1M) – Un ensemble de données à grande échelle, hiérarchique et robuste pour le réglage des instructions de référence et d’ancrage.
- Ferret-Bench – Un benchmark d’évaluation multimodale qui requiert à la fois l’orientation et l’ancrage, la sémantique, la connaissance et le raisonnement.
La prochaine version d’iOS 18, qui devrait intégrer l’IA de manière plus complète et potentiellement transformer la manière dont les utilisateurs interagissent avec les appareils Apple, fait l’objet d’un certain engouement. La collaboration entre les progrès de l’IA et l’architecture de silicium d’Apple devrait déboucher sur un écosystème plus cohérent et plus puissant pour les utilisateurs d’iOS et de macOS.
Apple Ferret 7B MLLM
Pour ceux qui s’intéressent aux performances techniques du Ferret 7B, Apple a développé le Ferret Bench, un outil d’analyse comparative spécialement conçu pour ce modèle. Cet outil aidera les développeurs et les chercheurs à évaluer l’efficacité et la flexibilité du modèle dans diverses situations.
L’approche d’Apple en matière d’IA est centrée sur la création d’applications pratiques qui offrent des avantages tangibles aux utilisateurs de ses appareils. L’attachement de l’entreprise à cette stratégie ressort clairement de sa décision de rendre le Ferret 7B open-source, en offrant le code et les points de contrôle à des fins de recherche. Cette décision encourage l’innovation et la collaboration au sein de la communauté de l’IA.
L’entraînement de modèles complexes tels que Ferret 7B nécessite des ressources considérables, et Apple a investi dans ce domaine en utilisant des GPU NVIDIA A100. Cela reflète l’investissement important de la société dans la recherche et le développement de l’IA.
Modèle de langage multimodal à grande échelle (MLLM) d’Apple
Il est important de noter les différences entre la version 7B et la version 13B du modèle. Le modèle 7B est vraisemblablement conçu pour les appareils iOS, ce qui permet d’équilibrer les performances avec les contraintes du matériel mobile. Cette décision stratégique s’inscrit dans le cadre de la priorité accordée par Apple à l’expérience utilisateur, en veillant à ce que les améliorations de l’IA profitent directement à l’utilisateur.
# 7Bpython3 -m ferret.model.apply_delta \ --base ./model/vicuna-7b-v1-3 \ --target ./model/ferret-7b-v1-3 \ --delta path/to/ferret-7b-delta# 13Bpython3 -m ferret.model.apply_delta \N --base ./model/vicuna-13b-v1-3 \N --cible ./model/ferret-13b-v1-3 \N --delta path/to/ferret-13b-delta
Avis d’utilisation et de licence : Les données et le code sont destinés à un usage de recherche uniquement et font l’objet d’une licence. Ils sont également limités à des utilisations conformes à l’accord de licence de LLaMA, Vicuna et GPT-4. Le jeu de données est CC BY NC 4.0 (autorisant uniquement une utilisation non commerciale) et les modèles formés à l’aide du jeu de données ne doivent pas être utilisés en dehors du cadre de la recherche.
Avec la sortie du Ferret 7B LLM, Apple a fait un pas audacieux dans le domaine de l’IA. Ce lancement illustre les prouesses techniques de l’entreprise et son engagement à créer une IA puissante et conviviale. Ce développement devrait permettre d’améliorer les fonctionnalités des appareils et d’enrichir les interactions avec les utilisateurs. Alors qu’Apple continue d’investir dans l’IA, nous pouvons nous attendre à voir d’autres innovations qui auront un impact significatif sur la façon dont nous interagissons avec la technologie.
