Perplexity Labs a récemment introduit une nouvelle API rapide et efficace pour les grands modèles de langage (LLM) open-source, connue sous le nom de pplx-api. Cet outil innovant est conçu pour fournir un accès rapide à divers LLM open-source, notamment Mistral 7B, Llama2 13B, Code Llama 34B et Llama2 70B. L’introduction de pplx-api marque une étape importante dans le domaine de l’IA, en offrant un guichet unique pour les LLM à source ouverte.
L’une des principales caractéristiques de pplx-api est sa facilité d’utilisation pour les développeurs. L’API est conviviale et permet aux développeurs d’intégrer facilement ces modèles dans leurs projets à l’aide d’une API REST familière. Cette facilité d’utilisation élimine le besoin de connaissances approfondies en C++/CUDA ou l’accès aux GPU, ce qui rend l’API accessible à un plus grand nombre de développeurs.
Perplexity Lab pplx-api
L’interface pplx-api est également dotée d’un système d’inférence rapide. L’efficacité du système d’inférence est remarquable, offrant une latence jusqu’à 2,9 fois inférieure à celle de Replicate et 3,1 fois inférieure à celle d’Anyscale. Lors des tests, pplx-api a obtenu une latence globale jusqu’à 2,03 fois plus rapide que Text Generation Inference (TGI), et une latence de réponse initiale jusqu’à 2,62 fois plus rapide. L’API est également capable de traiter les jetons jusqu’à deux fois plus vite que l’IGT. Cette vitesse et cette efficacité font de pplx-api un outil puissant pour les développeurs travaillant avec des LLM.
Avantages de l’API pplx
-
Facilité d’utilisation : les développeurs peuvent utiliser des modèles open-source de pointe prêts à l’emploi et démarrer en quelques minutes avec une API REST familière.
-
Inférence ultra-rapide : le système d’inférence conçu avec soin est efficace et atteint jusqu’à une latence 2,9 fois inférieure à celle de Replicate et une latence 3,1x inférieure à celle d’Anyscale.
-
Une infrastructure éprouvée : pplx-api a prouvé sa fiabilité, en servant un trafic de niveau production à la fois dans le moteur de réponse Perplexity et dans le terrain de jeu Labs.
-
Un guichet unique pour les LLM open-source : Perplexity Labs se consacre à l’ajout de nouveaux modèles open-source au fur et à mesure de leur arrivée. Par exemple, nous avons ajouté Llama et Mistral m
L’infrastructure de pplx-api est fiable et éprouvée. Elle s’est avérée fiable pour servir le trafic de niveau production à la fois dans le moteur de réponse de Perplexity et dans le terrain de jeu de Labs. L’infrastructure combine des logiciels et du matériel de pointe, notamment des instances AWS p4d alimentées par des GPU NVIDIA A100 et TensorRT-LLM de NVIDIA. Cette infrastructure robuste fait de pplx-api l’une des API Llama et Mistral les plus rapides disponibles dans le commerce.
API pour les LLM open-source
L’API pplx est actuellement en version bêta publique et est gratuite pour les utilisateurs ayant souscrit un abonnement Perplexity Pro. Cette disponibilité permet à un plus grand nombre d’utilisateurs de tester l’API et de faire part de leurs commentaires, ce qui aide Perplexity Labs à améliorer et à affiner continuellement l’outil. L’API est également rentable pour le déploiement et l’inférence du LLM. Elle a déjà permis à Perplexity de réaliser d’importantes économies, en réduisant les coûts d’environ 0,62 million de dollars par an pour une seule fonction. Cette rentabilité fait de pplx-api un outil précieux pour une utilisation occasionnelle ou commerciale.
L’équipe de Perplexity s’est engagée à ajouter de nouveaux modèles open-source au fur et à mesure de leur disponibilité, afin que pplx-api reste une ressource complète pour les LLM open-source. L’API est également utilisée pour alimenter Perplexity Labs, un terrain de jeu de modèles servant divers modèles open-source. L’introduction de pplx-api par Perplexity Labs représente une avancée significative dans le domaine de l’IA. Sa facilité d’utilisation, son système d’inférence rapide, son infrastructure fiable et sa rentabilité en font un outil puissant pour les développeurs travaillant avec des LLM open-source. Comme l’API continue d’évoluer et de s’améliorer, elle devrait devenir une ressource encore plus précieuse pour la communauté de l’IA.
Dans un futur proche, pplx-api supportera :
-
Les LLM de Perplexité personnalisés et d’autres LLM open-source.
-
Les embeddings Perplexity personnalisés et les embeddings open-source.
-
Structure de prix de l’API dédiée avec un accès général après la fin de la version bêta publique.
-
API RAG-LLM de Perplexity avec une base pour les faits et les citations.
Comment accéder à pplx-api
Vous pouvez accéder à l’API REST pplx-api en utilisant des requêtes HTTPS. L’authentification à pplx-api implique les étapes suivantes :
1. Générer une clé API à partir de la page des paramètres du compte Perplexity. La clé API est un jeton d’accès à longue durée de vie qui peut être utilisé jusqu’à ce qu’il soit actualisé ou supprimé manuellement.
2. Envoyer la clé API en tant que jeton de support dans l’en-tête d’autorisation avec chaque requête pplx-api.
3. Il prend actuellement en charge Mistral 7B, Llama 13B, Code Llama 34B, Llama 70B, et l’API est commodément compatible avec le client OpenAI pour une intégration facile dans les applications existantes.
Pour plus d’informations, visitez la documentation officielle de l’API de Perplexity Labs et le guide de démarrage rapide.
Lire plus Guide:
- Comment l’IA Perplexity a été construite en six mois seulement
- Micron PCIe Gen4 Data Center SSD storage
- Exécuter Llama 2 Uncensored et d’autres LLM localement en utilisant Ollama pour la confidentialité et la sécurité
- Comment Perplexity AI redéfinit la découverte en ligne grâce à l’IA avancée
- Llama 3 sur Groq Cloud offre des vitesses d’inférence incroyables
- Mistral AI Mixtral 8x7B mélange d’experts modèle d’intelligence artificielle des benchmarks impressionnants révélés
