Perplexity Labs introducerede for nylig en ny, hurtig og effektiv API til open source Large Language Models (LLM'er), kendt som pplx-api. Dette innovative værktøj er designet til at give hurtig adgang til forskellige open source LLM'er, herunder Mistral 7B, Llama2 13B, Code Llama 34B og Llama2 70B. Introduktionen af pplx-api markerer en milepæl inden for kunstig intelligens, der giver en one-stop-shop for open source LLM'er.
En af hovedfunktionerne ved pplx-api er dens brugervenlighed for udviklere. API'en er brugervenlig og giver udviklere mulighed for nemt at integrere disse skabeloner i deres projekter ved hjælp af en velkendt REST API. Denne brugervenlighed eliminerer behovet for omfattende C++/CUDA-viden eller adgang til GPU'er, hvilket gør API'en tilgængelig for flere udviklere.
Perplexity Lab pplx-api
Pplx-api-grænsefladen har også et hurtigt inferenssystem. Effektiviteten af inferenssystemet er bemærkelsesværdig og leverer op til 2,9x lavere latency end Replicate og 3,1x lavere end Anyscale. I test opnåede pplx-api en samlet latenstid op til 2,03x hurtigere end Text Generation Inference (TGI) og indledende responslatens op til 2,62x hurtigere. API'et er også i stand til at behandle tokens op til dobbelt så hurtigt som IGT. Denne hastighed og effektivitet gør pplx-api til et kraftfuldt værktøj for udviklere, der arbejder med LLM'er.
Fordele ved pplx API
-
Brugervenlighed: Udviklere kan bruge banebrydende, klar til brug open source-skabeloner og komme i gang på få minutter med en velkendt REST API.
-
Ultrahurtig slutning: Det omhyggeligt designede slutningssystem er effektivt og opnår op til 2,9 gange lavere latenstid end Replicate and 3,1x lavere latency end Anyscale.
-
Gennemprøvet infrastruktur: pplx-api har bevist pålidelighed og betjener trafik i produktionsklasse i både Perplexity Response Engine og Labs Playground.
-
En one-stop-shop for open source LLM'er: Perplexity Labs er dedikeret til at tilføje nye open source-modeller, efterhånden som de ankommer. For eksempel tilføjede vi Llama og Mistral m
Pplx-api-infrastrukturen er pålidelig og gennemprøvet. Den har vist sig pålidelig til at betjene trafik på produktionsniveau i både Perplexity Response Engine og Labs Playground. Infrastrukturen kombinerer brancheførende software og hardware, inklusive AWS p4d-instanser drevet af NVIDIA A100 GPU'er og NVIDIA TensorRT-LLM. Denne robuste infrastruktur gør pplx-api til en af de hurtigste kommercielt tilgængelige Llama og Mistral API'er.
API til open source LLM'er
Pplx API er i øjeblikket i offentlig beta og er gratis for brugere med et Perplexity Pro-abonnement. Denne tilgængelighed giver flere brugere mulighed for at teste API'en og give feedback, hvilket hjælper Perplexity Labs med løbende at forbedre og forfine værktøjet. API'en er også omkostningseffektiv til LLM-implementering og inferens. Det har allerede leveret betydelige besparelser til Perplexity, hvilket reducerer omkostningerne med ca. $0,62 millioner om året for en enkelt funktion. Denne omkostningseffektivitet gør pplx-api til et værdifuldt værktøj til lejlighedsvis eller kommerciel brug.
Perplexity-teamet er forpligtet til at tilføje nye open source-modeller, efterhånden som de bliver tilgængelige, for at sikre, at pplx-api forbliver en omfattende ressource for open source LLM'er. API'en bruges også til at drive Perplexity Labs, en skabelon-legeplads, der betjener forskellige open source-modeller. Introduktionen af pplx-api af Perplexity Labs repræsenterer et betydeligt fremskridt inden for kunstig intelligens. Dens brugervenlighed, hurtige slutningssystem, pålidelige infrastruktur og omkostningseffektivitet gør det til et kraftfuldt værktøj for udviklere, der arbejder med open source LLM'er. Efterhånden som API'et fortsætter med at udvikle sig og forbedres, bør det blive en endnu mere værdifuld ressource for AI-fællesskabet.
I den nærmeste fremtid vil pplx-api understøtte:
-
Custom Perplexity LLM'er og andre open source LLM'er.
-
Custom Perplexity-indlejringer og open source-indlejringer.
-
Dedikeret API-prisstruktur med generel adgang efter offentlig betaafslutning.
-
Perplexitys RAG-LLM API med grundlag for fakta og citater.
Sådan får du adgang til pplx-api
Du kan få adgang til pplx-api REST API ved hjælp af HTTPS-anmodninger. Godkendelse til pplx-api involverer følgende trin:
1. Generer en API-nøgle fra siden med Perplexity-kontoindstillinger. API-nøglen er en langvarig adgangstoken, der kan bruges, indtil den manuelt opdateres eller slettes.
2. Send API-nøglen som en bærer-token i autorisationsheaderen med hver pplx-api-anmodning.
3. Den understøtter i øjeblikket Mistral 7B, Llama 13B, Code Llama 34B, Llama 70B, og API'en er bekvemt kompatibel med OpenAI-klienten for nem integration i eksisterende applikationer.
For mere information, besøg den officielle Perplexity Labs API-dokumentation og hurtigstartguide.
Læs mere guide:
- Hvordan Perplexity AI blev bygget på bare seks måneder
- Micron PCIe Gen4 Data Center SSD-lagring
- Kør Llama 2 Uncensored og andre LLM'er lokalt ved hjælp af Ollama for privatliv og sikkerhed
- Hvordan Perplexity AI omdefinerer online opdagelse med avanceret AI
- Llama 3 på Groq Cloud leverer utrolige inferenshastigheder
- Mistral AI Mixtral 8x7B ekspertblanding af kunstig intelligens-model, imponerende benchmarks afsløret
