Apple lancerede sin nye M3 silicium i oktober og har nu gjort den tilgængelig i en række forskellige systemer, så brugerne kan drage fordel af den næste generations behandling fra chipfamilien. Hvis du er interesseret i at lære mere om at køre store sprogmodeller på det nyeste Apple M3 silicium, vil du blive glad for at vide, at Techno Premium har testet og demonstreret, hvad du kan forvente af processorkraften, når du kører Metas store Llama 2 sprog model på Apple silicium hardware. Se videoen nedenfor.
Hvis du er fascineret af mulighederne i store sprogmodeller såsom Llama 2, og hvordan de klarer sig på banebrydende hardware, giver introduktionen af M3-chippen en fantastisk mulighed for at køre store sprogmodeller lokalt. Fordelene er:
- Forbedret GPU-ydeevne: En ny æra inden for computing M3-chippen har en næste generations GPU, som markerer et betydeligt fremskridt i Apples silicium-grafikarkitektur. Dens ydeevne handler ikke kun om hastighed, men om effektivitet og introduktionen af revolutionerende teknologier såsom dynamisk caching. Denne funktion sikrer optimal hukommelsesbrug for hver opgave, en industri først. fordele? Op til 2,5 gange hurtigere gengivelseshastigheder end M1-seriens chips. Det betyder, at for store sprogmodeller som Llama 2 bliver behandling af komplekse algoritmer og dataintensive opgaver smidigere og mere effektiv.
- Uovertrufne CPU- og neurale motorhastigheder M3-chippens CPU har 30 % hurtigere ydeevnekerner og 50 % hurtigere effektivitetskerner end M1-chippen. Den neurale motor, der er afgørende for opgaver som naturlig sprogbehandling, er 60 % hurtigere. Disse forbedringer sikrer, at store sprogmodeller, som kræver intensiv computerkraft, kan fungere mere effektivt, hvilket resulterer i hurtigere og mere præcise svar.
Kører LLM på Apple M3 Silicon hardware
Hvis du planlægger at bruge store sprogmodeller som Llama 2 lokalt, tilbyder den seneste serie af Apple M3-chips et hidtil uset niveau af ydeevne og effektivitet. Du vil blive glad for at vide, at uanset om det er hurtigere behandlingshastigheder, forbedrede grafikfunktioner eller mere effektivt strømforbrug, så opfylder Apple M3-chips de krævende behov for AI-applikationer.
Læs mere guide:
- Ny Apple MacBook Pro M3 14-tommer fra 1
- Apples AI-fokuserede M4 Macs kommer senere i år
- Nye Apple M3-, M3 Pro- og M3 Max-chips har næste generations GPU-arkitektur
- Kør Llama 2 Uncensored og andre LLM'er lokalt ved hjælp af Ollama for privatliv og sikkerhed
- Den nye Ollama-opdatering tilføjer Llama 3, muligheden for at stille flere spørgsmål på én gang og flere.
- Apple frigiver Ferret 7B, en storstilet multimodal sprogmodel (MLLM)
