Apple lanserade sin nya M3-kisel i oktober och har nu gjort den tillgänglig i ett antal olika system som låter användare dra nytta av nästa generations bearbetning från chipfamiljen. Om du vill lära dig mer om att köra stora språkmodeller på den senaste Apple M3 silicon, kommer du att bli glad att veta att Techno Premium har testat och demonstrerat vad du kan förvänta dig av processorkraften när du kör Metas stora Llama 2-språk modell på Apple silikonhårdvara. Se videon nedan.
Om du är fascinerad av kapaciteten hos stora språkmodeller som Llama 2 och hur de presterar på banbrytande hårdvara, ger introduktionen av M3-chippet en fantastisk möjlighet att köra stora språkmodeller lokalt. Fördelarna är:
- Förbättrad GPU-prestanda: en ny era av datoranvändning M3-chippet har en nästa generations GPU, vilket markerar ett betydande framsteg i Apples grafikarkitektur i silikon. Dess prestanda handlar inte bara om hastighet, utan om effektivitet och införandet av revolutionerande teknologier som dynamisk cachning. Den här funktionen säkerställer optimal minnesanvändning för varje uppgift, först i branschen. Fördelar? Upp till 2,5 gånger snabbare renderingshastigheter än M1-seriens chips. Detta innebär att för stora språkmodeller som Llama 2 blir behandlingen av komplexa algoritmer och dataintensiva uppgifter smidigare och effektivare.
- Oöverträffad CPU och neurala motorhastigheter M3-chippens CPU har 30 % snabbare prestandakärnor och 50 % snabbare effektivitetskärnor än M1-chippet. Den neurala motorn, nödvändig för uppgifter som naturlig språkbehandling, är 60 % snabbare. Dessa förbättringar säkerställer att stora språkmodeller, som kräver intensiv datorkraft, kan fungera mer effektivt, vilket leder till snabbare och mer exakta svar.
Kör LLM på Apple M3 Silicon hårdvara
Om du planerar att använda stora språkmodeller som Llama 2 lokalt, erbjuder den senaste raden av Apple M3-chips en oöverträffad nivå av prestanda och effektivitet. Du kommer att bli glad att veta att oavsett om det handlar om snabbare bearbetningshastigheter, förbättrade grafikmöjligheter eller effektivare strömanvändning, möter Apple M3-chips de krävande behoven hos AI-applikationer.
Läs mer Guide:
- Ny Apple MacBook Pro M3 14-tum från 1 599
- Apples AI-fokuserade M4 Mac kommer senare i år
- Nya Apple M3, M3 Pro och M3 Max-chips har nästa generations GPU-arkitektur
- Kör Llama 2 Uncensored och andra LLM lokalt med Ollama för integritet och säkerhet
- Den nya Ollama-uppdateringen lägger till Llama 3, möjligheten att ställa flera frågor samtidigt och mer.
- Apple släpper Ferret 7B, en storskalig multimodal språkmodell (MLLM)
