Se você deseja testar, ajustar e brincar com grandes modelos de linguagem (LLMs) de forma segura e privada em sua própria rede local ou computador, você pode estar interessado em um novo aplicativo chamado Ollama.
Ollama é uma ferramenta de código aberto que permite aos usuários executar LLMs localmente, garantindo privacidade e segurança dos dados. Este artigo fornece um tutorial completo sobre como usar o Ollama para executar LLMs de código aberto, como Llama 2, Code Llama e outros, em sua máquina local.
Grandes modelos de linguagem tornaram-se a base de vários modelos e aplicações de inteligência artificial, desde o processamento de linguagem natural até o aprendizado de máquina. No entanto, a execução destes modelos muitas vezes requer o envio de dados privados para serviços de terceiros, levantando questões de privacidade e segurança.
Privacidade e segurança LLM
Ollama, já disponível, é uma ferramenta inovadora projetada para executar localmente grandes modelos de linguagem, sem a necessidade de enviar dados privados a serviços de terceiros. Atualmente está disponível para Mac e Linux, e uma versão para Windows está em fase de conclusão. Ollama agora está disponível como uma imagem oficial de código aberto patrocinada pelo Docker, simplificando o processo de execução de LLMs usando contêineres Docker.
Para um desempenho ideal, seus desenvolvedores recomendam executar o Ollama com Docker Desktop para macOS, permitindo aceleração de GPU para modelos. Ollama também pode trabalhar com aceleração de GPU dentro de contêineres Docker para GPUs Nvidia.
Ollama fornece uma interface de linha de comando (CLI) simples e uma API REST para interagir com seus aplicativos. Ele suporta a importação de formatos de arquivo GGUF e GGML para o Modelfile, permitindo aos usuários criar, iterar e fazer upload de modelos para a biblioteca Ollama para compartilhamento. Os modelos que podem ser executados localmente usando Ollama são: Llama 2, Llama2-uncensored, Codellama, Codeup, EverythingLM, Falcon, Llama2chinese, Medllama2, modelo Mistral 7B, Nexus Raven, Nous-Hermes, Open-orca -platypus 2 e Orca- mini.
O processo de instalação do Ollama é simples. Envolve baixar o arquivo, executá-lo e movê-lo para os aplicativos. Para instalá-lo a partir da linha de comando, basta clicar em instalar e fornecer sua senha. Depois de instalado, você pode executar o framework Ollama usando um comando específico.
Ollama
Ollama oferece a possibilidade de rodar diversos modelos. O comando para executar o Llama 2 é fornecido por padrão, mas você também pode executar outros modelos, como o Mistal 7B. Dependendo do tamanho do modelo, o download pode demorar algum tempo. A página GitHub fornece informações sobre os diferentes modelos suportados, seu tamanho e a RAM necessária para executá-los.
Depois que o modelo for baixado, você poderá começar a usá-lo. O modelo pode responder perguntas e fornecer respostas detalhadas. Ollama também pode ser utilizado por meio de uma API, permitindo sua integração com outras aplicações. O tempo de resposta do modelo e o número de tokens por segundo podem ser monitorados, fornecendo informações valiosas sobre o desempenho do modelo. Ollama oferece diversos outros recursos, incluindo integração com outras plataformas como LangChain, Llama index e Light LLM. Também inclui um “modo veros” para obter informações adicionais e uma ferramenta para encerrar um processo Linux. Esses recursos tornam o Ollama uma ferramenta versátil para execução local de LLM.
Ollama fornece uma maneira simples e segura de executar grandes modelos de linguagem de código aberto em sua máquina local. Seu suporte para uma ampla variedade de modelos, processo de instalação simples e recursos adicionais tornam-no uma ferramenta valiosa para quem trabalha com modelos de linguagens grandes. Quer você use Llama 2, Mistral 7B ou experimente seus próprios modelos, Ollama oferece uma plataforma robusta para executar e gerenciar seus LLMs.
Leia mais Guia:
- Como instalar o Ollama localmente para executar o llama 2, o llama code e outros modelos LLM?
- Instale facilmente modelos de IA personalizados no local com Ollama
- O Pinokio AI Virtual Computer permite instalar, executar e automatizar qualquer aplicativo de IA com apenas um clique.
- Usando Ollama para executar IA em um mini PC Raspberry Pi 5
- Ollama para Windows agora está disponível para executar LLMs localmente
- Executando o Llama 2 localmente em Macs Apple M3 Silicon
