Neste post abordaremos o processo de instalação e configuração de uma Inteligência Artificial para operar localmente no seu computador, com foco nos sistemas Linux e macOS. Algumas das ferramentas que utilizaremos ainda estão em fase beta no Windows, por isso ele não será abordado. Esta IA pode ser utilizada para uma variedade de propósitos, como responder a perguntas ocasionais, atuar como um professor particular de matemática ou até mesmo ajudar na geração de mensagens de commits para projetos de software (que seria o meu uso :) ).
Primeiro, vamos precisar instalar nosso LLM (Large Language Model) e a ferramenta que usaremos para manipular esses LLMs será o Ollama. O processo de download é bem simples.
Linux:
curl -fsSL https://ollama.com/install.sh | sh
MacOS:
Somente baixar e executar pelo link do Github.
Após a instalação, vamos digitar o seguinte comando no terminal: ollama run llama3.1
, onde "llama3.1" é o LLM que usaremos como exemplo.
Assim que executarmos esse comando, o modelo será baixado. Quando o download for concluído, já poderemos interagir com ele diretamente do terminal.
No entanto, como queremos uma interface gráfica e a capacidade de customizar nossos modelos, precisaremos de outra ferramenta, chamada Open Web UI.
Usaremos o Docker para executar essa ferramenta com o seguinte comando:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Após o Docker estar em execução, você pode acessar o endereço http://localhost:3000/ para abrir a interface gráfica, onde poderemos utilizar os modelos.
Será necessário criar uma conta local. Após a criação da conta, você poderá usar o modelo que baixamos anteriormente pelo seu navegador.
Para fazer essas customizações, você pode usar o próprio site do Open Web UI e também ajustar as configurações localmente. No site, você encontrará vários modelos já customizados que podem servir como ponto de partida ou inspiração para suas próprias personalizações.
Caso esteja seguindo o tutorial usando Linux e encontre problemas com o Open Web UI não conseguindo identificar o seu modelo, o problema pode estar relacionado à porta em que o Ollama está escutando.
Pode ser solucionado dessa forma:
sudo nano /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
https://www.cloudflare.com/pt-br/learning/ai/what-is-large-language-model/