Llama Cpp skill

O que ela faz

A skill ensina o Claude a usar o llama.cpp, que roda modelos de IA abertos direto no processador, em Mac com chip Apple, em placas AMD e Intel e até num Raspberry Pi, sem depender de placa NVIDIA. Ele instala pelo brew ou compila o código com a aceleração certa pra sua máquina.

Depois baixa o modelo em formato GGUF do Hugging Face e escolhe a compressão: o Q4_K_M é o padrão recomendado e deixa um modelo de 7B em uns 4 GB. Dá pra conversar no terminal, processar uma lista de prompts de uma vez ou forçar a saída em JSON válido.

Com o llama-server, ele sobe uma API no mesmo formato da OpenAI na porta 8080: um programa que já usa a API da OpenAI passa a usar o seu modelo local trocando só o endereço. A skill também diz quando vale trocar pro vLLM ou pro TensorRT-LLM.

Nas palavras de quem fez

Quando usar

• Rodar um modelo de IA no Mac sem pagar por API
• Usar IA com dados que não podem sair da sua máquina
• Pôr uma API local no lugar da OpenAI num app
• Escolher a compressão que cabe na memória do computador
• Gerar JSON garantido a partir de um modelo local

Depois de instalar, é só pedir assim

• Instala o llama.cpp no meu Mac e roda o Llama 3 8B em Q4_K_M usando o chip da Apple
• Sobe o llama-server na porta 8080 e troca a URL da OpenAI nesse projeto pela do servidor local
• Qual compressão GGUF cabe em 16 GB de memória pra um modelo de 13B?

Segurança

Gen Agent Trust Hub, Socket e Snyk leem o código da skill atrás de comando perigoso, dado vazando e instrução escondida. Alerta não é reprovação: quer dizer que vale ler o que a skill faz antes de instalar.

• Gen Agent Trust HubPassou
• SocketPassou
• SnykPassou

Perguntas