Sglang skill

O que ela faz

A skill ensina o Claude a usar o SGLang, servidor que roda modelos abertos como Llama, Qwen, Mistral e DeepSeek na sua máquina ou no seu servidor com GPU. Ele instala pelo pip, sobe o servidor numa porta e liga o seu código a ele, inclusive pela mesma API da OpenAI, trocando só o endereço.

O forte é a saída estruturada: o Claude escreve chamadas em que a resposta do modelo fica presa a um JSON com esquema, a uma regex (de e-mail, por exemplo) ou a uma gramática. Serve pra extrair dados de texto sem precisar consertar resposta quebrada depois.

Também cobre o RadixAttention, cache que reaproveita o começo repetido dos prompts (instrução de sistema, exemplos, histórico da conversa), chamada de ferramentas pra agentes, modelos de visão, várias GPUs em paralelo e decodificação especulativa com um modelo menor de rascunho.

Nas palavras de quem fez

Quando usar

• Rodar um modelo aberto no seu servidor em vez de pagar API por chamada
• Extrair dados de texto sempre no mesmo formato de JSON
• Acelerar um agente que manda o mesmo prompt de sistema toda hora
• Trocar a API da OpenAI por um modelo próprio sem reescrever o código
• Decidir entre SGLang, vLLM e TensorRT-LLM pro seu caso

Depois de instalar, é só pedir assim

• Sobe o SGLang com o Llama 3 8B na porta 30000 e me mostra como chamar pela API da OpenAI
• Escreve uma função que lê a descrição do produto e devolve um JSON com nome, preço e categoria, usando esquema no SGLang
• Meu agente repete o mesmo prompt de sistema em toda chamada; configura o SGLang pra aproveitar o cache de prefixo

Segurança

Gen Agent Trust Hub, Socket e Snyk leem o código da skill atrás de comando perigoso, dado vazando e instrução escondida. Alerta não é reprovação: quer dizer que vale ler o que a skill faz antes de instalar.

• Gen Agent Trust HubPassou
• SocketPassou
• SnykAlerta

Perguntas