Waza skill

O que ela faz

O waza é uma ferramenta de linha de comando da Microsoft, escrita em Go, que avalia skills de agente com testes. A skill ensina o Claude a usar os comandos dela: init cria a estrutura dos testes, generate monta um teste a partir de um SKILL.md e run executa.

Cada teste é um arquivo YAML com tarefas: o pedido, o que se espera e os validadores, que conferem se o código compila ou se a resposta bate com um padrão. Cada tarefa roda numa pasta temporária limpa, com cópia dos arquivos de exemplo, e sai com nota de 0 a 1, se passou e quanto tempo levou.

O compare põe resultados lado a lado, por exemplo de modelos diferentes, com a diferença de nota por tarefa. E o waza dev dá nota à descrição de uma skill (tamanho, quando usar, quando não usar) e sugere melhorias em várias rodadas, cinco por padrão.

Nas palavras de quem fez

Quando usar

• Ver se uma skill que você escreveu faz o que promete
• Comparar o desempenho de modelos diferentes na mesma skill
• Gerar um primeiro conjunto de testes a partir de um SKILL.md
• Melhorar a descrição de uma skill pra ela ser chamada na hora certa

Depois de instalar, é só pedir assim

• Cria com o waza uma suíte de testes pra minha skill de proposta comercial
• Gera um teste a partir do SKILL.md da minha skill e roda mostrando os detalhes
• Compara esses dois arquivos de resultado e me diz em quais tarefas o segundo modelo foi pior

Segurança

Gen Agent Trust Hub, Socket e Snyk leem o código da skill atrás de comando perigoso, dado vazando e instrução escondida. Alerta não é reprovação: quer dizer que vale ler o que a skill faz antes de instalar.

• Gen Agent Trust HubPassou
• SocketPassou
• SnykPassou

Perguntas