Computer Use skill

O que ela faz

A skill é do Orca, um app que roda vários agentes de código lado a lado, cada um na sua cópia do projeto. Ela ensina o agente a usar o comando orca computer pra controlar a interface de uma janela visível: ler a árvore de acessibilidade, clicar, digitar, abrir menus, responder caixas de diálogo e tirar print.

Funciona em apps nativos e em janelas de navegador de fora, como Chrome, Edge e Safari. A própria skill manda preferir o caminho por código (terminal, arquivos, git, chamada HTTP) sempre que ele resolver, e usar o clique só quando a janela não tem outra porta.

O arquivo é um ponto de partida curto: ele escolhe o executável certo do Orca e carrega o guia completo da versão instalada com orca skills get computer-use. No Linux, evita o comando orca puro, que lá costuma abrir o leitor de tela do sistema e começar a falar.

Nas palavras de quem fez

Quando usar

• Preencher um formulário num app de desktop que não tem API
• Clicar em menus e caixas de diálogo que o terminal não alcança
• Tirar print de uma janela pra conferir como ficou
• Mexer numa janela do Chrome ou do Safari que já está aberta

Depois de instalar, é só pedir assim

• Abre a janela do app de notas e cria uma nota com o resumo da reunião
• No Chrome que está aberto, entra no painel e tira um print da tela de vendas
• Responde a caixa de diálogo de atualização desse app e me mostra um print depois

Segurança

Gen Agent Trust Hub, Socket e Snyk leem o código da skill atrás de comando perigoso, dado vazando e instrução escondida. Alerta não é reprovação: quer dizer que vale ler o que a skill faz antes de instalar.

• Gen Agent Trust HubAlerta
• SocketPassou
• SnykAlerta

Perguntas