Peekaboo skill

O que ela faz

A skill ensina o agente a usar o Peekaboo, um programa de linha de comando que inspeciona e controla a interface do macOS. O comando see tira o print de um app ou de uma janela, marca os elementos encontrados, como botões e campos, e devolve tudo em JSON pro agente saber onde agir.

O jeito de trabalhar é sempre o mesmo: olhar, agir, conferir. O agente lista os apps abertos, pega uma visão nova da janela certa, clica, digita, rola, aperta atalhos como cmd+shift+t ou arrasta, e olha a tela de novo pra conferir. Arrastar move o seu cursor de verdade, por isso só roda com permissão pra agir em primeiro plano.

Também tira print da tela inteira em resolução Retina, sem detectar elementos. As instruções são da versão 4 do Peekaboo e mostram quais comandos mudaram de nome. Quando algo falha, o agente confere as permissões e pega o estado da tela de novo antes de tentar outra vez.

Nas palavras de quem fez

Quando usar

• Automatizar um app do Mac que não conversa com nenhuma outra ferramenta
• Tirar print de uma janela específica pra montar um passo a passo
• Testar um fluxo no Safari clicando de verdade
• Preencher um formulário repetitivo num programa de desktop

Depois de instalar, é só pedir assim

• Com o Safari aberto na página do meu checkout, tira um print marcando os botões e me diz se o botão de pagar aparece
• Tira um print da tela inteira e salva na pasta do projeto
• Clica em Exportar no menu do app que está aberto e confere se o arquivo foi salvo

Segurança

Gen Agent Trust Hub, Socket e Snyk leem o código da skill atrás de comando perigoso, dado vazando e instrução escondida. Alerta não é reprovação: quer dizer que vale ler o que a skill faz antes de instalar.

• Gen Agent Trust HubPassou
• SocketPassou
• SnykPassou

Perguntas