Eu perdia tempo todo dia refinando prompt. Então construí um plugin para fazer isso por mim.
Prompt vago gera resposta imprecisa, você reescreve, pergunta de novo — e é nesse vai e volta que o tempo e os tokens vão embora.
A dor que eu tinha
Quando comecei a usar IA, a parte mais chata era montar o prompt. Não o pedido em si — o prompt otimizado, o que traz bom resultado sem gastar token à toa.
O problema quase nunca é a IA. É que a gente escreve do jeito que pensa: nota solta, frase pela metade, contexto que estava claro na nossa cabeça e não no texto. Prompt vago gera resposta imprecisa, você reescreve, pergunta de novo — e é nesse vai e volta que o tempo e os tokens vão embora.
Minha saída era colar o texto em outra IA e pedir para ela refinar. Resolvia, mas era mais uma aba e mais um copia e cola.
Guias de engenharia de prompt existem e são bons. Só que ninguém abre um guia no meio do expediente para reescrever um pedido de três linhas.
Em algum momento eu parei e pensei: por que isso não é automático?
Daí o Prompt Refiner: ele funciona no Chrome e em qualquer app do Mac, e troca o seu texto pelo prompt refinado ali mesmo, sem abrir nada.
São dois modos. O equilibrado organiza o que você escreveu. O profundo acrescenta também o método que um profissional experiente usaria: critérios, processo, uma checagem no fim.
O “sem abrir nada” é o produto inteiro. Ferramenta que exige ir a outro site, colar, copiar e voltar não sobrevive ao dia a dia — era exatamente a rotina de onde eu estava tentando sair.
Três regras inegociáveis: nunca inventar fatos sobre quem escreveu; nunca gravar o texto dos prompts em log (há um teste que falha se isso mudar); e nunca interpretar o que o modelo devolve — ele entra como texto puro, nunca como HTML.
Parte 1 — Medir antes de otimizar
Nessa altura o motor rodava na minha chave de API paga. Antes de melhorar qualquer coisa, eu precisava saber para onde ia esse dinheiro. Cada refinamento passou a registrar tokens, tempo e custo.
133 refinamentos custaram US$ 1,49. Barato — mas o detalhamento mostrou algo desconfortável: mais da metade do custo era reescrever as instruções do motor.
As instruções são longas e iguais em toda chamada, e o provedor só as guarda em cache por 5 minutos. Ninguém usa um plugin desses de 5 em 5 minutos: você usa, some por meia hora, volta — e paga tudo de novo.
Trocar o cache para 1 hora cortou 21% do custo sem mudar uma vírgula do que o modelo gera.
Foi a otimização mais fácil do projeto — e a menos importante, porque eu ainda não tinha medido a única coisa que decide se o plugin serve.
Parte 2 — O teste que me desmentiu
Eu tinha medido custo e tempo. Nunca tinha medido o que importa: a resposta que a pessoa recebe fica melhor?
Montei um teste cego. Dez pedidos do dia a dia — pedir aumento, roteiro de viagem, validar CPF, corrigir uma frase. Quatro versões de cada: o texto cru, o modo equilibrado, o modo profundo e o prompt de um concorrente. As respostas, geradas pela mesma IA, foram avaliadas por outro modelo, um juiz que não sabia qual versão tinha gerado qual resposta.
O modo profundo — o que eu tinha mais orgulho de ter construído — tirou nota pior do que não usar o plugin: 6,8 contra 7,8. Só o concorrente ficou abaixo dele, com 6,6.
E tinha mais. As respostas aos prompts refinados saíram maiores que as respostas ao texto cru: 36% a mais de texto no equilibrado, 102% no profundo. O contrário do que eu tinha acabado de escrever num rascunho de divulgação, prometendo que o plugin ajudava a economizar tokens.
Por que estava piorando
Fui ler os prompts gerados, cláusula por cláusula. O padrão era óbvio depois de visto:
Cada item que o prompt pede vira uma seção da resposta.
Get denniela Souza’s stories in your inbox
Join Medium for free to get updates from this writer.
O modo profundo enumerava subtemas, exigia campos para cada item de lista, pedia exemplos, pedia nota de suposições e terminava com “antes de responder, confira…”. Nada disso tinha sido pedido. A IA, obediente, entregava um calhamaço.
Pior: às vezes ele escrevia objetivos que a pessoa nunca deu. Isso quebrava a minha regra número um — e o juiz não pegou, porque avaliava as respostas, não os prompts.
O contraexemplo estava na mesma rodada. No pedido de corrigir uma frase, o prompt refinado terminava com “devolva apenas o texto corrigido”: a resposta caiu de 312 para 33 tokens e a nota subiu de 7 para 9. Melhor caso dos dez.
A lição virou regra do motor:
Método que muda COMO a tarefa é feita, pode. Conteúdo que acrescenta O QUÊ cobrir, não — a menos que a pessoa tenha pedido.
Reescrevi o motor com isso. O modo profundo saiu de pior colocado para melhor, com respostas 32% menores e a maior nota de fidelidade ao pedido.
Parte 3 — Quando o crédito acabou
No meio de mais uma rodada de testes, o crédito da API acabou: a API respondeu saldo insuficiente.
Foi a melhor coisa que aconteceu ao projeto. Em vez de recarregar, mudei o desenho: o motor passou a poder usar a assinatura do Claude que eu já pago, pela ferramenta de linha de comando oficial.
O custo por refinamento caiu de cerca de US$ 0,011 para zero. O tempo médio subiu de 2,8 para 4,1 segundos. A bateria de testes do projeto, 18 casos, continuou passando em 18.
Um segundo a mais em troca de custo zero. Testar deixou de ser decisão de orçamento.
Com teste de graça, respondi uma pergunta que vinha adiando: qual modelo e qual nível de raciocínio entregam o melhor resultado? Rodei os mesmos 18 casos em oito combinações e mandei um juiz cego avaliar os 144 prompts.
Todas as notas ficaram entre 8,1 e 8,5 — com essa amostra, não é diferença conclusiva. “Deu empate” também é resultado. E o modelo mais barato saiu caro: gerou de 2 a 5 vezes mais tokens pensando, foi o mais lento, e inventou fatos.
Mantive o que já estava. Decidir não mudar, com número na mão, também é decisão.
Parte 4 — Dois bugs que só apareceram na mão
Com o motor afiado, faltava publicar. Abri o código no GitHub, transformei a instalação num comando só e fui testar na minha máquina, do zero. Falhou — e aí apareceram dois bugs:
O instalador instalava onde o script estivesse. Se o arquivo veio junto com uma cópia do projeto, ele instalava naquela cópia, terminava com todos os ✓ e deixava os arquivos num caminho que eu não encontrava.
E pior: numa máquina que já tinha o plugin, ele pulava a implantação e mostrava sucesso. Passei um tempo testando a versão antiga achando que era a nova. Esse bug fui eu que criei de manhã, consertando outra coisa.
Os dois terminavam com a tela cheia de ✓.
O que eu levo disso
Medir custo é fácil. Medir qualidade é o que muda o produto. Passei dias otimizando cache antes de perguntar se o plugin estava ajudando. Em um dos modos, não estava.
Cada item que o prompt pede vira uma seção da resposta. Foi a causa de tudo que estava inflando, e é a regra que hoje separa o que o motor pode acrescentar do que não pode.
Quando testar fica de graça, você testa o que vinha adiando. A pergunta de qual modelo usar estava parada por causa do custo. A resposta foi “deu empate”.
Sucesso silencioso é pior que erro. Os dois bugs terminavam mostrando sucesso na tela. Com erro, pelo menos você sabe que falhou.
Quer usar?
Código aberto, licença MIT, um comando instala. Funciona com a assinatura de IA que você já tem, sem gerar chave, ou com a sua própria chave.
https://github.com/Dennielasouza/prompt-refiner
Issues são bem-vindas — inclusive as que dizem “não consegui instalar”. Essas são as melhores.
