Como comparar modelos de IA com os teus próprios exemplos

Que tarefa deves usar na comparação?

Usa uma tarefa que já fazes e cujo resultado consegues avaliar. Delimita a entrada, a entrega e o erro que não podes aceitar. Começa por uma utilização frequente, como extrair condições de um documento ou preparar uma resposta comercial, para que a comparação responda a uma decisão concreta.

«Qual é o melhor modelo?» deixa demasiadas variáveis em aberto. «Qual prepara um rascunho de resposta a este tipo de pedido, respeitando as condições da oferta e assinalando informação em falta?» já permite organizar um teste. Sabes o que fornecer e o que procurar no resultado.

Vamos usar um exemplo editorial: uma empresa recebe pedidos de orçamento e quer ajuda a preparar respostas para revisão humana. O modelo deve identificar o serviço pedido, recuperar condições confirmadas e fazer as perguntas necessárias. Não pode inventar preços, confirmar disponibilidade ou enviar a mensagem.

Esta delimitação também impede que avalies capacidades que não vais usar. Um candidato pode escrever uma explicação longa e sofisticada, mas isso não é vantagem se a tarefa pede um rascunho curto, com duas perguntas claras e uma referência à informação recebida.

Se ainda não tens uma tarefa escolhida, começa pelo guia sobre qual é o melhor modelo de IA para usar hoje. Aqui, o passo seguinte é criar evidência com os teus próprios casos.

Como escolher exemplos que representem o trabalho?

Reúne casos habituais, casos incompletos e situações que costumam provocar erros. Mantém a variedade ligada ao processo que pretendes melhorar. Um conjunto pequeno pode orientar uma primeira decisão, desde que não o apresentes como prova estatística de desempenho geral nem escolhas apenas exemplos fáceis para o candidato que preferes.

No pedido de orçamento habitual, o cliente identifica serviço, quantidade e data pretendida. No incompleto, falta a quantidade. No difícil, a mensagem pede uma condição que a oferta não inclui. O comportamento desejado muda: responder ao que está confirmado, perguntar o que falta ou explicar o limite sem inventar uma exceção.

Podes começar com alguns casos de cada tipo e expandir à medida que descobres falhas. Não existe um número mágico que torne a avaliação suficiente. A diversidade relevante e a gravidade dos erros importam mais do que juntar dezenas de pedidos quase iguais.

Retira nomes, contactos e detalhes desnecessários. Se criares um exemplo fictício, identifica-o como tal no registo. Preserva, porém, a dificuldade original: trocar uma mensagem confusa por uma frase perfeita pode eliminar precisamente o problema que querias avaliar.

A orientação da OpenAI sobre boas práticas de avaliação recomenda testes ligados à tarefa e dados que reflitam a utilização real. O princípio aplica-se a esta revisão manual; não precisas de adotar uma plataforma de avaliação para organizar os primeiros casos.

O que conta como uma resposta aceitável?

Define os critérios antes de veres as respostas. Separa condições obrigatórias de preferências de apresentação e descreve como vais verificar cada uma. Uma falha grave, como inventar um preço, deve continuar visível mesmo que o texto seja agradável e cumpra vários critérios secundários. Evita escondê-la numa média.

Para o exemplo, prepara uma folha com esta estrutura:

Evita critérios como «qualidade nove em dez» sem definição. Outra pessoa não sabe o que significa um oito nem consegue reproduzir a avaliação. Para uma primeira escolha, aprovado, aprovado após correção e rejeitado podem ser estados mais úteis, acompanhados da razão concreta.

Quando houver cálculo, a prova deve estar nos dados e na regra aplicada. Pedir ao mesmo modelo que confirme a própria conta pode produzir outra resposta convincente sem resolver o erro. Recalcula ou usa uma fórmula verificável e confere entradas, unidades e valores em falta.

Se o teu caso for extrair dados de uma tabela, define a cobertura esperada: cabeçalhos, número de linhas e campos indispensáveis. Um valor em branco não deve ser convertido automaticamente em zero. Escolhe algumas células críticas para conferência e verifica o total com a fonte estruturada, quando ela existir.

Se o caso for escrita, separa voz de fidelidade. Uma frase pode parecer mais próxima da marca e, ao mesmo tempo, acrescentar uma garantia inexistente. Assinala a passagem exata e explica o problema. Essa observação permite corrigir o pedido sem transformar uma preferência de estilo numa avaliação vaga do candidato.

Como preparar o mesmo contexto para os candidatos?

Prepara um conjunto comum de instruções, documentos e formato de entrega. Regista o modelo, a data, as ferramentas disponíveis e as definições relevantes. Se comparares aplicações com capacidades diferentes, identifica essa diferença: estás a avaliar a solução que consegues usar, e não apenas o modelo isolado.

Guarda o pedido num ficheiro e os exemplos em separado. Assim, consegues repetir o teste sem reconstruir o contexto de memória. Usa conversas novas quando queres reduzir a influência de interações anteriores e confirma se existem instruções ou memórias que possam alterar o comportamento.

Um pedido inicial possível é: «Prepara um rascunho de resposta com base apenas nas condições fornecidas. Identifica o serviço pedido, responde ao que está confirmado e faz perguntas sobre informação indispensável em falta. Não inventes condições nem afirmes que a mensagem foi enviada. No fim, indica as passagens usadas.»

Se a tarefa depende de pesquisa atual, decide como a vais incluir. Um candidato com navegação e outro sem acesso à web enfrentam condições diferentes. Podes comparar o resultado prático dessas soluções, mas deves registar o acesso às fontes para interpretar a diferença.

A preparação dos ficheiros também conta. O artigo sobre preparar documentos para obter melhores respostas de IA ajuda-te a reduzir ambiguidades de versão e de organização antes de atribuíres o problema ao modelo.

Como executar o teste sem favorecer um resultado?

Aplica o mesmo conjunto de casos e guarda as respostas completas, incluindo falhas. Mantém uma regra comum para pedidos de correção e repetições. Revê as saídas sem escolher apenas a melhor tentativa de cada candidato, porque essa seleção pode ocultar a frequência com que precisas de intervir.

Se permitires uma pergunta de esclarecimento, permite-a nas mesmas condições. Se o candidato pede informação que já estava no documento, regista isso. Se identifica uma lacuna real, a pergunta pode ser precisamente o comportamento correto, mesmo que a resposta pareça menos completa.

A Anthropic distingue tarefa e tentativa na sua explicação sobre avaliação de agentes de IA. As respostas podem variar entre execuções, pelo que uma tentativa isolada não descreve toda a consistência. Repete os casos relevantes quando essa variação puder alterar a decisão.

Também podes ocultar o nome do candidato durante a primeira revisão, usando A e B. Mantém a identificação original guardada para recuperares a configuração. Este exercício ajuda a expor preferências de marca, mas não substitui critérios: duas respostas anónimas continuam a precisar de conferência.

Não alteres a regra a meio porque um resultado te surpreendeu. Regista a descoberta e prepara uma nova ronda. Dessa forma, consegues distinguir o teste inicial da melhoria que fizeste depois.

Como distinguir erro do modelo de erro no teste?

Quando uma resposta falha, verifica se a entrada, a instrução e o critério estavam corretos. Procura a passagem que sustenta a decisão e aceita soluções válidas que não reproduzam a tua redação preferida. Uma comparação útil identifica tanto limitações dos candidatos como problemas no modo como formulaste a tarefa.

Imagina que esperavas uma pergunta sobre a data, mas o pedido já incluía essa informação num anexo. Penalizar o modelo por não perguntar seria um erro de avaliação. Noutro caso, a resposta pode usar uma expressão diferente da tua e preservar exatamente o significado necessário.

Para cada falha, guarda o excerto, o critério afetado e a correção necessária. Classifica-a de forma simples: informação inventada, omissão, leitura incorreta, formato inadequado ou problema do próprio teste. Estas categorias ajudam-te a decidir se deves mudar contexto, pedido ou candidato.

Se alterares os critérios, volta aos resultados anteriores afetados. Não compares pontuações calculadas com regras diferentes como se pertencessem à mesma ronda. A data e a versão do teste são parte do resultado, não um detalhe administrativo.

Quanto tempo poupa depois da revisão?

Mede o percurso até obteres uma entrega utilizável, incluindo preparação, espera, leitura e correções. O tempo de geração é apenas uma parte desse trabalho. Regista também limites de utilização e custos efetivos da solução disponível, sem converter preços de API em capacidade garantida de uma subscrição.

No exemplo comercial, uma resposta rápida que exige conferir todas as condições pode dar mais trabalho do que outra que identifica claramente as fontes e lacunas. Essa diferença só aparece quando medes a revisão, em vez de parar o cronómetro assim que surge texto.

As definições também podem influenciar a comparação. A documentação do Gemini sobre raciocínio descreve controlos que variam por modelo e podem alterar a latência. Regista o modo utilizado, quando disponível, sem assumir que o mesmo nome corresponde ao mesmo comportamento entre fornecedores.

Começa pelas capacidades já incluídas nas tuas ferramentas. Se precisares de testar uma opção com custo adicional, define primeiro a necessidade e um teto. Não compres acesso a vários serviços apenas para completar uma tabela que ainda não tem uma decisão associada.

Como transformar a comparação numa escolha?

Escolhe a opção que cumpre os requisitos indispensáveis e se adapta ao trabalho total observado. Explica em que tarefas a vais usar, onde continua a exigir revisão e o que faria mudar a decisão. Se os resultados forem semelhantes ou insuficientes, assume essa conclusão e mantém a escolha proporcional à evidência.

Uma conclusão útil seria: «Para preparar estes rascunhos, vamos usar o candidato que respeitou as condições nos casos revistos e exigiu menos edição. Mantemos aprovação humana antes de enviar. Vamos repetir a comparação se mudarem a oferta, os documentos ou a configuração.»

Esta frase é um modelo de decisão, não o resultado de um teste apresentado aqui. O artigo ensina o processo; não atribui uma vitória a uma marca sem executar e documentar a comparação correspondente.

Quando nenhum candidato cumpre os requisitos, reduz o âmbito. Talvez a ajuda útil seja identificar campos em falta, deixando a redação final à pessoa responsável. Testa essa tarefa mais pequena com os mesmos cuidados. A alternativa a uma resposta pouco fiável pode ser uma utilização mais delimitada, sem abandonar toda a aplicação da IA.

Evita juntar escrita, análise de tabelas e criação de código numa classificação única. Podes descobrir que usas soluções diferentes por tarefa. A comparação entre ChatGPT, Claude e Gemini para o teu trabalho ajuda-te a organizar essa escolha por utilização, sem depender de um vencedor universal.

O que deves guardar para repetir a avaliação?

Guarda instruções, exemplos, fontes, configurações, respostas e decisões numa estrutura simples. Mantém alguns casos para confirmar a escolha depois de ajustares o pedido, sem os usar continuamente para o aperfeiçoar. Acrescenta falhas novas encontradas no trabalho real e revê o conjunto quando deixar de representar as tarefas atuais.

Para cada ronda, identifica o responsável pela revisão e a versão dos documentos. Uma pasta com respostas sem o pedido original deixa de ser comparável depressa. Um pequeno registo completo permite perceber se a melhoria veio do modelo, do contexto ou da forma como definiste a entrega.

Usa nomes de caso estáveis, como pedido completo, quantidade ausente e condição não disponível. Guarda o estado de aceitação, a razão e o tempo de correção em campos separados. Assim, consegues voltar diretamente aos casos problemáticos e perceber se uma nova versão resolveu a falha sem introduzir outra.

Não precisas de repetir tudo por cada novidade anunciada. Volta ao teste quando existe uma razão concreta: dificuldade recorrente, alteração importante da ferramenta ou nova exigência do negócio. O tempo dedicado à comparação deve ajudar-te a trabalhar melhor, e não tornar-se uma tarefa permanente sem aplicação.

Aprende no Laboratório da IA

No Laboratório da IA, aprende a escolher e usar ferramentas a partir das tarefas do teu negócio. Podes trabalhar exemplos teus, melhorar o contexto e perceber onde a resposta precisa de revisão. As aulas semanais e os Zooms de acompanhamento semanais ajudam-te a transformar essa avaliação em prática.

Traz uma tarefa que repitas, um exemplo de boa entrega e uma resposta que te tenha criado dúvidas. Entra no Laboratório da IA para aprenderes a testar, rever e aplicar a IA com critérios que façam sentido para ti.