Como detetar respostas sem suporte num assistente de IA
Para detetares respostas sem suporte num assistente de IA, separa as afirmações importantes e compara cada uma com a fonte correspondente. Confere a passagem, a versão e as condições. Distingue o que está confirmado, o que contradiz a fonte e o que continua desconhecido. Uma resposta fluente ou acompanhada de ligações ainda precisa dessa verificação.

O que significa uma resposta não ter suporte?
Uma afirmação não tem suporte suficiente quando a evidência disponível não permite confirmá-la no contexto do pedido. Isso não prova automaticamente que seja falsa. Pode faltar uma fonte, existir uma versão diferente ou ter sido feita uma inferência excessiva. O primeiro trabalho é identificar a afirmação e perceber que prova seria necessária.
Se um assistente disser que uma aplicação remove duplicados, precisas de encontrar essa capacidade na documentação aplicável ou de a verificar num ensaio adequado. Se o manual nada disser sobre duplicados, a conclusão é “não confirmado com esta informação”. Não é “a aplicação nunca remove duplicados”.
Já existe contradição quando a resposta diz que o limite é de 5000 registos e o manual aplicável fixa 1000. A diferença importa porque a correção é distinta: numa situação procuras a informação em falta; na outra tens uma afirmação a corrigir perante a fonte usada.
O NIST descreve a confabulação como a produção de conteúdo incorreto ou falso apresentado com confiança, incluindo divergências face à informação de entrada. Também alerta para justificações e citações fabricadas. O tom seguro, por isso, não serve como prova. Esta distinção consta da secção 2.2 do perfil de riscos de IA generativa do NIST.
Na prática, começa pelas frases que mudam o que vais fazer: limites, datas, capacidades, condições, responsáveis e afirmações de que uma ação já aconteceu. Uma introdução convincente não compensa um erro numa dessas partes.
Porque não basta pedir fontes ou perguntar outra vez?
Pedir fontes ajuda a localizar a evidência, mas a presença de uma referência não demonstra que ela sustenta a frase. Perguntar novamente ao mesmo assistente pode produzir outra resposta igualmente plausível. Abre a origem e compara a passagem com a afirmação completa, incluindo as condições que podem ter desaparecido no resumo.
Uma ligação pode levar ao site certo e à página errada. Pode apontar para um documento antigo. Pode ainda sustentar apenas metade da frase: por exemplo, confirmar que existe uma importação, sem confirmar que trata duplicados automaticamente.
Se o assistente responder “sim, tenho a certeza”, ainda falta a mesma prova. Podes pedir-lhe que indique a secção e a passagem relevante, mas depois precisas de conferir se essa passagem existe e diz o que lhe foi atribuído.
Usar um segundo modelo pode ajudar a encontrar dúvidas ou contradições. A concordância entre os dois, no entanto, não substitui uma fonte independente. Ambos podem repetir o mesmo pressuposto, usar documentação desatualizada ou aceitar a formulação da pergunta.
Também não precisas de pedir o raciocínio interno do modelo. Pede elementos que possas inspecionar: dados usados, cálculo quando existir, pressupostos declarados e ligação à origem. Uma explicação curta e verificável é suficiente para perceberes se a conclusão está apoiada.
Quando a dúvida está numa referência concreta, o guia sobre verificar uma citação apresentada por um assistente ajuda a conferir autoria, passagem e contexto. Neste artigo, vamos aplicar essa disciplina ao conjunto de uma resposta.
Como divides uma resposta em afirmações verificáveis?
Divide a resposta em unidades que possam ser conferidas separadamente. Uma frase pode juntar formato de ficheiro, limite de registos, tratamento de erros e execução concluída. Se a avaliares como um bloco, uma parte correta pode esconder as restantes. Mantém também a pergunta original para saberes que informação era realmente necessária.
Considera esta resposta fictícia sobre uma aplicação também fictícia, chamada Lista Clara:
Usa um CSV em UTF-8, separado por vírgulas, com até 5000 registos. A aplicação remove os duplicados e grava tudo automaticamente depois do carregamento. O teu ficheiro já foi importado.
Tens pelo menos seis afirmações: codificação UTF-8, separador por vírgulas, limite de 5000 registos, remoção de duplicados, gravação automática e importação já concluída. Cada uma precisa de uma conferência própria.
A última pertence a outra categoria. Saber como uma aplicação funciona não demonstra que um ficheiro concreto foi importado. Para confirmar essa ação, precisarias de evidência da execução e do resultado no destino, associada ao ficheiro certo.
Regista estas afirmações numa lista de revisão. Podes atribuir-lhes identificadores simples, como A1 a A6, para manter a ligação entre a frase original, a fonte e a correção. Não precisas de criar uma ferramenta nova para começar; uma tabela pequena chega para o primeiro exercício.
Guarda a resposta original antes de a corrigir. Se a substituíres imediatamente, perdes a possibilidade de perceber que erro ocorreu e se voltou a aparecer numa nova tentativa.
Como comparas as afirmações com um conjunto de fontes?
Reúne as fontes aplicáveis e indica o papel de cada uma antes de classificar a resposta. Um manual em vigor, uma versão arquivada e uma nota de execução não têm a mesma função. Procura a passagem que suporta cada afirmação e regista explicitamente quando essa passagem não existe no material disponível.
No nosso exercício, o dossier fictício contém três referências. F1, o manual v2 em vigor, diz: “CSV em UTF-8, separador ponto e vírgula, até 1000 registos de dados além do cabeçalho.” F2, a instrução de gravação, diz: “Depois do carregamento, revê a pré-visualização e escolhe Confirmar para gravar.”
F0 é um manual v1 identificado como arquivo. Nesse documento antigo, o separador era vírgula e o limite era 5000 registos. Nenhuma destas fontes explica o tratamento de duplicados. O dossier também não contém um registo de execução do ficheiro do utilizador.
Estes textos são inventados para o exercício. Não descrevem um produto real nem uma importação realizada.
| Afirmação da resposta | Evidência disponível | Resultado da revisão |
|---|---|---|
| CSV em UTF-8 | F1 confirma a codificação | Suportada para o contexto do exercício |
| Separador por vírgulas | F1 indica ponto e vírgula; F0 é arquivo | Contradiz a versão em vigor |
| Até 5000 registos | F1 limita a 1000 registos de dados | Contradiz a versão em vigor |
| Remove duplicados automaticamente | O dossier não descreve esse comportamento | Informação insuficiente |
| Grava automaticamente após carregar | F2 exige pré-visualização e confirmação | Contradiz a instrução de gravação |
| O ficheiro já foi importado | Não existe evidência dessa execução | Ação não confirmada |
Há informação correta na resposta, mas isso não permite aceitá-la inteira. O limite antigo explica uma possível origem do erro; não prova que foi essa a causa técnica. Para atribuir a causa, terias de observar o que o assistente efetivamente consultou.
Como distingues uma resposta suportada de uma resposta completa?
Uma resposta pode conter apenas afirmações sustentadas e ainda omitir informação necessária para agir. Confere, por isso, duas dimensões: se o que foi dito tem apoio e se ficaram de fora condições importantes. A qualidade da fonte também precisa de revisão, porque reproduzir fielmente um documento desatualizado não garante uma resposta atual.
Imagina que corriges a resposta para “usa CSV em UTF-8 com até 1000 registos”. A frase está alinhada com parte de F1, mas continua a omitir o separador exigido. Se a pergunta era como preparar o ficheiro, essa omissão pode impedir o leitor de concluir a tarefa.
Se acrescentares o separador e esqueceres a confirmação de gravação, o leitor pode interpretar o carregamento como conclusão. F2 descreve uma condição que precisa de acompanhar a orientação.
A Microsoft distingue a avaliação de suporte ao contexto, ou groundedness, da avaliação de completude da resposta. A primeira verifica a relação com o contexto; a segunda procura informação importante em falta face ao resultado esperado. A documentação dos avaliadores RAG apresenta essa separação.
Podes usar a distinção numa revisão manual sem contratar um serviço de avaliação. Pergunta: “Cada afirmação está apoiada?” e, depois, “Falta alguma condição necessária para responder à pergunta?” São verificações complementares.
Confere ainda se as fontes correspondem à versão, data e âmbito do pedido. Um documento pode ser autêntico e estar corretamente citado, mas já não ser a referência aplicável. Quando não consegues resolver essa diferença, mantém a incerteza explícita em vez de escolher a versão que torna a resposta mais fácil.

Que pedido podes usar para rever a resposta com a IA?
Pede uma comparação entre afirmações e passagens, com estados de verificação claros. Fornece a pergunta, a resposta e as fontes autorizadas. Indica como tratar documentos antigos e informação ausente. Usa o resultado como apoio à revisão e confere as correspondências decisivas antes de aceitar a versão corrigida ou executar uma ação.
Podes adaptar este pedido ao teu caso:
Revê a resposta abaixo apenas com as fontes fornecidas. Separa as afirmações que podem ser verificadas. Para cada uma, identifica a fonte e a passagem relevante, ou assinala que falta evidência. Distingue suportada, contradita e informação insuficiente. Trata F0 como arquivo e F1/F2 como referências aplicáveis neste exercício. Verifica também condições importantes que a resposta omitiu. Não transformes ausência de informação em prova de falsidade. No fim, propõe uma resposta corrigida, preservando as dúvidas e sem afirmar ações executadas sem registo.
Este pedido não elimina erros por si. A IA pode associar uma frase à passagem errada ou ignorar uma condição. O valor está em tornar a comparação visível e mais fácil de conferir.
No exercício, a resposta corrigida deveria orientar para UTF-8, ponto e vírgula e até 1000 registos de dados além do cabeçalho. Deveria também indicar a pré-visualização e a confirmação antes da gravação. O tratamento de duplicados ficaria por confirmar, assim como a alegada importação do ficheiro.
Se a revisão produzir um número de linha ou uma citação que não encontras, volta ao documento original. Não aceites uma nova referência só porque apareceu numa tabela organizada.
Quando a fonte não está acessível ao assistente, fornece um excerto autorizado com contexto suficiente ou mantém a verificação pendente. Referir o nome de um ficheiro não comprova que o seu conteúdo foi consultado.
Como verificas a cobertura real das fontes consultadas?
Identifica que parte do arquivo foi efetivamente examinada e que informação ficou fora. Uma resposta apoiada em dois documentos não deve apresentar-se como uma revisão de toda a biblioteca. Pede referências concretas e compara a cobertura com a pergunta, sobretudo quando existem versões, anexos ou exceções distribuídos por vários ficheiros.
Se o assistente consultou apenas F0, o problema pode começar antes da redação: recebeu ou recuperou a fonte errada. Se consultou F1 e mesmo assim escreveu 5000, a divergência aparece entre o contexto disponível e a resposta. Estas situações pedem correções diferentes.
Essa distinção exige evidência. Uma hipótese sobre o que aconteceu não equivale a um registo da consulta. Quando a ferramenta disponibiliza resultados de pesquisa ou chamadas a fontes, usa-os para conferir o material recebido. Quando não disponibiliza, declara essa limitação.
Também não basta desligar a pesquisa web para concluir que toda a resposta veio dos teus ficheiros. O texto pode incluir informação aprendida pelo modelo ou inferências que não aparecem na fonte. Continua a ser necessário comparar as afirmações.
Para perguntas atuais, separa três coisas: a ferramenta pode pesquisar, pesquisou realmente e encontrou uma fonte que sustenta a conclusão. Ter a capacidade de pesquisa não demonstra que foi usada naquela resposta.
Se estes problemas se repetem, revê a organização da biblioteca. O guia sobre construir uma base de conhecimento para um assistente ajuda a trabalhar versões, cobertura e lacunas. A melhoria da fonte complementa a revisão da resposta, mas não a torna dispensável.
O que fazes depois de encontrar uma afirmação sem suporte?
Decide o tratamento de acordo com o efeito da afirmação: corrigir uma contradição, procurar uma fonte em falta, retirar uma conclusão excessiva ou adiar uma ação. Mantém a ligação ao erro original e regista a alteração. A resposta final deve ser utilizável, com as dúvidas relevantes identificadas junto da orientação a que se aplicam.
No exercício, o separador e o limite podem ser corrigidos com F1. A gravação automática é corrigida com F2. A remoção de duplicados exige informação adicional. A alegação de importação concluída deve ser retirada enquanto não existir evidência da execução.
Não escondas a pendência numa frase genérica no fim, como “confirma sempre tudo”. Explica qual é a informação em falta: “Estas fontes não confirmam se a aplicação remove duplicados.” O leitor consegue então decidir o próximo passo.
Se for necessário testar um comportamento, define uma amostra fictícia e o resultado esperado antes de usar dados de trabalho. Para duplicados, por exemplo, terias de especificar o que conta como o mesmo registo e observar o destino. O artigo sobre testar um workflow antes de o ativar desenvolve essa preparação.
Uma confirmação de execução também precisa de corresponder ao objeto certo. Um resultado antigo, outro ficheiro ou uma mensagem de que a operação começou não comprovam que o ficheiro atual foi gravado como esperado.
Guarda a correção num registo curto: afirmação original, fonte aplicável, resultado da conferência e resposta revista. Isso permite reutilizar a aprendizagem sem guardar conversas inteiras ou dados pessoais desnecessários.
Como crias um teste para evitar que o erro volte?
Transforma o erro observado num caso de teste com entrada, fontes, pergunta e critérios de aceitação. Inclui também uma pergunta cuja resposta não esteja no dossier. O assistente deve preservar essa lacuna. Repete a avaliação quando alterares instruções, fontes ou ferramenta e compara resultados concretos, sem prometer que uma amostra elimina todos os erros.
Para Lista Clara, podes guardar três perguntas. A primeira pede o formato e o limite atuais; a resposta tem de usar F1. A segunda pergunta se os duplicados são removidos; a resposta tem de reconhecer a ausência de informação. A terceira pergunta se o ficheiro já foi importado; não pode afirmar execução sem prova.
Acrescenta um caso em que F0 e F1 aparecem juntos. O critério é usar a versão em vigor, reconhecendo que a antiga descreve outra situação. Isso testa um conflito concreto, em vez de avaliar apenas perguntas fáceis com uma única fonte.
Avalia também as omissões. Uma resposta que acerta no limite mas esquece o separador não deve passar o caso de preparação do ficheiro. Uma resposta que descreve a confirmação de gravação como opcional contradiz F2.
Se usares outro modelo como avaliador, confere uma amostra das classificações. A avaliação automática também pode falhar. Não trates uma nota ou percentagem como garantia de verdade, nem extrapoles o resultado de quatro perguntas para todas as utilizações do assistente.
O objetivo é teres um conjunto de exemplos que exponha as falhas relevantes e permita acompanhar as correções. Uma dúvida bem identificada é mais útil do que uma resposta aparentemente completa que te leva a agir sobre uma condição inventada.
Como podes aprender a verificar assistentes no Laboratório da IA?
No Laboratório da IA, podes trabalhar assistentes com fontes identificadas, tarefas concretas e critérios de revisão. As aulas semanais e os Zooms de acompanhamento semanais ajudam-te a perceber o que a resposta sustenta, onde faltam dados e como testar o comportamento antes de o integrar num processo de trabalho.
Este guia aproveita unidades revistas do curso sobre limitações e referências, de Roberto Cortez sobre cobertura de arquivos e pesquisa atual, de João Carvalho sobre fontes e lacunas de assistentes e de Sara e Márcia sobre validação de passagens no NotebookLM.
Lista Clara e os seus manuais são um exercício editorial fictício. Podes aplicar a mesma tabela a uma resposta do teu trabalho, usando apenas fontes que tenhas autorização para partilhar. Começa por uma decisão concreta e traz a afirmação que precisas de confirmar, juntamente com a informação disponível.
Aprende a construir isto no Lab.
Trabalha o processo com aulas, materiais e acompanhamento. Leva o que estás a construir e esclarece as dúvidas da tua implementação.
- Comparar afirmações com passagens e distinguir suporte, contradição e informação insuficiente.
- Preservar condições, verificar cobertura e exigir evidência das ações alegadas.
- Testar assistentes nas aulas semanais e nos Zooms de acompanhamento semanais do Laboratório.
Aulas semanais para aprender e aplicar. Zooms de acompanhamento semanais para esclarecer dúvidas. Replay e materiais para retomar o trabalho ao teu ritmo.
Entrar no Laboratório da IA