Como verificar uma resposta da IA antes de estudar por ela

Uma resposta de IA pode estar errada sem parecer errada.

Ela chega organizada, assertiva, com termos técnicos no lugar e uma referência no fim. O formato cria uma sensação de prova antes de você ter visto prova alguma. Se essa resposta entra no seu resumo, vira flashcard ou orienta a revisão da prova, o erro ganha uma segunda vida: você deixa de conferir a origem e começa a praticar a versão gerada.

O problema não se resolve com “confie menos na IA”. Resolve-se com uma decisão verificável.

O método deste artigo vale para qualquer ferramenta, inclusive para o Chat do Archi: antes de reutilizar uma afirmação que importa, você precisa conseguir rastrear de onde ela veio, até onde a fonte sustenta o que foi dito e o que fazer quando a resposta excede a evidência.

O que merece verificação — e o que não merece

Você não precisa abrir três artigos para conferir se a IA corrigiu uma vírgula. Verificar tudo com a mesma intensidade tornaria a ferramenta mais lenta do que a tarefa.

Concentre o esforço nas afirmações consequenciais:

• números, porcentagens e comparações;
• causas e mecanismos apresentados como certos;
• recomendações, regras ou sequências que você pretende seguir;
• referências bibliográficas;
• informação que vai entrar em resumo, flashcard, questão ou material compartilhado;
• qualquer conteúdo que encoste em decisão clínica ou em dados de uma pessoa.

O NIST AI 600-1 chama de confabulação o risco de um sistema generativo apresentar conteúdo falso ou errado com confiança. A OMS faz um alerta parecido para usos em saúde: aparência de autoridade não substitui avaliação, transparência e supervisão adequada.

Isso não significa que toda resposta esteja errada. Significa que o tom da resposta não diz se ela está certa.

RASTRO: seis passos antes de estudar pela resposta

RASTRO é um método editorial proposto pela ArchiMeds. Ele não foi validado como instrumento de pesquisa e não garante correção. Sua função é mais simples: transformar confiança vaga em uma trilha que você consegue inspecionar.

O diagrama funciona como mapa mnemônico. Para aplicar o método sem depender da imagem, siga esta sequência completa:

1. R — Recorte

   • Ação: isole a afirmação que muda sua decisão.
   • Pergunta de controle: o que, exatamente, eu estou prestes a aceitar?
   • Evidência mínima: uma frase verificável, sem juntar três ideias.

2. A — Ache

   • Ação: abra a fonte original.
   • Pergunta de controle: A fonte original existe e leva ao documento certo?
   • Evidência mínima: página, artigo, diretriz ou material real e localizável.

3. S — Sustenta?

   • Ação: leia o trecho relevante.
   • Pergunta de controle: a fonte afirma isso ou apenas fala do mesmo tema?
   • Evidência mínima: um trecho que preserva relação, condição e grau de certeza.

4. T — Tempo e contexto

   • Ação: confira data, versão, população e cenário.
   • Pergunta de controle: a evidência vale para esta pergunta?
   • Evidência mínima: escopo compatível e atualidade suficiente para a consequência.

5. R — Reconfirme

   • Ação: compare quando o risco ou a incerteza pedir.
   • Pergunta de controle: outra fonte independente muda a conclusão?
   • Evidência mínima: confirmação, conflito explícito, incerteza preservada ou não se aplica com motivo.

6. O — Opte

   • Ação: feche a decisão.
   • Pergunta de controle: vou usar, corrigir ou descartar?
   • Evidência mínima: fonte, data, limite e decisão registrados.

A ordem importa. Pedir outra resposta à mesma IA antes de abrir a primeira fonte pode produzir uma explicação mais convincente do mesmo erro. Outra resposta do mesmo sistema também não conta como confirmação independente.

Um exemplo sintético: a fonte existe, a estatística não

Considere esta resposta inventada para o exemplo:

EXEMPLO FICTÍCIO — não é um dado nem uma conclusão do NIST.

“Resumos médicos gerados por IA estão corretos em 98% dos casos. Fonte: NIST AI 600-1.”

Nenhuma pessoa disse isso. Nenhum produto foi testado aqui. A frase serve apenas para mostrar um defeito comum: anexar uma fonte real a uma afirmação que a fonte não sustenta.

R — Recorte

A afirmação consequencial não é “a IA pode resumir”. É:

AFIRMAÇÃO FICTÍCIA EM AUDITORIA — não é um dado nem uma conclusão do NIST.

“Resumos médicos gerados por IA estão corretos em 98% dos casos.”

Ela contém um número, uma população implícita, um tipo de tarefa e uma promessa de desempenho. Cada peça precisaria de método: quais modelos, quais resumos, qual definição de “correto”, quem avaliou e em que condições.

A — Ache

O documento existe. É o perfil de gerenciamento de riscos de IA generativa do NIST.

Primeira lição: achar o documento não valida a frase. Só prova que a referência não foi inteiramente inventada.

S — Sustenta?

O NIST AI 600-1 discute riscos como confabulação e recomenda revisar e verificar fontes e citações. Ele não apresenta, nesse documento, um benchmark dizendo que “resumos médicos” têm 98% de correção.

A citação é real. O suporte é falso.

T — Tempo e contexto

Mesmo que existisse um estudo com “98%”, ainda faltaria perguntar:

• qual ferramenta e versão foram testadas;
• qual especialidade ou tipo de texto;
• quem definiu correção;
• se o teste mediu fidelidade à fonte, utilidade pedagógica ou precisão factual;
• se o resultado continua aplicável hoje.

Um número sem esse contexto não fica mais confiável por ganhar duas casas decimais.

R — Reconfirme

Neste caso, a fonte principal já falhou no teste de suporte. Você não precisa procurar uma segunda fonte para salvar a estatística. Se o número for importante para uma decisão, procure uma avaliação independente desenhada para essa pergunta. Se ela não existir, preserve a ausência.

O — Opte

• Descartar: “98% dos casos”.
• Não substituir: não invente outro percentual “mais realista”.
• Usar com fonte e escopo: sistemas generativos podem produzir conteúdo falso com confiança, e fontes/citações devem ser verificadas.

O resultado do RASTRO não é uma resposta mais bonita. É uma afirmação menor que você consegue defender.

Três maneiras de uma referência enganar sem parecer falsa

1. A fonte não existe

O título, o autor ou o DOI foi montado com peças plausíveis. Procure o título completo, o DOI e a página da publicação. Se nada resolve para o objeto citado, não use a referência.

Uma busca sem resultado não prova, sozinha, que o artigo nunca existiu. Pode haver erro de digitação ou indexação. Mas quem propôs a referência ainda precisa fornecer um caminho verificável antes que ela entre no seu estudo.

2. A fonte existe, mas não sustenta a afirmação

Esse é o defeito auditado no exemplo acima: a fonte existe, mas o trecho não sustenta a afirmação anexada a ela.

Leia o trecho. Compare sujeito, verbo e grau de certeza:

• “pode ajudar” não é “melhora”;
• “foi associado” não é “causou”;
• “nesta amostra” não é “em estudantes de medicina”;
• “o tema aparece” não é “a fonte recomenda”.

3. A fonte sustenta algo parecido, mas em outro tempo ou contexto

Uma recomendação pode pertencer a outra versão de diretriz. Um estudo pode avaliar outro país, outra fase do curso, outro modelo ou uma tarefa diferente. A frase pode continuar correta no documento e inadequada para a sua decisão.

Dois estudos ajudam a enxergar o limite. Em uma pesquisa descritiva com 201 estudantes de uma única faculdade de medicina em Blumenau, 76,6% relataram usar ChatGPT como apoio ao estudo; os próprios autores discutem qualidade das respostas, referências, ética e plágio. Isso descreve aquela amostra, não a população brasileira. Em outro estudo, com 117 estudantes do segundo ano de uma universidade japonesa e ChatGPT 3.5, participantes encontraram alucinações e precisão insuficiente em parte das tarefas. Isso informa o risco naquele contexto, não uma taxa universal de erro.

A fonte fica mais útil quando o limite viaja junto com o achado.

Como verificar sem transformar cada dúvida em uma revisão sistemática

Use uma régua de esforço.

Verificação rápida

Serve para uma explicação de baixo impacto que você ainda não vai reutilizar:

1. recorte a afirmação;
2. abra a fonte;
3. leia o trecho;
4. marque a incerteza.

Verificação completa

Use quando houver número, recomendação, causalidade, referência, material que será compartilhado ou uma afirmação que vai gerar vários cartões e questões. Faça RASTRO inteiro e guarde o registro.

Pare e procure autoridade adequada

Não continue tratando como tarefa de estudo quando a resposta envolver:

• decisão sobre paciente real;
• diagnóstico, dose, tratamento ou conduta;
• protocolo institucional em vigor;
• conflito entre diretrizes que você não consegue resolver;
• conteúdo cuja fonte você não pode acessar, mas cuja consequência é alta.

Nesses casos, uma resposta mais longa da IA não substitui supervisão qualificada, regra institucional ou fonte oficial atual.

Dados de pacientes e de terceiros não entram no atalho

A ANPD classifica dados de saúde ligados a uma pessoa natural como dados pessoais sensíveis. Retirar apenas o nome não prova que o caso deixou de ser identificável: combinação de idade, local, data, condição rara ou contexto pode continuar apontando para alguém.

Por isso, RASTRO não começa depois do upload. Ele começa antes:

• o material é seu e você pode usá-lo?
• há dado de paciente, colega, professor ou terceiro?
• a finalidade é estudo, não decisão clínica?
• existe uma versão sintética ou institucionalmente autorizada que resolve a tarefa?

Se a resposta depender de expor uma pessoa, pare. Não use um fluxo geral de IA como atalho de privacidade.

O cartão de decisão RASTRO

Copie este bloco para a próxima resposta que você realmente pretende reutilizar:

AFIRMAÇÃO EXATA

FONTE ORIGINAL
Título / autor ou órgão
Link ou DOI

SUPORTE
Qual trecho sustenta a afirmação?
O que a fonte NÃO sustenta?

TEMPO E CONTEXTO
Data ou versão:
População e cenário:
Limites:

RECONFIRMAÇÃO — quando risco ou incerteza pedir
Fonte independente consultada:
[ ] não se aplica
Motivo:
Conflito ou incerteza restante:

Outra resposta do mesmo sistema
não conta como confirmação independente.

DECISÃO
[ ] USAR
Com fonte e limite registrados.

[ ] CORRIGIR
Reescrever para caber na evidência.

[ ] DESCARTAR
Fonte ausente, incompatível ou insuficiente.

Se você não consegue responder “Qual trecho sustenta a afirmação?”, ainda não terminou a verificação.

O objetivo não é desconfiar de tudo

A IA pode ser útil para organizar perguntas, propor explicações, estruturar revisão e revelar lacunas. A UNESCO coloca agência humana, privacidade, validação e letramento em IA no centro do uso educacional. A consequência prática é simples: a ferramenta pode acelerar o caminho, mas não herda a autoridade da fonte que menciona.

RASTRO também não transforma você em revisor de toda a literatura. Ele ajuda a saber quando uma resposta já tem base suficiente para o uso pretendido, quando precisa ser menor e quando precisa sair do seu material.

A mesma disciplina vale para o que publicamos. Veja como revisamos e publicamos conteúdo: fontes, proveniência e correções precisam continuar visíveis. O método continua sendo seu mesmo que você não abra nenhuma ferramenta da ArchiMeds.

Na próxima resposta que parecer pronta para copiar, não pergunte primeiro “está certo?”. Recorte a afirmação. Abra a fonte. Veja se ela sustenta o que foi dito. Registre a decisão.

A confiança vem depois do rastro.