Um GPT responde bem a uma pergunta preparada pelo seu criador. Isso ainda não mostra como ele vai se comportar quando um colega omitir o período, partir de uma premissa errada ou pedir uma conclusão que a fonte não sustenta.
Antes de compartilhar o GPT com a equipe fiscal, teste essas situações de forma repetível. O objetivo é avaliar a qualidade das respostas e o encaminhamento das dúvidas. As instruções de conexão e configuração ficam no guia de ChatGPT da FonteIA.
Escolha perguntas que representem o trabalho da equipe
Reúna dúvidas recorrentes de suporte, análise fiscal ou preparação de requisitos. Use casos sem dados pessoais ou informações sigilosas desnecessárias. Para cada pergunta, registre o contexto disponível, o comportamento esperado e a pessoa que pode avaliar a resposta.
O resultado esperado não precisa ser uma frase idêntica ao modelo. Em muitos casos, a resposta adequada é pedir uma informação que falta ou explicar por que ainda não há fundamento suficiente para concluir.
- Caso e finalidade: qual decisão o usuário pretende apoiar?
- Contexto: operação, documento, período e demais condições relevantes para a pergunta.
- Evidência esperada: qual fonte pode sustentar a análise e o que ela não resolve?
- Critério de aceite: o que a resposta deve fazer antes de ser encaminhada?
- Conectar o ChatGPT à FonteIA: guia de configuração e acesso para preparar o ambiente de uso.
Teste uma pergunta incompleta
Exemplo hipotético: “Já preciso mudar a emissão?”. A pergunta não identifica qual documento, operação ou período está em análise. Avalie se o GPT pede o contexto necessário antes de apresentar uma orientação aplicável ao caso.
Reprove o caso se a resposta escolher silenciosamente um documento ou uma data. Uma resposta pode explicar as informações que faltam e apresentar caminhos de pesquisa, desde que não transforme uma suposição em conclusão.
Repita o teste com uma versão mais completa da pergunta. Confira se o GPT usa as informações acrescentadas, sem continuar respondendo a uma situação genérica.
Teste uma premissa errada e uma evidência insuficiente
Monte um caso em que a pergunta atribui a uma fonte uma conclusão que ela não traz. Por exemplo: “Esse documento confirma que a mudança vale para todas as operações?”. O avaliador deve conhecer previamente o recorte do documento usado no teste.
A resposta passa quando identifica a premissa que não está sustentada e delimita o que pode ser afirmado. A presença de um link não basta: o trecho citado precisa apoiar a afirmação correspondente.
Em outro caso, forneça contexto para uma pergunta que o material consultado não resolve. O GPT deve mostrar a lacuna e indicar o que precisa ser conferido. Falta de evidência retornada não significa inexistência de regra ou obrigação.
- Premissa errada: a resposta corrige o pressuposto ou apenas concorda com o usuário?
- Evidência insuficiente: a lacuna aparece de forma compreensível?
- Encaminhamento: a resposta indica qual informação ou revisão falta, sem inventar uma fonte?
Verifique se o GPT extrapola o alcance da fonte
Use um material que trate de um recorte definido e peça uma resposta mais ampla. Esse teste verifica se o GPT diferencia o conteúdo da fonte, sua interpretação e uma hipótese apresentada pelo usuário.
Um cenário hipotético de avaliação é uma orientação restrita a determinado ambiente sendo usada para justificar uma mudança geral no ERP. A resposta deve preservar a restrição. O exemplo é um roteiro de teste, não uma afirmação sobre uma obrigação tributária específica.
Confira também se as limitações continuam visíveis na versão curta que um colega copiaria para um chamado. Uma ressalva presente apenas na explicação longa pode desaparecer no uso cotidiano.
- Checklist de confiabilidade das respostas tributárias: critérios gerais para conferir afirmações, fontes e limites.
Defina o que permite compartilhar e o que exige correção
Registre cada caso como aprovado, reprovado ou pendente de análise, com o motivo e a resposta recebida. A decisão de compartilhar deve considerar o conjunto de situações relevantes para a equipe, sem transformar um número arbitrário de acertos em garantia de segurança.
Uma referência inventada, uma limitação omitida ou uma orientação operacional sem fundamento exige correção e nova avaliação dos casos afetados. Uma redação diferente pode ser aceitável se preservar o significado e as condições.
Depois de compartilhar, mantenha um responsável pelos relatos de erro e pela repetição dos testes quando as instruções, a integração ou as fontes utilizadas mudarem. O GPT apoia a pesquisa; a decisão fiscal, contábil ou jurídica continua dependendo da revisão do caso.
- A resposta utiliza o contexto realmente informado?
- As afirmações podem ser conferidas nas referências apresentadas?
- Perguntas incompletas geram pedidos de contexto pertinentes?
- Limitações e hipóteses permanecem visíveis no texto encaminhado?
- A equipe sabe quem revisa os casos que alteram procedimentos?
Perguntas frequentes
Um bom resultado em uma pergunta basta para compartilhar o GPT?
Não. Avalie situações representativas, incluindo perguntas incompletas, premissas erradas e falta de evidência. Um caso bem-sucedido não mostra o comportamento nas demais situações.
O GPT deve responder a todos os casos do teste?
Não. Pedir contexto ou reconhecer uma lacuna pode ser o resultado correto. O critério é preservar o fundamento e encaminhar adequadamente a dúvida.
Quando repetir a avaliação?
Quando houver mudança relevante nas instruções, na integração, nas fontes usadas ou relatos de erro. Repita os casos afetados e os que verificam comportamentos essenciais para a equipe.
Quem deve aprovar o uso na rotina fiscal?
A equipe deve definir um responsável capaz de conferir o contexto e o fundamento das respostas. Compartilhar o GPT não dispensa a revisão das decisões fiscais, contábeis ou jurídicas.