Em 2024, um cliente perguntou ao chatbot de atendimento de uma companhia aérea canadense se ele podia solicitar uma tarifa de luto depois da viagem, não antes. O chatbot respondeu que sim, dentro de 90 dias. Era mentira — a política real da empresa exigia o pedido antes da viagem —, mas o cliente seguiu a instrução, comprou a passagem no valor cheio e depois pediu o reembolso da diferença. A empresa negou. O caso foi a um tribunal, e a defesa da companhia aérea foi notável: o chatbot seria “uma entidade legal separada”, responsável pelas próprias respostas. O tribunal rejeitou o argumento em poucas linhas — tudo o que está no site de uma empresa, incluindo o que um chatbot diz, é responsabilidade da empresa — e determinou a indenização.
A tentação é ler esse caso como “erro de tecnologia”. Não foi. A tecnologia funcionou exatamente como projetada: um modelo de linguagem gerou a resposta estatisticamente mais plausível para a pergunta, sem nenhum mecanismo que a impedisse de inventar uma política que não existe. O erro real foi anterior — ninguém desenhou o que aconteceria quando o chatbot chegasse numa pergunta fora do que ele sabia responder com certeza.
Por que um modelo não sabe quando está errado
Um modelo de linguagem não consulta um banco de políticas da empresa antes de responder. Ele prevê a sequência de palavras estatisticamente mais provável, com base em padrões do texto em que foi treinado. Para perguntas comuns, isso quase sempre produz uma resposta correta, porque a resposta certa também é a mais frequente nos dados. O problema aparece exatamente na exceção — a tarifa de luto pedida fora do prazo, o cliente com um caso que não se encaixa em nenhum roteiro padrão — porque ali não existe um padrão dominante nos dados de treino para o modelo repetir. Ele responde de qualquer forma, com a mesma fluência e a mesma confiança de uma resposta correta. Não existe, na arquitetura do modelo, um sinal interno equivalente a “eu não tenho certeza disso” que dispare antes de gerar o texto.
É essa característica — fluência constante, confiança constante, independente de estar certo ou errado — que torna a alucinação de um modelo mais perigosa do que o erro de um funcionário humano. Um atendente inseguro hesita, avisa que vai confirmar, escala a dúvida. Um modelo não hesita: ele completa a frase com a mesma naturalidade tanto quando está certo quanto quando está inventando uma política que nunca existiu.
IA executa, humano responde
Essa é a distinção que deveria orientar qualquer processo de atendimento, financeiro ou operacional que incorpore IA: a IA executa a tarefa dentro do que já está mapeado e validado; o humano responde pela exceção, pelo caso ambíguo e pelo risco reputacional que o modelo não tem como avaliar. Não é uma regra de compliance para satisfazer o jurídico — é desenho de produto. O ponto em que um humano assume não pode ser algo que a empresa decide depois que o problema já aconteceu; precisa ser desenhado no primeiro dia, junto com o fluxo principal, não como um apêndice de contingência.
Como argumenta João Paulo Batistella, executivo de inovação com passagens por Ericsson, Telefônica/Vivo e CEO da EISA por cinco anos, todo processo de contato com cliente construído sobre IA precisa prever, desde a concepção, o momento em que um humano assume — a IA precisa de tutela, e os casos de falha devem ser desenhados antes de o sistema entrar em produção, não descobertos depois de um cliente processar a empresa. Num atendimento de saúde urgente, por exemplo, um chatbot que não sabe escalar para um humano não é só ineficiente — é uma falha de segurança. A mesma lógica vale, com menos gravidade mas o mesmo princípio, para qualquer processo de alto risco reputacional: um relatório trimestral a acionistas redigido por IA sem revisão humana carrega o mesmo tipo de exposição que o chatbot da companhia aérea — uma resposta fluente, confiante, e possivelmente errada, saindo em nome da empresa sem ninguém checar antes.
Três perguntas para saber onde fica o botão de pânico
Nem todo processo com IA precisa do mesmo nível de tutela humana. Um sistema de recomendação de produtos erra sem grande consequência; um chatbot que promete reembolso ou um relatório que vai para o conselho, erra com consequência real. Três perguntas ajudam a separar os dois casos antes de colocar qualquer processo em produção:
1. Se o modelo responder errado, a decisão é reversível? Uma recomendação de produto errada custa um clique perdido. Uma promessa de reembolso ou uma informação de política de cancelamento errada já saiu como compromisso da empresa perante o cliente — reverter exige negociação, ou um tribunal, como no caso da companhia aérea.
2. Esse tipo de pergunta é frequente ou é a exceção que o modelo nunca viu? Modelos são bons no centro da distribuição — a pergunta que todo cliente faz — e frágeis nas bordas, exatamente onde o caso de luto, o cliente com uma situação atípica ou a cláusula contratual pouco comum aparecem. Processos que lidam com casos de borda com frequência (jurídico, saúde, financeiro) precisam de tutela humana por padrão, não por excepcionalidade.
3. Quem, de fato, assume quando o modelo chega no limite? “Escalar para um humano” não é resposta se não existe uma pessoa real, com tempo real, de prontidão real, para assumir naquele momento. Um botão de pânico que existe só no fluxograma do projeto e não na escala de trabalho de ninguém não é um botão de pânico — é um documento de intenção.
Se a resposta às três perguntas apontar para alto risco, alta frequência de exceção e nenhum humano de prontidão real, o processo não está pronto para operar só com IA — está pronto para operar com IA assistindo um humano, não substituindo ele.
O botão de pânico é caro. O processo sem ele é mais caro
Desenhar o ponto de escalação humana tem custo — treinar quem assume, definir critério de quando assumir, manter gente disponível para casos que, na maioria dos dias, não vão acontecer. É tentador cortar esse custo justamente porque ele parece redundante quando tudo está funcionando. O problema aparece só no dia em que não está — e nesse dia, o custo de não ter desenhado a exceção é sempre maior do que o custo de ter mantido a estrutura pronta. A companhia aérea economizou o custo de um processo de escalação claro por meses; pagou o preço numa sala de tribunal, e pagou de novo em reputação, numa escala que nenhuma indenização cobre.
Acompanhe a Eleva Tecnologia para mais análises sobre tecnologia aplicada a negócios: siga @ElevaTechno no X ou @elevatechnologies no Instagram, ou conheça o grupo em elevatec.net/sobre.
