A primeira das armadilhas já é clara e conhecida. “Alucinação” é o nome que damos para quando um modelo de inteligência artificial generativa comete um erro, mas ainda entrega a resposta de forma confiante ou inventando os próprios dados, fatos e fontes.

Existe uma chance de uma alucinação acontecer toda vez que se utiliza a IA. Ao solicitar a fonte de artigos na web, pesquisadores da Terzo encontraram taxas de alucinação de 37% a 94% entre os modelos. Tudo depende do cenário, claro, mas cerca de 30% das companhias já sofreram as consequências da alucinação.

É possível evitar estes erros? Por enquanto, no cenário de constante evolução da tecnologia, as alucinações ainda são um risco tomado em qualquer operação otimizada por IA. Para mitigá-lo, é essencial o conhecimento aprofundado da IA, a checagem manual de fatos e o olhar para os outros riscos.

Segundo nosso especialista convidado, Danilo Custódio, o gestor, líder ou empreendedor que investe na adoção de IA deve ficar atento também a:

Narrativas convincentes,
Delegação de critério,
O viés de confirmação algorítmica,
O efeito Dunning-Kruger assistido por IA.
O executivo, CEO da Mirante Tecnologia com mais de 20 anos de experiência em IA, detalha:

2. Raciocínio coerente, mas sem veracidade
Segundo Danilo, a interação frequente com sistemas de IA generativa pode criar uma sensação de robustez intelectual, levando profissionais a confiar em narrativas convincentes, mas que podem ter sido construídas sobre premissas frágeis.

“A tecnologia consegue construir um raciocínio extremamente coerente e uma linguagem confiante. O problema é que coerência narrativa não garante veracidade. A IA não raciocina no sentido humano, mas sim prevê padrões linguísticos plausíveis. E plausibilidade não é verdade”, alerta.

Nesse sentido, os modelos generativos tendem a expandir a lógica da pergunta apresentada, mesmo quando a ideia inicial está equivocada.

“Se a pergunta já parte de um pressuposto errado, a IA normalmente não vai questionar. Ela constrói uma explicação plausível a partir dali. O resultado pode parecer uma análise estratégica sólida, quando na verdade está sustentada por uma base frágil”, explica.

3. Decisão terceirizada – o que não pode acontecer
“Se a segunda armadilha é a estrutura do pensamento convincente, a terceira é ainda mais silenciosa: transferir o critério de julgamento para a IA”, diz o CEO.

Com o uso recorrente da tecnologia, empresas podem passar a delegar critérios de julgamento às ferramentas de IA sem perceber, seja em processos de recrutamento, análise de relatórios ou validação de estratégias.

Danilo alerta que, quando empresas delegam critérios, três coisas acontecem.

“Primeiro, a empresa começa a decidir com base em critérios implícitos, não conscientes. Segundo, aos poucos, passa a refletir o padrão estatístico da IA, não sua cultura real. E por fim, tem falsa objetividade. Delegar critério é delegar julgamento. E o julgamento é função executiva”, diz.

4. Validação constante que cria câmara de eco
A cooperação das ferramentas é a quarta armadilha. Como os modelos generativos são treinados para colaborar com o usuário, eles tendem a expandir ideias apresentadas nas perguntas e raramente as confrontam.

“Esse comportamento reforça a sensação contínua de que você está no caminho certo”, afirma Danilo.

“Eu chamo isso de ilusão de robustez intelectual assistida. Você apresenta uma tese e a IA organiza, aprofunda e refina, dando a sensação de que a tese é forte. Mas talvez ela nunca tenha sido tensionada. Dessa forma, a IA pode se tornar uma câmara de eco sofisticada. Como líderes já têm um risco natural de isolamento cognitivo, a tecnologia pode acabar amplificando isso”.

5. Elevação da performance, mas não da maturidade
Por fim, há a aceleração do efeito Dunning-Kruger. Conforme o CEO, o efeito descreve que quanto menos uma pessoa sabe sobre um tema, maior tende a ser sua confiança inicial. Com a IA, que reduz o atrito para produzir explicações sofisticadas, surge o Dunning-Kruger assistido por IA.

“Qualquer pessoa pode ter uma opinião sofisticada, mas não domínio. Domínio envolve experiência, fracasso, contexto, julgamento sob pressão. E a IA entrega linguagem. Se não houver maturidade, confundimos linguagem com conhecimento”, afirma.

“A tecnologia é extremamente poderosa e pode melhorar muito a qualidade das decisões. Mas isso só acontece quando líderes mantêm o pensamento crítico e usam a IA como apoio analítico, não como substituto do julgamento”, diz Danilo, que sinaliza que a saída não é usar menos IA, mas sim desenvolver mais maturidade intelectual para usá-la. “A tecnologia não é perigosa porque erra. Ela é perigosa porque erra com convicção.”