O Espaço é Seu

As IAs estão alucinando mais do que nunca. Aliás, faz sentido começar explicando o que é alucinação no contexto de IA. Tecnicamente, consideramos que uma inteligência artificial alucina toda vez que ela traz uma resposta fora do correto ou começa a se contradizer, sair do rumo e se perde a um nível sem retorno coerente.

Quem usa IAs de mercado como ChatGPT, Gemini e Claude no dia a dia, já deve ter se deparado com isso. Muitos ficam chateados, culpam a plataforma. No entanto, no fim das contas, é algo que faz parte do processo. É esperado que um LLM (sigla para large language model) alucine. É algo que faz parte da sua natureza como um celular esquentar enquanto está carregando. E assim como um celular que esquenta, ficamos realmente preocupados quando ele atinge uma temperatura muito alta, tornando-se impossível segurá-lo.

Mas essa taxa de alucinação parece estar ficando cada vez maior. Contudo, aprendi o clássico processo acadêmico na faculdade pública e é algo que levo para o trabalho e para a minha vida pessoal: para ter certeza de alguma coisa, temos que ter estudos conclusivos e não é a mera observação ou opinião que vale. Tem coisa que é ciência: “data beats opinion, always”. Portanto, aqui vai um disclaimer: não existe, ou pelo menos não encontrei, nenhuma pesquisa que mostre a taxa média de alucinações por modelo de IA. É bem complexo, pois é um mercado muito novo e a experiência é muito pessoal. A não ser que a própria empresa, dona do modelo, meça esse índice, fica impossível saber em porcentagem quantas vezes, a cada 100 chats, a IA alucina.

Uma empresa sediada na Estônia chamada AIMultiple fez um teste: pegou 29 LLMs diferentes e fez, para cada uma delas, 60 perguntas diferentes. Os modelos variaram de 17% de alucinação até 45% em casos mais extremos. Nesse experimento, os modelos alucinaram em 35%, na média. É como se a cada 10 perguntas que você faz para o GPT, entre 3 e 4, ele te responda algo errado. Parece fazer sentido?

Esses dias me perguntaram se eu sentia que os modelos estavam enlouquecendo mais e a resposta foi "sim”. De fato, é uma sensação generalizada para quem utiliza muito a ferramenta, mas o que está influenciando isso não são, necessariamente, os modelos. Eles não estão piores, muito pelo contrário, eles melhoram a cada versão. O que acontece é que nós estamos mais exigentes.

Se anteriormente nos impressionava um resumo de texto ou um modelo complementando algo que escrevíamos, hoje queremos mais. Um modelo top de mercado, em uma tarefa de resumo de texto, tende a alucinar em apenas de 0,6% a 4% das vezes. Agora, se pedirmos para ele trabalhar um tema jurídico, essa taxa de alucinação pode ir de 58% até 88% em casos mais extremos - foi o que constatou um estudo de Stanford com chatbots.

Quanto mais complexa a tarefa, pior a taxa de alucinação. Mas também, quanto mais refinado nosso prompt (perguntas), maior a chance de o modelo ter um retorno correto. Nosso papel como humanos é monitorar isso. Usamos uma máxima: “cuidado ao perguntar para IA uma coisa que você não sabe. Pois, quando não sabemos nada, qualquer resposta vale”. O papel de quem usa a tecnologia é não só monitorar, mas sempre garantir que estamos extraindo dados corretos, reais.

Esses dias, eu estava em um evento de IA e um dos palestrantes trouxe um estudo da Gartner que mostra quando a gen AI não é efetiva. Temos tarefas de baixa performance, como predição e decisões de inteligência. Tarefas com média performance, como segmentação, classificação e recomendações. E tarefas onde a inteligência artificial já opera bem, como geração de conteúdo, resumos e simulação de conversa para atendimento de clientes e resolução de dúvidas.

Estamos avançando em uma velocidade absurda. Já é a tecnologia com maior velocidade de adoção de toda a história da humanidade. Porém, quando falamos de sistemas autônomos, tarefas complexas e uso corporativo, ainda tem muito o que evoluir.

Bom para o mercado que segue trabalhando, desenvolvendo, investindo e, por que não, explorando e se divertindo com esse novo jeito de trabalhar.

Bruno Oliveira, COO da Adsplay

Leia o texto anterior da seção "O Espaço é Seu", aqui.

Siga o Clube nas redes sociais: Instagram, Facebook, X, LinkedIn, TikTok e YouTube (TV Clube de Criação).

Clube de Criação 50 Anos