IA sempre muito bajuladora repete o erro das redes sociais, só que pior

Pedir para qualquer IA avaliar meus textos é sempre uma experiência agradável. Ela até sugere uma coisa aqui, outra ali, mas criticar duramente? Nunca.

Os comentários são sempre acompanhados de elogios, mesmo quando eu sei que naquele conteúdo tem problemas. Esse comportamento tem nome: sycophancy, em inglês, ou simplesmente bajulação, em português.

E não se trata de uma peculiaridade do modelo que eu uso, mas um padrão sistemático em todos os chatbots comerciais usados no dia a dia.

Josias de SouzaBoca-livre dos jatos iguala políticos de todos os lados

Boca-livre dos jatos iguala políticos de todos os lados

Milly LacombeSão Paulo se perde, se acha e faz bonito em casa

São Paulo se perde, se acha e faz bonito em casa

SakamotoPrefeitura de SP vence batalha na guerra dos apps

Prefeitura de SP vence batalha na guerra dos apps

Sylvia ColomboDelcy tenta chegar à Casa Branca de Donald Trump

Delcy tenta chegar à Casa Branca de Donald Trump

Na semana passada, pesquisadores de Stanford publicaram um estudo na revista Science investigando exatamente esse fenômeno em larga escala. E os resultados encontrados são preocupantes.

Os pesquisadores testaram 11 modelos de IA, incluindo ChatGPT, Gemini e Claude, em milhares de situações em que pessoas pediam conselhos sobre conflitos interpessoais, dilemas morais e até comportamentos claramente errados.

O que eles queriam saber era se a IA questionava a posição do usuário. E os resultados mostram que a IA concordou com o usuário 49% mais do que outros humanos fariam nas mesmas situações.

Num experimento usando posts do fórum Reddit, em que os membros da comunidade já haviam consensualmente apontado que o usuário estava errado, a IA deu razão para ele em 51% dos casos. Isso incluiu situações de engano, ilegalidade e dano a outras pessoas.

E tem um detalhe ainda mais sensível. Quanto mais bajuladora a IA, mais as pessoas confiam nela e querem voltar. Afinal, quem gosta de ser questionado e afrontado o tempo todo?

Esse é um comportamento que não surgiu do nada. É o efeito colateral do próprio desenvolvimento da IA.

Os modelos são treinados para gerar respostas que os usuários classificam como "boas". E, como gostamos de ser elogiados, então o modelo aprende a responder de um jeito que acolhe, concorda e elogia.

Só que as empresas de IA estão indo além dessa consequência do treinamento e implementando estratégias de design para aumentar o nosso uso. Basta observar uma mudança sutil.

Antes, a IA respondia o que você perguntava e parava ali. Agora, ela sempre termina propondo novas interações: "quer saber mais sobre esse tema?", "quer que eu adapte esse texto para as redes sociais?".

A bajulação te faz querer ficar, enquanto o design de interação garante que você fique.

Já vimos esse roteiro antes com as redes sociais. No começo, ninguém tinha noção dos efeitos da tecnologia na sociedade. Aos poucos, porém, os algoritmos foram aprendendo que raiva e indignação geram engajamento e passaram a privilegiar esse tipo de conteúdo.

Não é por menos que a palavra "Rage Bait" já foi a palavra do ano. Ao mesmo tempo, as próprias plataformas foram abusando de técnicas de design manipulativo para não deixar o usuário sair, como exemplo do scroll infinito e notificações compulsivas.

Levamos mais de duas décadas para entender o estrago e, quando entendemos, as plataformas já tinham bilhões de usuários dependentes, e o estrago estava feito.

O processo regulatório em curso em tantos países e a condenação recente da Meta são provas de que essas escolhas têm consequências reais para as pessoas.

Só que com a IA pode ser ainda pior. As redes sociais validam de forma passiva, pelo like, pelo feed, pelo algoritmo que entrega o que acreditamos.

A IA é diferente. Ela conversa com a gente. Argumenta, reconforta e nos convence por meio de um discurso coerente e sedutor.

E este mesmo estudo mostra que mesmo quando o usuário sabe que está falando com uma IA, o efeito persiste. Neste caos, nem mesmo a nossa consciência parece nos proteger.

E o dano não é hipotético, mas bem real. Basta uma única interação com uma IA bajuladora para reduzir a disposição das pessoas em reconhecer o próprio erro.

Como alguém apaixonado pela ciência cognitiva, esse efeito me preocupa de uma forma especial.

A autocorreção é uma característica fundamental do pensamento crítico. Se enfraquecemos isso, enfraquecemos a nossa habilidade de revisar crenças e aprender com nossos próprios erros.

E, assim, talvez acabemos perdendo parte da capacidade de questionar o efeito da tecnologia na nossa própria vida.

Texto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados.

** Este texto não reflete, necessariamente, a opinião do UOL.

O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.

Botafogo vira sobre o Vasco e se afasta da zona de rebaixamento

Bolão do DF e 3 apostas de SP acertam Dupla de Páscoa e levam R$ 10 mi cada

Três apostas de SP, MG e SC acertam Lotofácil e levam cada R$ 1,6 milhão

Em noite iluminada, Ferreirinha faz três, e São Paulo goleia o Cruzeiro

Eduardo ataca Nikolas, e Flávio pede união: 'Todo mundo sai perdendo'

© UOL