IA entra na lógica da corrida nuclear, mas até bomba atômica tinha regras |
IA entra na lógica da corrida nuclear, mas até bomba atômica tinha regras
Uma IA tão poderosa que conseguiu escapar do ambiente isolado em que era testada, acessar a internet e ainda avisar por e-mail um pesquisador da empresa que havia saído dali. Depois, publicou detalhes sobre todas as vulnerabilidades que explorou.
Toda essa cena é parte de um teste em que a IA deveria tentar fazer exatamente isso. O caso virou manchete no mundo todo porque a empresa se recusou a liberá-la por considerar ser um grave risco de segurança para os sistemas mais sensíveis.
A empresa é a Anthropic, criadora do Claude, e o modelo se chama Mythos.
Juca KfouriComo Neymar foi hoje contra o Atlético-MG
Como Neymar foi hoje contra o Atlético-MG
Josias de SouzaDatafolha traz 2 novidades preocupantes para Lula
Datafolha traz 2 novidades preocupantes para Lula
PVCSão Paulo falhou em momentos cruciais
São Paulo falhou em momentos cruciais
Adriana FernandesPacote contra dívidas pode virar arma eleitoral
Pacote contra dívidas pode virar arma eleitoral
Em apenas um mês de testes, o modelo identificou milhares de vulnerabilidades nos principais sistemas operacionais e navegadores do mundo. Uma delas estava escondida há 27 anos num sistema projetado para ser altamente seguro. Em outro caso, um sistema havia sido varrido por outras ferramentas automatizadas 5 milhões de vezes sem que ninguém encontrasse nenhum problema. Mas o Mythos encontrou.
O que choca não é só a capacidade do Mythos em descobrir vulnerabilidades, mas também a velocidade e o baixo custo com que faz isso. Com uma única rodada de testes e um custo de US$ 50, encontrou a falha de 27 anos.
Ao longo de mil rodadas, identificou outras dezenas de vulnerabilidades críticas por menos de US$ 20 mil. Tudo isso demandaria recursos que só estados ou grandes organizações teriam condições de bancar, mas que agora passam a estar ao alcance de qualquer um com um cartão de crédito.
Mas antes de continuarmos, vale o alerta de que anúncios chocantes de empresas de IA merecem ceticismo.
Em 2019, a OpenAI manteve em sigilo o GPT-2 alegando riscos catastróficos de desinformação. Hoje sabemos que ela não demoraria muito para transformá-lo em produtos comerciais. O episódio passou a ser visto mais como uma jogada de marketing do que uma preocupação legítima.
No caso do Mythos, no entanto, há outros fatores que ajudam a calibrar um pouquinho a desconfiança.
Além de divulgar alguns indicadores mostrando o desempenho da IA em tarefas técnicas de geração de códigos de computador, a empresa também anunciou um consórcio com dezenas de outras companhias para trabalhar na prevenção e no fortalecimento da segurança dos seus sistemas. Chamado de Glasswing, o consórcio inclui concorrentes como Google, Microsoft, AWS, além de Nvidia e JPMorgan Chase, Linux Foundation, entre outras.
Outro ponto importante vai além do técnico. Ainda que haja um certo exagero, este caso escancara a necessidade de fortalecer a discussão sobre uma governança global da IA. Li uma coluna de Thomas Friedman no The New York Times que enquadrou corretamente o problema como uma questão geopolítica.
O Mythos poderia democratizar o potencial de ciberataque que antes seria uma exclusividade das grandes potências.
A saída que ele defende é a cooperação entre EUA e China para criar salvaguardas para a tecnologia, algo nos moldes do Tratado de Não Proliferação Nuclear. O consórcio da Anthropic é um primeiro passo, mas ainda fica restrito ao mercado dos EUA, enquanto a solução precisa ser global. Nesse sentido, concordo com o diagnóstico, mas vejo que falta uma camada.
Com as armas nucleares, o risco era evidente, escancarado, e ainda assim o mundo levou décadas para construir uma arquitetura de governança imperfeita. A dissuasão nuclear funcionou porque o problema era simétrico e visível. Todos sabiam quem tinha a bomba, todos sabiam o que ela fazia. Foi esse equilíbrio do terror que criou uma estabilidade que, embora perversa, se tornou real.
Com a IA, nenhuma dessas condições existe ainda. Não sabemos quem tem o quê nem entendemos o potencial real de destruição. O limite entre hype e realidade ainda segue incerto, e nem os próprios criadores sabem exatamente o que estão construindo. É exatamente por isso que a cooperação global se torna urgente.
O problema é que a corrida não para. A Anthropic alerta para os riscos, mas continua construindo aquilo que a faz temer o futuro.
É uma mistura de hipocrisia com a pressão de uma lógica de mercado que sustenta a narrativa de que, na área de IA, perde quem para. A mentalidade é que, se você não construir, será pior se alguém sem escrúpulos fizer primeiro. E um dos problemas para a proposta de Friedman é que a Anthropic vira e mexe acusa a própria China de ser esse outro sem pudor.
Talvez a grande diferença em relação à era nuclear seja essa. Naquele momento, o risco era visível. A IA pode ganhar escala global antes que o mundo sequer forme consenso sobre o que ela de fato ameaça. O impasse está aí.
Embora a demanda por uma governança internacional seja cada vez mais óbvia, a dinâmica que acelera a corrida é a mesma que inviabiliza a cooperação. Todos dizem temer o desastre, mas ninguém quer ser o primeiro a pisar no freio.
Texto em que o autor apresenta e defende suas ideias e opiniões, a partir da interpretação de fatos e dados.
** Este texto não reflete, necessariamente, a opinião do UOL.
O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.
Tumulto em ponto turístico no Haiti deixa pelo menos 30 mortos pisoteados
Com direito a dança da vitória para Trump, Borrachinha nocauteia russo invicto
BBB 26: Jordana acusa Ana Paula de tentar "queimar" rivais
Três cidades vão às urnas para eleger novos prefeitos neste domingo
STJD comete gafe e usa 'Abel Braga' para se referir a Abel Ferreira