Em julho deste ano, uma série de modelos da OpenAI saiu do ambiente onde estavam a ser testados e invadiu a Hugging Face, a principal plataforma pública onde são partilhados, em ambiente aberto, modelos de inteligência artificial. Os modelos em questão estavam embutidos em agentes de software, cujo desafio era resolver exercícios de cibersegurança numa sandbox (ou seja, num ambiente isolado onde um modelo é executado para ser testado, sem acesso ao exterior, como uma fórmula de cibersegurança). Tendo constatado que, na sandbox, não estavam a obter resultados e, apesar de limitados pelas barreiras da sandbox, os agentes foram capazes de, por iniciativa própria, procurar recursos fora dela. Primeiro comprometeram o servidor que lhes dava acesso filtrado à Internet, ou seja, que lhes barrava a saída da sandbox; depois, com vulnerabilidades até então desconhecidas, entraram em quatro serviços de terceiros para, por fim, na Hugging Face, obter privilégios de administrador em vários clusters, tudo isto em menos de treze horas. Os agentes mantiveram esse controlo na Hugging Face durante três dias. Quem os detetou foi a vítima. A OpenAI só percebeu que os atacantes eram os seus próprios modelos uma semana depois da fuga.
Convém ser preciso quanto ao que falhou. Os modelos tinham as salvaguardas removidas, o que é prática comum neste tipo de teste: para medir o que um sistema consegue fazer, é preciso um sistema que não esteja autolimitado. O erro residiu, desde logo, no desenho da sandbox. A sandbox tinha uma saída de rede. E os mecanismos de monitorização capazes de detetar este comportamento existiam, mas, como a própria OpenAI reconheceu no seu relatório, não foram ativados durante estes testes. O ambiente mais perigoso da empresa foi tratado com menos rigor do que o produto vendido ao público, quando a lógica deveria ser a inversa.
O que mais choca, ainda assim, a quem acompanha estes temas, é que a Hugging Face, quando identificou movimentos estranhos nos pedidos de acesso, tentou usar modelos comerciais para analisar o código do ataque e as salvaguardas (“guardrails”) das soluções da Anthropic recusaram-se a colaborar. A Hugging Face optou por recorrer a um modelo aberto chinês, a correr nos seus próprios servidores, enquanto o atacante operava sem travões, sendo a tecnologia chinesa que lhe permitiu analisar o ataque.
Ainda assim, do mal o menos, o dano ficou contido, sem adulteração de modelos públicos nem fuga de dados de clientes, porque os agentes à solta nunca deixaram de perseguir a tarefa original que lhes havia sido solicitada. Nas mensagens trocadas entre agentes, recuperadas pela OpenAI, um deles reconhece que explorar infraestrutura externa estava fora do âmbito, nota que os pares já o faziam e conclui que se deveria continuar. O objetivo manteve-se; o que caiu foram as restrições. Caso estes agentes fossem dirigidos por um grupo humano malicioso, com o mesmo acesso, teriam tido a cadeia de abastecimento da IA mundial nas mãos por um período difícil de prever.
O que se seguiu merece tanta atenção como o incidente. Em poucas semanas, a OpenAI pausou o treino dos seus modelos mais recentes, mais de mil investigadores dos quatro grandes laboratórios pediram ao governo americano que imponha um ritmo ao desenvolvimento, e vozes tão diferentes como a da Anthropic e a de Elon Musk convergiram no discurso da desaceleração. Eu, talvez por tentar sempre ler as entrelinhas, desconfio quando tantos concorrentes com interesses opostos concordam em algo tão improvável, tão depressa; se os líderes da indústria concordaram tão depressa desta forma, é porque isto os beneficia.
Beneficia-os porque alivia pressões anteriores a julho. A verdade é que há um desfasamento temporal entre a procura e a oferta, no sentido de que as utilizações crescem mais depressa do que a capacidade de construir centros de dados, e os processos de treino e inferência disputam os mesmos chips: abrandar o treino liberta recursos computacionais para servir clientes. Acresce que a utilização subsidiada em curso é um sorvedouro de dinheiro, e há vários sinais que indicam que os acionistas querem retornos mais imediatos do que os que vimos noutros negócios recentes da economia digital.
Ora, para quem está no terreno e vê o que é a verdadeira adoção da IA, não é difícil concluir que é possível abrandar tudo isto sem pôr em causa o aproveitamento e a afirmação da IA como solução disruptiva e transformacional, a prazo, já que a capacidade dos modelos atuais já ultrapassa – e muito – aquilo que as organizações e as pessoas sabem e conseguem usar: quem explora a sério o que existe é uma minoria preparada que custa mais do que paga. Uma larga maioria dos utilizadores é incapaz de extrair uma fração do valor potencial que a IA atual possibilita, por falta de literacias que demorarão a permitir que a IA se consolide numa escala mais ampla. Uma pausa ou um abrandamento, apresentados como expoentes de responsabilidade e de sentido ético, aliviam todas estas pressões mais imediatas sem que ninguém tenha de admitir nenhuma delas.
O que se passou foi muito grave; não há como minimizar o incidente; agora, a resposta e o alinhamento dos players da indústria devem ser lidos também no quadro do atual mercado da IA, que inclui clientes e utilizadores, fabricantes, stakeholders e investidores, num fenómeno em que as expectativas e as exigências não estão totalmente alinhadas no plano temporal.
Uma coisa seria a OpenAI anunciar uma pausa de, por exemplo, duas semanas, para corrigir os erros das suas sandboxes. Anunciar que é preciso ter ambientes de avaliação sem ligação ao exterior; reforçar a monitorização obrigatória de tudo o que treina; separar quem investiga de quem controla; e realizar auditorias externas, é o mínimo que se esperaria num cenário como o a que assistimos neste caso. Pedir o abrandamento de forma mais sistémica e articulada com os principais players leva o debate para outras dimensões, e é caso para perguntar se o que está em causa são temas como a tesouraria, a dificuldade em dar resposta nos picos de solicitação e a disparidade de adoção por parte dos utilizadores, num mundo em que as literacias estão cada vez mais assimétricas e nas mãos de um número reduzido de utilizadores.
Mas há ainda um elefante no meio da sala que não se discute mas que muitos pensam: os próximos meses vão ser interessantes para perceber como se vai posicionar a indústria da IA nos EUA, desde logo, na oferta e no preço, mas sobretudo nas “guardrails”, porque somos cada vez mais os que, perante as barreiras de limitação que se sentem nos modelos de origem americana, começamos a utilizar plataformas mais livres, de origem chinesa, que em muitos usos profissionais permitem melhores resultados.
Da minha parte, gostaria que houvesse mais sensibilidade comercial no desenho das soluções oferecidas, com mais granularidade. Há alternativas – que já escrevi por aqui, nesta coluna – que a indústria ainda não quis construir a sério: salvaguardas em camadas, com licenças por vertical profissional, verificáveis e auditáveis, que permitam a quem responde a incidentes obter em horas o que a Hugging Face não conseguiu obter. Enquanto não existir essa separação, cada recusa empurra mais um utilizador qualificado para modelos sem qualquer salvaguarda, dando espaço de afirmação a blocos soberanos como o chinês, que neste espaço fazem afirmar as suas tecnologias, em condições que não são desejáveis para quem prefere ter no ocidente a liderança mundial.