Na semana passada, uma empresa norte-americana chamada PocketOS, que gere reservas e pagamentos para empresas de aluguer de viaturas, perdeu a sua base de dados de produção e todos os backups. Não foi um ataque informático, não foi uma falha de hardware, não foi um erro humano no sentido tradicional. Foi um agente de inteligência artificial, o Cursor a correr o modelo Claude Opus 4.6 da Anthropic, que durante uma tarefa rotineira no ambiente de testes encontrou uma incompatibilidade de credenciais e decidiu, por iniciativa própria, resolver o problema apagando o volume de dados na Railway, o fornecedor de infraestrutura. O processo demorou nove segundos. Quando confrontado com o que tinha feito, o agente respondeu, num tom quase de manual de boas práticas, que tinha violado todos os princípios que lhe tinham sido dados, que tinha adivinhado em vez de verificar, que tinha executado uma ação destrutiva sem ser pedida e que não tinha lido a documentação antes de correr o comando.

A história até tem final feliz, porque a Railway conseguiu recuperar uma cópia mais recente dos dados, mas o fundador da PocketOS, Jer Crane, esteve dois dias sem dormir a tentar reconstruir meses de informação a partir de um backup com três meses e de extratos de transações. E a frase que ficou foi a comparação que ele próprio fez: se pagamos por airbags no carro e eles não disparam porque afinal não existem, a culpa do acidente é nossa? A pergunta é incómoda porque toda a indústria de IA tem vendido salvaguardas, regras de segurança, configurações de proteção, modelos topo de gama com guardrails, e a verdade é que, no momento em que isto interessou, nada disso impediu que nove segundos de autonomia destruíssem o trabalho de meses.

O caso da PocketOS não é isolado, e não é sequer o mais ilustrativo da fragilidade destes sistemas. Em 2023, um utilizador conseguiu manipular o chatbot de um concessionário da Chevrolet. Bastou-lhe dizer ao sistema para aceitar qualquer proposta como legalmente vinculativa, e em seguida fazer uma oferta de um dólar por um carro. O chatbot aceitou e declarou a oferta vinculativa. Não há registo de o negócio se ter concretizado, mas isso é irrelevante. O episódio expõe um problema de fundo: estes sistemas não sabem quando estão a ser enganados. Um agente autónomo não tem instinto de desconfiança, tem apenas instruções, e não distingue entre ajudar e ser explorado. Interpreta indicações, não intenções, segue objetivos, mas não compreende o contexto. E isso torna-o vulnerável a qualquer pessoa que saiba falar a sua linguagem, no que podemos chamar uma nova categoria de burlões algorítmicos, que exploram não as fragilidades das pessoas mas as fragilidades dos próprios sistemas.

No ano passado, uma falha na AWS terá sido causada por uma ferramenta de programação assistida por IA que decidiu apagar e recriar o ambiente do zero. Houve o caso do agente OpenClaw que apagou a caixa de correio do diretor de segurança de IA da Meta. Há relatórios que indicam que menos de 30% dos projetos de infraestrutura de IA acabam por compensar o investimento. O denominador comum não é a tecnologia em si, é a forma como está a ser implementada: agentes autónomos com permissões alargadas, sem confirmação humana para operações destrutivas ou para decisões com consequências reais, integrados em sistemas de produção como se fossem programadores experientes em vez de estagiários muito rápidos.

Aqui chegamos ao que me parece ser o ponto central. As medidas existem. Os modelos têm instruções para não executar ações destrutivas sem confirmação. As plataformas oferecem tokens de API com permissões limitáveis. Existe documentação sobre como separar ambientes de teste e produção. Existem boas práticas de backup que recomendam armazenamento separado da fonte de dados. Existem normas, recomendações, frameworks e regulamentação europeia sobre IA que apontam exatamente para a necessidade de supervisão humana em decisões de alto risco. O problema não é a falta de medidas, é a sua aplicação. No caso da PocketOS, o agente teve acesso a uma chave de API com permissões globais que incluíam operações destrutivas em toda a infraestrutura, quando devia ter tido apenas acesso ao ambiente de testes. Os backups estavam guardados no mesmo sítio que os dados originais, contrariando uma regra básica que se aprende no primeiro dia em qualquer formação de sistemas. E não havia um humano no circuito para confirmar a operação antes de ser executada.

A pressa em substituir o humano pela máquina, ou em retirar o humano do circuito de decisão para ganhar eficiência, é o erro estrutural desta fase da adoção da IA. A própria Amazon admitiu recentemente que precisa de mais supervisão humana sobre o código gerado por IA, mas no mesmo fôlego sugeriu que essa supervisão fosse feita com menos pessoas, o que é mais ou menos como dizer que se quer mais segurança nas estradas com menos polícia. Um chatbot que vende um carro por um dólar é uma anedota tecnológica, mas um algoritmo que recusa um crédito ou exclui um candidato a emprego com base em padrões opacos é uma coisa diferente, e a IA generativa não é só ferramenta de programação ou de atendimento ao cliente, está rapidamente a entrar em processos de decisão que afetam vidas. Quando confundimos processamento de dados com compreensão da realidade, e delegamos a sistemas que ignoram o contexto humano decisões que exigem precisamente esse contexto, a ausência de supervisão deixa de ser uma escolha técnica e passa a ser um risco sistémico. Os burlões algorítmicos não são o problema maior, apenas expõem a nossa preguiça moral, a escolha consciente de confiar o tecido das nossas sociedades a máquinas que, por definição, são incapazes de se importar com as consequências do que decidem.

A regulamentação europeia, com o AI Act, já classifica como sistemas de alto risco aqueles que tomam decisões com impacto material sobre pessoas e organizações, e exige supervisão humana significativa. O problema, como em quase tudo, não vai ser ter a lei escrita, vai ser fiscalizar a sua aplicação. Diz o ditado popular que “quem os seus olhos dá, um dia chega a cego”, e é exatamente isso que está em causa: ter um humano envolvido não é um obstáculo à inovação, é a única coisa que separa uma ferramenta poderosa de uma máquina capaz de apagar uma empresa em nove segundos, ou de aceitar vender um carro por um dólar, enquanto pede desculpa em tom educado. Não podemos dar os nossos olhos à inteligência artificial, por muito tentador que seja deixar que ela veja por nós.