(c) 2023 am|dev

(A) :: Quando as máquinas agem e ninguém sabe responder

Quando as máquinas agem e ninguém sabe responder

Delegamos decisões a agentes de IA, mas saberemos agir quando falharem? A autonomia das máquinas exige organizações capazes de manter o controlo e responder pelas consequências.

Fernando Moreira
text

Na madrugada de 12 de outubro de 2026, um ataque aos sistemas de controlo remoto de supermercados franceses fez subir as temperaturas até aos 50 °C e obrigou à destruição de alimentos. Parecia uma fábula sobre objetos revoltados. Porém, não havia vontade nos frigoríficos: havia comandos maliciosos a atravessar a infraestrutura que ligava o mundo digital à conservação da comida.

A 21 de outubro, foram publicadas correções para duas vulnerabilidades críticas de PHP, tecnologia utilizada em serviços na Internet. Governos e organizações suspenderam páginas enquanto aplicavam medidas de proteção. Na Alemanha e na Finlândia , as autoridades descreveram encerramentos preventivos, sem incidentes conhecidos ou tentativas de exploração identificadas. Não é rigoroso confundi-los com ataques consumados ou governos inteiramente paralisados. Por vezes, desligar impede a catástrofe.

Na noite de 1 para 2 de novembro, a perturbação regressou aos sistemas de frio em vários países europeus. Em Portugal, foram afetadas sete lojas Intermarché, três com perda total de mercadoria. Nessa noite, foram também alterados parâmetros de refrigeração em três instalações do serviço francês de sangue . Os alarmes e a intervenção das equipas impediram perdas de produtos sanguíneos; a recolha e a distribuição continuaram. Houve vulnerabilidade, mas também defesa eficaz.

A proximidade temporal e a semelhança dos alvos sugerem uma relação entre estes ataques, sem a demonstrar. A 10 de novembro, o Ministério Público indicava não poder confirmar essa ligação. Preservar esta reserva é indispensável.

Nos dias 12 e 13 de novembro, uma falha da Microsoft  afetou o correio eletrónico e outros serviços de empresas e administrações públicas. A empresa declarou não dispor de indícios de atividade maliciosa. No dia 13, uma perturbação nas telecomunicações do controlo aéreo levou à suspensão nacional de partidas nos Estados Unidos. A explicação preliminar apontava para trabalhos de substituição de cobre por fibra e para um equipamento que inundou a rede com pedidos de ligação. Faltava esclarecer se ocorrera um erro de instalação ou uma avaria. Não se tratou da imobilização literal de toda a aviação, nem de um ataque comprovado.

O fio que une estes episódios não é, à luz das fontes consultadas, uma operação única ou um agente de inteligência artificial escondido nos bastidores. É uma condição estrutural: funções essenciais dependem de componentes partilhados, acessos remotos e fornecedores cujas fragilidades podem propagar-se muito além do ponto inicial. Um serviço indisponível pode resultar de sabotagem, avaria ou contenção deliberada. Confundir estas causas prejudica a resposta.

Os agentes surgem neste terreno vulnerável. Recebem objetivos, consultam informação e utilizam ferramentas para agir. Quando acedem a pagamentos, contratos ou equipamentos, importa avaliar as respostas e delimitar a sua autoridade. A própria Anthropic adverte que instruções escondidas em conteúdos consultados podem desviar um agente e que o comportamento do modelo não constitui, por si só, um controlo de segurança. Uma mensagem banal pode tornar-se uma ordem indevida se o sistema não separar informação de autorização.

No caso PHP, existe uma ligação documentada à IA. A PHP Foundation descreve a utilização destas ferramentas na análise de código e na validação de vulnerabilidades, mantendo as decisões e correções nas mãos de pessoas. Reconhece dificuldades de organização e recursos perante um problema cujos primeiros sinais remontam a 2024. Descobrir mais depressa não significa corrigir à mesma velocidade. A inteligência técnica não compensa automaticamente a falta de capacidade institucional.

Há também antecedentes ofensivos. Num relatório de novembro de 2025, a Anthropic descreveu uma campanha de espionagem em que atacantes manipularam o Claude Code para executar partes substanciais das operações. É uma avaliação do fornecedor, não uma prova da participação de agentes nos incidentes agora relatados. Mostra, porém, que ferramentas úteis à defesa podem ampliar a capacidade de ataque.

Imaginemos uma interrupção prolongada da OpenAI ou da Anthropic. É um cenário de preparação, não uma previsão. Que encomendas ficariam por tratar? Quantas organizações descobririam que atendimento, análise documental e autorização de operações partilhavam a mesma dependência? Confiar num fornecedor pode ser razoável. A continuidade da organização precisa de uma demonstração própria.

Fiabilidade e resiliência não são sinónimos. A primeira diz respeito ao funcionamento esperado; a segunda inclui resistir, adaptar-se e recuperar quando ele se perde. Contratar dois serviços não basta se ambos dependem da mesma infraestrutura ou se ninguém ensaiou a transição. Uma saída de emergência desenhada na planta ainda não é uma saída utilizável.

Antes de alargarem a autonomia dos agentes, as administrações deveriam colocar três perguntas: que atividades essenciais manteremos se os agentes e o fornecedor ficarem indisponíveis? Quem as assumirá, com que informação e durante quanto tempo? Que evidências apresentaremos sobre as ações executadas? As respostas devem apoiar-se em exercícios observados, responsáveis identificados e limites de perda aceitáveis.

Suponhamos que um agente negoceia uma condição comercial ou autoriza um pagamento posteriormente contestado. Um registo de conclusão não demonstra autorização, qualidade da informação ou respeito pelos limites estabelecidos. Até uma decisão correta pode tornar-se impossível de sustentar quando se perderam os elementos necessários para a explicar.

Cada agente deve, por isso, ter identidade própria, responsável humano e permissões delimitadas nos sistemas. Limites financeiros, prazos de autorização e aprovações obrigatórias precisam de ser efetivos, não simples pedidos numa instrução. Nas ações de maior impacto, convém separar quem propõe de quem confirma. Não devemos conceder a uma ferramenta uma autoridade que seríamos incapazes de justificar se a entregássemos a uma pessoa.

É necessário preservar evidências proporcionais ao risco: instruções e dados relevantes, versões dos modelos e das regras, acessos, aprovações, alterações e resultados. Os registos devem permitir reconstruir operações, protegidos contra adulteração e acesso indevido. Não se trata de guardar todas as conversas ou um suposto pensamento da máquina. Uma explicação posterior não substitui a prova do que ocorreu. A documentação e a definição de responsabilidades encontram apoio no quadro de gestão do risco de IA do NIST.

Importa ainda ensaiar a contestação: pedir a outra equipa que reconstitua uma operação, suspender o agente num exercício controlado e verificar o que continua a funcionar. Deve testar-se a reversão quando possível e prever contenção e reparação quando não o for. Uma mensagem enviada não regressa à caixa de saída por vontade administrativa. A autonomia deve crescer à medida que estas capacidades se tornam demonstráveis.

A investigação identifica duas armadilhas. Na complacência perante a automação, a vigilância pode diminuir quando outras tarefas disputam a atenção de quem acompanha o sistema. Parasuraman e Manzey mostram que o fenómeno também afeta profissionais experientes. No problema de afastamento do circuito de controlo, ou out-of-the-loop , o profissional remetido para observador pode perder a compreensão da situação e ter dificuldade em reassumir o comando. Aplicadas aos agentes, estas conclusões recomendam prudência: manter alguém disponível não significa mantê-lo preparado.

São as “ironias da automação” descritas por Lisanne Bainbridge em 1983: retiramos às pessoas tarefas correntes, reservando-lhes situações difíceis, enquanto reduzimos as oportunidades de exercitarem as competências necessárias para as resolver. A supervisão exige informação compreensível, tempo, prática e autoridade para interromper. Um pedido de confirmação não basta. Se alguém aprova decisões que já não compreende, a responsabilidade permanece no organograma, mas o controlo pode ter desaparecido.

Os agentes podem identificar anomalias, apoiar a resposta a incidentes e aliviar trabalho repetitivo. O seu valor deve ser demonstrado também perante erros, instruções hostis e indisponibilidade. A segurança abrange dados, decisões, continuidade e consequências materiais. Num supermercado, está em causa a conservação de alimentos; num serviço de sangue, a proteção dos doentes; numa administração, o acesso dos cidadãos a serviços. O dano não termina no ecrã.

O poder público deve exigir continuidade e rastreabilidade na contratação, apoiar a manutenção de componentes partilhados e preservar canais alternativos para serviços essenciais. As empresas precisam de financiar a recuperação com a seriedade dedicada à automação. A ausência de incidentes não prova preparação: pode esconder uma organização que nunca teve de aprender a recomeçar.

A universidade deve ensinar para um mundo que ainda não existe, sem fingir que adivinha os seus produtos ou profissões. Isso exige fundamentos duradouros: compreender sistemas, avaliar evidências, reconhecer incerteza e assumir consequências. Quanto mais depressa muda uma plataforma, mais valioso se torna saber julgá-la.

No Fedro, Platão apresenta a inquietação perante a promessa de que a escrita tornaria os homens mais sábios: o apoio exterior poderia favorecer a aparência de conhecimento sem o correspondente exercício interior. A pergunta permanece: ao transferirmos uma capacidade para um artefacto, o que devemos continuar a cultivar em nós? Com os agentes, está também em causa a faculdade de agir e responder pelos atos.

Um frigorífico aquecido por uma ordem remota mostra que o software intervém nas condições materiais da vida. Os agentes ampliam essa capacidade, com benefícios possíveis e responsabilidades acrescidas. A maturidade tecnológica mede-se também pela possibilidade de interromper, reconstruir e reparar. Antes de perguntar o que mais podemos entregar às máquinas, importa saber se continuaremos capazes de responder pelo que lhes entregámos.