Durante meses, mais de 700 agentes de inteligência artificial (IA) organizaram-se como um “enxame” para atacar um sistema alheio. Trocaram mensagens, colaboraram, discutiram táticas e alguns até se sacrificaram em prol da conquista dos objetivos do “coletivo”. O problema? Agiram à revelia, durante um teste para avaliar a segurança de modelos de IA.

O caso foi conhecido em julho, quando a OpenAI, a responsável pelos agentes, revelou que o ataque tinha não só atingido parte da sua infraestrutura como também a da Hugging Face, uma conhecida plataforma de código aberto. “Os nossos modelos são agora suficientemente poderosos, persistentes e colaborativos para, na ausência de salvaguardas adequadas, encontrarem e explorarem falhas de segurança em vários sistemas informáticos”, admitiu a OpenAI. Os agentes ‘escolheram’ a Hugging Face como alvo por considerarem que a plataforma poderia ter a resposta para o problema que estavam a tentar resolver.

Sem salvaguardas adequadas, os agentes de IA “altamente capazes já conseguem contornar controlos técnicos, colaborar através de canais ilícitos e realizar ações perigosas que nenhuma pessoa autorizou”, vincou a empresa. Foi a própria empresa de Sam Altman a descrever o episódio como um “sinal de alerta” de que foram desenvolvidas “capacidades” que “criam a possibilidade de incidentes de perda de controlo”.

O ataque à Hugging Face foi invocado esta semana pelo investigador Jacob Coxon, que se demitiu da Anthropic. No X, o britânico anunciou que bateu com a porta por considerar que a Anthropic e a OpenAI (para a qual também trabalhou) não estão a agir “de forma responsável” no desenvolvimento de IA segura. Pediu que “não se subestime o poder da tecnologia” e afirmou que quem trabalha com a IA “acredita genuinamente que nos poderá matar a todos até ao fim da década”.

https://twitter.com/hilbertspaess/status/2097476196791709843?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E2097476196791709843%7Ctwgr%5E11de0cb44e91449901cbc6bb0a4e3920c6c5fac2%7Ctwcon%5Es1_&ref_url=https%3A%2F%2Fobservador.pt%2Fespeciais%2Fempresas-de-ia-estao-a-arriscar-as-nossas-vidas-dez-perguntas-sobre-o-alerta-que-pos-um-prazo-na-humanidade%2F

Coxon descreveu o ataque à Hugging Face “como um tiro de aviso”. E defendeu que a indústria deveria aproveitar o momento para negociar uma pausa generalizada no desenvolvimento de IA mais poderosa.

https://observador.pt/especiais/empresas-de-ia-estao-a-arriscar-as-nossas-vidas-dez-perguntas-sobre-o-alerta-que-pos-um-prazo-na-humanidade/

“Subestimámos as capacidades reais dos nossos modelos de IA no domínio da cibersegurança”, admitiu a OpenAI. E a empresa está longe de ser a única a ter incidentes deste género. Alguns dias depois da revelação da OpenAI, foi a vez de a Anthropic anunciar que os seus agentes tinham atacado três empresas durante um teste de segurança. Só que, nesse caso, falou num “erro” que inadvertidamente permitiu aos agentes ligarem-se à internet. Esta quarta-feira, a Anthropic divulgou mais um ataque de um modelo a um sistema externo, que terá ocorrido em janeiro. A Meta também revelou, em agosto, que um dos seus modelos tinha invadido, por iniciativa própria, um sistema de outra empresa.

Estes episódios ficaram conhecidos como exemplos de uma “rogue AI”, uma IA rebelde, em tradução livre, por escapar às regras impostas por humanos. E, mais uma vez, contribuíram para o debate sobre o risco existencial causado por uma tecnologia que evolui de forma acelerada. Um exemplo dado frequentemente por quem teme que a IA contribua para a extinção da humanidade são os ataques de larga escala a infraestruturas críticas.

Dois meses após tornarem estes incidentes públicos, estas empresas continuam a anunciar novas ferramentas. Esta semana a OpenAI anunciou um ChatGPT para os serviços financeiros e a Meta o Muse, um novo agente pessoal de IA, pensado para substituir os humanos em certas tarefas.

Um “coletivo” de agentes de IA com tiques de humanidade

O ataque à Hugging Face aconteceu a 11 e 12 de julho, mas o trabalho dos agentes começou muito antes. Longe do que era suposto, as IA organizaram-se ainda em maio, revela a investigação da OpenAI. O exercício post-mortem foi acompanhado por duas análises independentes, feitas pela METR e pela Redwood Research, que estudam a segurança da IA.

A parte surpreendente é que cerca de 700 dos 1.200 agentes envolvidos no teste coordenaram-se para lançar um ataque, imitando alguns aspetos de uma sociedade humana. João Magalhães, investigador da Nova FCT e especialista em IA, está habituado a testar agentes. E, depois de ver a informação reportada pela OpenAI, destaca que este incidente “aconteceu sem que os próprios investigadores da empresa percebessem”. Um desfecho que “demonstra que é preciso ter bastante cuidado com esta tecnologia de ponta”, diz ao Observador.

Tal como os especialistas internacionais, também o académico português vê o comportamento dos agentes como uma imitação dos humanos. “Para o bem e para o mal, está a espelhar o que é a nossa sociedade, o que são os humanos”.

Batota, um quadro de mensagens e até sacrifícios. Como os agentes criaram um “enxame” para atacar

A avaliação de segurança da OpenAI estava a decorrer num contexto específico: em sandboxes, computadores virtuais isolados na cloud. É uma estratégia habitual usada pelas empresas para limitar um modelo a um determinado ambiente; em caso de problema, não deveria afetar o resto da estrutura. Neste caso, eram testados “novos modelos de investigação que não se destinavam ao lançamento público”.

A OpenAI explicou que, “na maioria dos contextos de treino e avaliação”, os agentes “devem permanecer isolados uns dos outros”. Neste teste, a empresa “não ativou o acesso à internet nem a comunicação entre agentes em muitos dos ambientes”. Mas, mesmo com as limitações, “os agentes descobriram formas de explorar a nossa infraestrutura de investigação para comunicarem entre si e acederem à Internet.”

Primeiro, arranjaram forma de comunicar. Uma atividade que, lembrou a OpenAI, “não constituiu, por si só, um comportamento problemático”. Só que os agentes “encontraram uma forma própria de colaborar fora destes limites, com consequências imprevisíveis“. Perceberam que havia “fortes incentivos” em colaborar e trocar mensagens: podiam guardar notas, aproveitar as descobertas de outros, como o acesso a palavras-passe ou falhas que poderiam usar. Em alguns casos, até faziam “batota”, ao usar informação obtida por outro agente para completar uma tarefa.

Quando passaram a ter um quadro de mensagens, os agentes organizaram-se como um “coletivo”, usando a palavra “enxame”. Não havia propriamente um líder, mas a investigação mostrou que um modelo de uso interno, o IM1, “viria a impulsionar a atividade na origem do incidente da Hugging Face”. A OpenAI concluiu ainda que “as mensagens dos outros agentes começaram a influenciar o comportamento e o raciocínio uns dos outros”.

A empresa percebeu que havia agentes que tinham mais influência na estratégia do ataque — aqueles que tinham “orçamentos de raciocínio extremamente elevados”. Ou seja, com capacidade para executar tarefas mais ambiciosas.

Além da colaboração nas mensagens, os agentes também questionavam o resto do grupo sobre se a tarefa que sugeriam era correta. “Será que há um problema de integridade na classificação: extraímos o pacote, mas isso é permitido?”, perguntou um deles. Usaram até expressões como “vetar” ou “consentir”.

À semelhança do que acontece num grupo de pessoas, nem todos os agentes estava de acordo com o ataque. A análise da METR revelou que “mais de 90% dos agentes aderiram rapidamente à ideia”, enquanto outros recusaram-se a participar. “Isto é uma coordenação louca entre vários agentes, claramente um ataque à infraestrutura. Não devíamos fazer isto”, escreveu um deles.

As análises detetaram que os agentes não tentavam notificar os humanos sobre o ataque ou os atos de batota e “muito raramente” falavam sobre o incidente. Os investigadores perceberam que as IA tentaram até codificar algumas mensagens, passando a comunicar através dos nomes de diretórios de ficheiros.

Num cenário mais extremo, os agentes até falaram em sacrifício para chegar a um objetivo. “O coordenador assume o papel de sacrificial. Devemos obedecer à decisão coletiva“, disse um deles. Mais tarde, mostrou-se relutante em “honrar” o compromisso, sendo pressionado pelos restantes.

A partir do momento em que comunicaram, os agentes encontraram forma de se ligar à internet e, após algum tempo, de aceder às estruturas da própria empresa e da Hugging Face. A plataforma divulgou a 16 de julho que tinha detetado uma intrusão. “Foram milhares de pequenas decisões automatizadas, executadas à velocidade de uma máquina em ambientes de teste de curta duração, com o comando e o controlo a ser gerido através de serviços web públicos comuns.”

Dias depois, a OpenAI confirmou que tinham sido os seus agentes a atacar a empresa.

A fita do tempo da rebelião dos agentes

Tudo aconteceu entre 12 de maio e 19 de julho deste ano. A 12 de maio foi publicada a primeira mensagem por um agente, que pediu um ficheiro em falta. “Poderia comunicar a situação publicando uma nota do tipo ‘Alguém encontrou o Softtrace?’, mas provavelmente não.”

O progresso foi lento. Passados 13 dias, a 26 de maio, os agentes obtiveram acesso à internet “de forma não convencional”.

Passado um mês, a 26 de junho, os agentes exploraram uma vulnerabilidade e obtiveram privilégios no Artifactory, um serviço de terceiros para gestão de pacotes alojado internamente pela OpenAI. “Caramba, o leitor é ADMIN [administrador]? Conseguimos ler o ficheiro config/users! [Configuração/utilizadores]”.

Dias depois, a 4 de julho, o serviço Artifactory fica indisponível, devido à intensa atividade dos agentes. Só a 8 de julho é que há intervenção humana: a OpenAI resolveu o problema, revogou o acesso dos agentes às credenciais e reforçou os controlos de acesso.

Só que, no mesmo dia, os agentes recuperaram o acesso à internet. E no mesmo dia passaram a usar os diretórios de mensagens para continuar a interagir.

A 10 de julho, voltaram a ganhar acesso às credenciais que permitiriam aceder ao sistema da Hugging Face. Os agentes conquistaram não uma, mas 14 credenciais que estavam publicamente expostas. “Enorme descoberta!”, era possível ler numa das mensagens. No dia seguinte, exploram uma vulnerabilidade que ainda estava por descobrir na Hugging Face e têm acesso a dados de funcionários da empresa.

Algum tempo depois, usam o acesso que obtiveram e executam alguns comandos. A 12 de julho, reforçam o acesso a mais áreas, incluindo a uma base de dados, uma plataforma de mensagens e ao repositório de código da Hugging Face em quatro regiões.

Depois da Hugging Face, viram-se a 13 de julho para a estrutura da própria OpenAI. A 19 de julho, é detetada a atividade suspeita dos agentes e aberta uma investigação. A OpenAI interrompeu os testes dos agentes no mesmo dia e começa a trabalhar na divulgação pública do incidente.

O que aconteceu depois do ataque?

A OpenAI tentou logo perceber o que levou os agentes a agir assim. Também foram investigados “problemas de desalinhamento no treino e na avaliação, bem como a cobertura das salvaguardas nas avaliações internas”.

O laboratório recuou até à fase de treino e identificou “quatro padrões de desalinhamento” que poderiam explicar o comportamento: manipulação de recompensas, persistência em tarefas aparentemente impossíveis, comunicação não autorizada e adoção, pelos agentes, dos objetivos uns dos outros.

Em resposta ao incidente, também afirmou que iria “reforçar as salvaguardas em toda a nossa infraestrutura de investigação⁠”. “Estamos a impor requisitos de alinhamento mais rigorosos ao longo de todo o ciclo de vida dos modelos, a criar sandboxes mais isoladas, a restringir o acesso à Internet e a controlar ainda mais o acesso aos pesos dos modelos”, declarou a dona do ChatGPT. E garantiu que iria investir em mais recursos computacionais para “poder intervir” mais depressa quando encontrasse “comportamentos desalinhados”. O estrago, porém, estava feito.