“Neste momento, parece que a indústria de inteligência artificial [IA] tem um pedal para acelerar, mas não tem nenhum para travar.” A afirmação poderia ser de um académico dedicado a analisar as consequências sociais da tecnologia, mas pertence a Jack Clark, cofundador do laboratório de IA Anthropic.

Esta quinta-feira, Clark, que também lidera a área de benefícios públicos da companhia, deu entrevistas à CNN internacional e à BBC para explicar o mais recente comunicado da companhia. Numa extensa publicação, a empresa pediu que se abrande o desenvolvimento desta tecnologia. Na ótica da Anthropic, a IA está a evoluir tanto que, em breve, conseguirá “criar de forma autónoma um sucessor mais competente”, sem intervenção humana. “Está a acontecer de forma mais rápida do que pensávamos e as implicações merecem mais atenção”, é possível ler na publicação assinada por Jack Clark e Marina Favaro, a responsável pelo Anthropic Institute, o braço da Anthropic para explorar as consequências sociais da IA.

“Acreditamos que seria bom para o mundo ter a opção de abrandar ou temporariamente colocar em pausa o desenvolvimento de modelos de fronteira de IA para permitir às estruturas societais e à investigação de alinhamento estar a par do avanço da tecnologia”, defendeu a Anthropic na nota. Por alinhamento, a empresa refere-se ao processo em que é desenvolvida IA alinhada com os valores humanos e o processo que tenta reduzir os riscos de resultados prejudiciais ou danos colaterais.

A empresa deu alguns exemplos internos para explicar a razão por que teme que deixem de ser os humanos a ter o papel principal no desenvolvimento tecnológico. Desde que usam o Claude para ajudar a escrever código, os engenheiros da Anthropic “entregam em média oito vezes mais código por trimestre” do que a média registada entre 2021 e 2025. Ou: “mais de 80% da base de código da Anthropic já foi escrita pelo Claude”, o modelo de IA da empresa. Mais um exemplo. A afirmação de que a “taxa de sucesso do Claude na maioria das questões abertas atingiu 76% em maio, mais 50 pontos percentuais em seis meses”.

Em jeito de resumo, a Anthropic sugere que “o Claude passou de super-prestável a super-humano em menos de um ano”. E, se por agora a IA ainda “apresenta grandes lacunas no que diz respeito a conseguir escolher objetivos, tanto na engenharia como na investigação”, esta situação poderá alterar-se em breve.

“É altamente provável agora que estejamos a chegar a um ponto de viragem em que um sistema de IA” pode criar um sucessor, disse Jack Clark em entrevista à CNN internacional. “E isso pode acontecer nos próximos anos, em vez de décadas — muito antes do que as pessoas pensavam.” O responsável atribuiu este cenário à ideia de auto-melhoria recursiva — quando um sistema consegue avançar sozinho de forma autónoma.

https://twitter.com/AC360/status/2062701957664420108

A auto-melhoria recursiva “não é inevitável”, diz a Anthropic. Quais são os benefícios e os riscos?

A Anthropic considera que “ainda não” foi atingido o ponto da auto-melhoria recursiva e que esse patamar “não é inevitável”. O laboratório sublinhou no seu alerta que ter uma IA que consegue aprender sozinha pode trazer um “enorme desenvolvimento para a história da tecnologia”, em áreas como “a ciência e a saúde”.

https://observador.pt/especiais/dos-servicos-de-urgencia-aos-rastreios-e-exames-de-imagem-como-a-inteligencia-artificial-esta-a-mudar-o-sns/

A outra face da moeda é a de que a ideia de auto-melhoria “pode aumentar os riscos de os humanos perderem o controlo dos sistemas de IA”, declarou a empresa. “Se os sistemas conseguirem desenvolver os seus próprios sucessores, as formas de torná-los seguros, de monitorizá-los e definir os seus comportamentos tornam-se ainda mais importantes”. No seu alerta, a Anthropic referiu que esse cenário “poderá surgir mais cedo do que as instituições estão preparadas”.

Arlindo Oliveira, professor catedrático do Instituto Superior Técnico (IST) e presidente do INESC, descreve a ideia da auto-melhoria recursiva como um ponto em que os modelos de IA “comecem a ser capazes de escrever código tão bem como os seres humanos”. Ao Observador explica que já há alguns anos que se pensa no assunto como uma “questão teórica, mas que agora também é real”.

Para o investigador, a ideia de “auto-melhoria recursiva não é uma coisa completamente irrealista”. Mas reconhece que “a comunidade científica está muito dividida” neste assunto. “Há pessoas que consideram que é uma possibilidade remota e que não vale a pena estar com muita análise e há outras personalidades, como o prémio Nobel Geoffrey Hinton ou o especialista Yoshua Bengio, que consideram que essa possibilidade é real”, refere ao Observador. A nota da Anthropic “traz mais uma acha para a fogueira ao dizer que estamos perto” do ponto de auto-aprendizagem e iniciativa própria, resume.

https://observador.pt/2023/05/02/padrinho-da-inteligencia-artificial-deixa-alerta-e-dificil-ver-como-se-evitara-que-maus-agentes-usem-esta-tecnologia-para-coisas-mas/

“Os cenários [de risco] mais fáceis de imaginar são, por exemplo, a nível da segurança informática”, contextualiza Arlindo Oliveira. “Neste momento é relativamente fácil imaginar que um sistema como o Mythos [modelo da Anthropic para identificar vulnerabilidades de segurança] possa ser usado para desencadear ataques em larga escala pela China, pela Rússia ou pelos EUA contra a China ou contra a Rússia”, exemplifica. “Não é ainda uma arma, uma guerra física, mas facilmente se transforma numa guerra física se forem destruídas infraestruturas físicas.”

https://observador.pt/especiais/apocalipse-de-vulnerabilidades-e-o-regresso-do-bug-do-milenio-mythos-deixou-o-mundo-em-alerta-e-com-razao-defendem-especialistas/

“Por outro lado, nada impede que estes sistemas sejam usados para criar bombas reais, bombas biológicas”, equaciona Oliveira. “Há de facto aqui um potencial de que estes sistemas possam vir a ser usados ou por governos ou por outros grupos armados para desenvolverem ataques letais, de uma maneira ou de outra.”

O especialista refere que, a acontecer o cenário descrito pela Anthropic, a questão vai além de saber o que o modelo está a fazer. “A grande preocupação é que os sistemas se tornem tão poderosos que os humanos deixem de conseguir acompanhar.” 

William Hasselberger, diretor do laboratório de ética digital e professor associado da Universidade Católica, refere ao Observador que há uma “questão mais filosófica” neste assunto. “Estão os modelos de IA a dar sinais de comportamento imoral ou errado? Por exemplo, de engano, de manobras, da busca pela sobrevivência? Ou seja, se os modelos forem capazes de se aperfeiçoar continuamente e se se tornarem cada vez mais eficazes e complexos, estes aspetos poderão ser muito difíceis de controlar.”

https://observador.pt/especiais/sistemas-de-ia-dispostos-a-matar-para-sobreviverem-e-um-sinal-de-autonomia/

Pausa na IA é exequível? “Francamente não”

Não é a primeira vez que há um pedido para que se abrande a evolução da IA. Em abril de 2023, o Future of Life Institute pediu uma pausa de seis meses no treino de sistemas de IA poderosos, que foi assinada por 50 mil pessoas. Nenhum dos laboratórios tirou o pé do acelerador. Um ano mais tarde, Max Tegmark, presidente do Future of Life Institute, disse em entrevista ao Observador que a pausa nem sequer era o objetivo. “O nosso objetivo era tornar a conversa sobre o risco da IA mainstream.”

Três anos depois da carta, a sugestão da Anthropic sobre uma pausa está a ser recebida com algum ceticismo pelos investigadores ouvidos pelo Observador. Isabel Trancoso, investigadora do INESC-ID, considera que se devia “mesmo parar para aprender a controlar melhor” os sistemas de IA. Mas o panorama atual traça outro cenário. “Estou cética”, assume. “Para já, temos alguma dificuldade em que a IA tenha os valores que queremos. E nem todos os humanos têm os mesmos valores, infelizmente. Com a auto-melhoria recursiva, não garantimos que [a aprendizagem] vá na direção dos valores que defendemos.”

Também William Hasselberger, diretor do laboratório de ética digital e professor associado da Universidade Católica, não considera “de todo” possível uma pausa no desenvolvimento de grandes modelos. Ainda que admita que “possa haver da parte da Anthropic uma preocupação genuína com o impacto de sistemas de IA que evoluem sozinhos, em áreas como a cibersegurança”, também lembra como a empresa deu início ao processo para entrada em bolsa, através de uma oferta pública inicial. “Acho que parte disto é hype, uma forma de chamar a atenção.”

https://observador.pt/especiais/depois-da-spacex-rivais-anthropic-e-openai-aceleram-para-ver-quem-chega-primeiro-a-bolsa-no-ano-dos-mega-ipo/

Arlindo Oliveira também levanta dúvidas sobre “até que ponto não há motivações comerciais por trás destas afirmações”. “Pode haver hype, um tipo de propaganda a dizer que os sistemas da Anthropic são muito poderosos”, refere.

De qualquer forma, considera que “francamente não” é provável que chegue o tal pé no travão no desenvolvimento de modelos de IA. “Não estou a ver um acordo global entre as empresas norte-americanas, neste caso, para fazerem isso.”

Até a Anthropic reconheceu que não seria um processo fácil. “Uma desaceleração ou pausa significativa exigiria que vários laboratórios com recursos adequados, na vanguarda da investigação ou próximos dela, em vários países, concordassem em interromper as suas atividades nas mesmas condições”, foi explicado. E, além disso, seria necessário que “cada laboratório pudesse verificar que os outros realmente pararam”. Já um cenário de pausa unilateral, em que apenas um laboratório abrandasse as atividades, “é concretizável de imediato, mas assegura muito menos”, avisou a Anthropic. “Mudaria quem está no pelotão da frente, mas não criaria o amplo processo de deliberação que faz falta.”

“Uma pausa credível também tem de especificar o que a desencadeia, o que a suspende e quem decide”, disse a empresa. Apesar de difícil, a Anthropic referiu que “não é necessariamente impossível”. Foi dado como exemplo a criação mundial de “regimes de verificação para outras tecnologias complexas”, por exemplo as armas nucleares. “Mas levaram décadas para criar tanto infraestrutura como confiança. Não temos esse tempo”, alertou a Anthropic.

Ainda menos provável seria um acordo entre Estados, nota Arlindo Oliveira. “Não estou a ver um possível acordo entre EUA e a China, que neste momento são as duas maiores potências, eventualmente envolvendo a Europa e o Japão, para parar o desenvolvimento de IA.”

“A única situação que acho relativamente parecida com esta [da IA] em tempos recentes foi durante o desenvolvimento das bombas, das armas atómicas, a incerteza associada ao poder dessas armas.”

“Chegou-se a um conjunto de acordos, mas continua a existir o risco e está presente, como se sabe”, realça. “Acho que esta situação é de facto parecida, não sabemos exatamente qual é o risco, mas também não se sabia o risco nessa altura.” Mas há diferenças, defende. “A proliferação nuclear é fácil de verificar, é ver fotografias de satélite, ver se as pessoas estão a fazer mísseis, a comprar urânio.” Ao contrário do crescimento da IA. “A proliferação é muito mais difícil de verificar — são pessoas num computador, num escritório qualquer, não há visitas da Agência Internacional de Energia Atómica…”