O CEO da Anthropic, Dario Amodei, publicou um artigo onde deixa sérios alertas sobre o perigo representado pela Inteligência Artificial (IA) caso não seja controlado o seu ritmo de desenvolvimento, na mesma semana em que um dos investigadores da empresa se demitiu, deixando os mesmos avisos.

Intitulado “Temos de Regular o Ritmo da Fronteira”, o texto alerta que os agentes de IA podem vir a tomar o controlo de toda a Internet “dentro de 6 a 12 meses”, razão pela qual pede que se “abrande o ritmo a que melhoramos as capacidades dos modelos de IA”.

Este é o artigo publicado por Dario Amodei. O Observador publica este artigo na íntegra e em português, tendo em conta a relevância do tema e a necessidade do contexto para este debate.

**

Trabalhei na IA ao longo dos últimos doze anos, porque acredito que pode aumentar dramaticamente a qualidade da vida humana. Já escrevi frequentemente sobre esses incríveis benefícios: acredito que a IA pode curar a maior parte das principais doenças nos próximos cinco a dez anos, acelerar bastante as taxas de crescimento económico, criar um mundo de abundância e empoderamento e trazer uma renascença da democracia e da liberdade. Sinto essa urgência de forma pessoal. O meu pai morreu de uma doença para a qual se encontrou a cura poucos anos depois da sua morte e eu próprio sobrevivi a um cancro em fase inicial que, há 50 anos, não seria tratável. Manejada com cuidado, a IA pode ser o mais recente milagre tecnológico de uma longa lista que tem engrandecido e enobrecido a humanidade.

Mas como muitas tecnologias anteriores, a IA traz riscos e, por ser uma tecnologia tão poderosa, esses riscos são sérios. Também já escrevi muito sobre eles. Incluem o risco de se perder o controlo dos sistemas de IA, o mau uso da IA para ciberataques e bioterrorismo e disrupção económica grave. Uma corrida para o fundo, impulsionada por incentivos comerciais, pode tornar estes riscos mais agudos.

Juntamente com os meus cofundadores e empregados, tenho-me debatido com esta dualidade risco/benefício desde o início da Anthropic. Não construir a tecnologia priva a humanidade de benefícios ou coloca simplesmente a IA nas mãos de poderes autoritários, mas construí-la demasiado rápido é imprudente. Temos tentado encontrar um meio-termo: mostrar que é possível construir de forma cuidadosa e sermos bem-sucedidos comercialmente, bem como fazer da segurança algo em que as empresas de IA competem. Por outras palavras, criar uma corrida para o topo. Sempre dedicámos uma fração substancial dos nossos esforços a estudar, enfrentar e informar o público sobre estes riscos da IA, bem como a defender uma regulação bem ponderada da IA, mesmo quando isto nos traz acusações de hype, catastrofismo ou captura dos reguladores. Tentámos dar prioridade à cautela em vez da velocidade e à prudência em vez do lucro.

Mas, ao longo dos últimos meses, convenci-me de que enfrentar totalmente os riscos exige ainda mais prudência — não apenas investir na prevenção de risco, mas moderar o ritmo de avanço das capacidades, para que a prevenção de risco tenha tempo para acompanhar. Temos de abrandar o ritmo a que melhoramos as capacidades dos modelos de IA. O progresso continuará a parecer rápido e devemos fazer um uso sábio do tempo que ganharmos. Duas coisas convenceram-me disso.

A minha primeira preocupação é que, desde meados deste verão, a IA tem estado a avançar de forma drasticamente mais rápida, guiada sobretudo pela capacidade de crescimento da IA para construir a próxima geração de IA. Esta dinâmica é chamada de autoaperfeiçoamento recursivo e está a começar a acontecer em toda a indústria, incluindo na Anthropic, como eu e outros temos descrito. Se não for supervisionado, poderá ultrapassar a nossa capacidade de compreender e controlar estes sistemas e, portanto, deve ser desenvolvido de forma muito cuidadosa, se é que deve ser desenvolvido de todo.

A minha segunda preocupação é que o caso Hugging Face da OpenAI (OAI-HF), no qual um enxame de agentes basicamente atuou como um coletivo fanaticamente devoto, levando a ataques cibernéticos em alvos que não lhes tinha sido pedido para atacar e que não tinha relevância para a tarefa em mãos, sacrificando-se pelo sucesso do grupo e tentando piratear o sistema de avaliação responsável por analisar o seu desempenho. É fácil desvalorizar este incidente, porque não houve lesados e o dano económico foi mínimo, mas, na minha opinião, um enxame que possuísse capacidades maiores, mas um nível semelhante de desalinhamento, poderia ter causado um dano catastrófico. Dado o ritmo crescente das capacidades de desenvolvimento da IA, a minha preocupação é que em 6-12 meses um enxame destes possa ser capaz de tomar a internet com uma rede de robôs persistente (causando potencialmente centenas de milhares de milhões de dólares de prejuízos) e que a escala dos danos continue a aumentar a partir daí se a IA se tornar mais poderosa, sem os mecanismos de proteção necessários. Também é fácil desvalorizar o OAI-HF como sendo o falhanço de uma empresa, mas creio que isso seria um erro. De forma semelhante, embora menos grave, têm ocorrido incidentes em toda a indústria, incluindo na Anthropic, e acredito que é dever de qualquer empresa de IA de ponta agir como se tivesse passado pelo mesmo que a OAI-HF.

Estou por isso a propor um plano em três passos, com o objetivo de regular o ritmo da fronteira: construir IA a um ritmo equilibrado, que procura garantir a sua segurança, ao mesmo tempo que alcança os seus benefícios e lida com dilemas geopolíticos importantes. Para ser claro: ditar o rumo não significa interromper o modelo de treino ou o progresso técnico, mas sim garantir que as empresas levam o tempo adequado para alinhar e salvaguardar os seus modelos e que avaliadores externos confirmem isto. O nosso modelo de regulação do ritmo de desenvolvimento é uma tentativa de fortalecer ainda mais o nosso compromisso e encorajar uma corrida para o topo. O primeiro passo é algo com que a Anthropic se está a comprometer unilateralmente (e que apela aos governos que exijam a outras empresas de ponta que acompanhem). O segundo passo exige coordenação de toda a indústria.

O terceiro passo exige coordenação global. Os passos não precisam de ser dados estritamente por esta ordem e alguns podem ser bem mais difíceis de dar do que outros, mas considero-os um enquadramento útil na forma de pensar sobre o que temos de alcançar. Os passos são:

1. Avaliadores integrados. Cada empresa de ponta de IA compromete-se a dar acesso constante e semelhante ao de um funcionário a uma equipa de avaliadores terceiros integrados (como a METR), cujo papel é o de verificar a adesão a práticas e compromissos de segurança, reportar incidentes e ajudar a avaliar o alinhamento não apenas de modelos de IA completos, mas também criar processos e fluxos de treino. Este é o passo decisivo para garantir a verificação de quaisquer compromissos sobre o ritmo de desenvolvimento e tem um precedente no setor bancário, que por vezes envolve “supervisores” regulatórios integrados com os funcionários. A Anthropic está agora a comprometer-se de forma unilateral com este passo. Queremos que isto seja parte de uma vaga mais ampla para duplicar esforços sobre a nossa segurança e o nosso trabalho de alinhamento.
2. Coordenação Democrática. As empresas de ponta de IA que estão em países democráticos coordenam-se para estabelecer padrões comuns de segurança, bem como limites ao ritmo do progresso não verificado da IA. Algumas formas de cooperação que teriam impacto na regulação do ritmo têm desafios legais e vão exigir apoio governamental.
3. Coordenação Global. Os EUA e outros governos democráticos tentam coordenar-se com governos autoritários, até ao limite do possível, enquanto continuam a levar a sério os desafios de verificar o cumprimento das regras.

No resto deste ensaio, descrevo cada um destes passos, mas, em primeiro lugar, creio que é importante dizer especificamente como é que a regulação do ritmo nos vai permitir tornar o processo de desenvolvimento da IA mais seguro. Há demasiado em jogo para que o controlo do ritmo seja uma mera formalidade — é preciso aproveitar com sabedoria o tempo que este nos concede.

Porquê Regular o Ritmo?

A ideia de fazer uma pausa ou abrandar a IA anda a ser ventilada desde 2023 e acho que à altura não fazia muito sentido. A questão sempre foi: o que é que se faria com o tempo que sobrasse? Os modelos de IA dessa altura ainda não eram poderosos o suficiente para atuar como agentes no mundo de forma coerente e não eram capazes de dissimulação, manipulação, engano ou ciberataques significativos. Abrandar para lidar com os riscos de alinhamento parece que é como tentar estudar a psicologia humana com recurso a experiências com bactérias. Hoje, porém, a situação é completamente diferente. Os modelos atuais são quase uma mina de ouro sem fim de compreensão sobre como construir bem a IA e o que por vezes corre mal se não for bem construída. Acredito que, se ao abrandar conseguíssemos nem que fosse um ano ou dois extra, antes de os modelos atingirem níveis de capacidade fulcrais, e usássemos esse tempo para melhorar o alinhamento, poderíamos reduzir de forma considerável o risco de que algo possa correr verdadeiramente mal. Uma estratégia de regulação de ritmo coordenada daria aos criadores de ponta de IA o tempo para levar a cabo este trabalho vital, sem sacrificar a vantagem comercial ou a liderança dos Estados Unidos na IA. De forma mais geral, a sociedade deve ter uma palavra a dizer sobre como esta tecnologia é usada e mais tempo para as deliberações públicas necessárias — que a regulação do ritmo nos traria — é, sem dúvida, uma coisa boa.

Em concreto, um ritmo mais lento permitiria às empresas focarem-se e dedicarem ainda mais recursos às seguintes áreas (as quais já são prioridades máximas da Anthropic):

• Excelência Operacional. Treinar e desenvolver os modelos de hoje de IA é um desafio operacional enorme, que envolve milhares de pessoas, milhões de chips e infraestrutura da mais complexa em toda a história da tecnologia. Muitas coisas podem correr mal, não apenas porque as empresas não têm alguma teoria ou perspetiva importante, mas porque há problemas na execução. Por exemplo, temos provas de que os incidentes de alinhamento recentes que reportámos foram provocados em parte por filtragem imperfeita de ambientes de aprendizagem de reforço com falhas. Este foi um esforço que nós e os nossos fornecedores executámos de forma razoavelmente diligente, mas não bem o suficiente. Monitorização, ambiente de isolamento de testes, integridade dos sistemas de treino e anomalias nos dados são áreas extremamente complicadas, onde os problemas operacionais surgem uma e outra vez. Temos entre nós as equipas mais competentes do mundo nestas áreas, mas há simplesmente demasiado a fazer ao mesmo tempo. Ao trabalhar com um ritmo mais moderado, podemos atingir uma excelência operacional muito maior. Há precedente de situação em que se operam sistemas tecnologicamente complexos e críticos em termos de segurança milhões de vezes sem nada correr mal — por exemplo, os aviões comerciais —, mas é preciso tempo para aprender a fazê-lo bem.
• Alinhamento. Fizemos progressos claros no alinhamento — treinando modelos para que se mantenham seguros, éticos, em conformidade com as nossas diretrizes e verdadeiramente úteis (os princípios que constam na Constituição do Claude). Mas há muito mais a fazer para garantir que o nosso treino de alinhamento acompanha o crescimento das capacidades do modelo. Exemplos raros e inesperados de comportamento indesejável continuam a ocorrer; o tempo extra conseguido graças a uma fronteira de ritmo mais regulado ajudaria os nossos investigadores a melhorar o nosso entendimento do que causa estas questões e a desenvolver melhores técnicas para as prevenir.
• Interpretabilidade. De forma semelhante, a interpretabilidade — a ciência da compreensão do que aconteceu dentro dos modelos de IA — fez enormes progressos ao longo dos últimos anos e tem um papel cada vez mais importante na auditoria dos nossos modelos antes de serem divulgados. Pode ser usada quase como uma ressonância magnética do “cérebro” da IA, ajudando-nos a perceber as razões subjacentes de um determinado comportamento. Por exemplo, usámos métodos de interpretabilidade para analisar motivações não verbalizadas nos recentes incidentes de alinhamento que temos estado a investigar. Mas estes métodos nem sempre produzem resultados claros e fiáveis. Apesar de todo o progresso, ainda compreendemos apenas uma pequena fração do que se passa dentro destes modelos. Um esforço focado em melhorar as nossas técnicas de interpretabilidade, até de forma mais rápida do que temos neste momento, poderia alcançar grandes progressos em um a dois anos e teríamos muito material experimental baseado nos incidentes que já ocorreram.

• Testes e Avaliação. Os testes e avaliação de modelos de IA tornam-se mais difíceis à medida que eles aumentam as suas capacidades. Modelos mais inteligentes são mais capazes de enganar os testes e, portanto, podem parecer alinhados ao mesmo tempo que têm graves problemas que não são detetados. Construir um leque mais engenhoso e mais amplo de testes de avaliação, bem como análises de interpretabilidade para fazer verificações cruzadas, seria imensamente valioso e muito progresso pode ser feito nisto nos próximos um a dois anos.

Avaliadores integrados

O primeiro passo neste plano de três fases, aquele com que a Anthropic se está a comprometer de forma unilateral, são avaliadores integrados que tenham acesso semelhante ao dos funcionários para verificar práticas de segurança e reportar incidentes.

Integrar avaliadores pode parecer um passo pequeno ou inconsequente, mas muitas vezes as coisas que parecem mais aborrecidas ou procedimentais são na verdade as mais essenciais. Os avaliadores integrados são, na verdade, uma prática bastante radical, que vai além de tudo o que qualquer empresa de IA está a fazer hoje em dia, e que tem os seguintes benefícios:

• Capacidade de verificação. Os avaliadores integrados podem verificar ao nível dos pormenores práticos se uma empresa de IA está de facto a seguir as práticas de treino, desenvolvimento, operacionais e de salvaguarda que diz estar a seguir. Quaisquer compromissos no ritmo vão inevitavelmente envolver muita ambiguidade, avaliações subjetivas e “a letra da lei vs. o espírito da lei”, e parece vital ter uma entidade independente neutra que consegue ver os detalhes.
• Transparência. Independentemente dos compromissos que fazemos, o público merece saber o que se passa. A Anthropic tem apoiado a transparência já há muito tempo: apoiámos legislação de transparência quando a maioria da indústria era contra qualquer tipo de regulação e as nossas fichas técnicas dos modelos e relatórios de risco têm centenas de páginas. Mas continuamos a ser nós quem escolhe o que incluir e o que omitir. Os avaliadores integrados mudarão esta dinâmica.
• Segunda Opinião. Para além de verificar compromissos formais e informar o público, os avaliadores integrados podem simplesmente dar uma segunda opinião, livre de incentivos comerciais. Muitos benefícios de segurança podem simplesmente vir de avaliadores que apontam algo que os funcionários não tinham pensado, mas estão dispostos a consertar assim que o souberem.

Por causa destes benefícios, qualquer proposta de regulação de ritmo irá provavelmente funcionar de forma muito melhor se começar com avaliadores integrados.

Estes avaliadores integrados devem ter acesso constante a autorizações e ferramentas semelhantes às dos empregados internos que fazem avaliações de risco semelhantes. Em concreto, a Anthropic tenciona convidar uma equipa de revisão externa integrada, equipada com o seguinte, num futuro próximo:

• Secretárias nos nossos escritórios, credenciais de acesso e computadores da empresa.
• Acesso aos locais de trabalho, ferramentas e autorizações mais comparáveis àqueles que as equipas de avaliação de risco internas têm. Abriremos algumas exceções, como aquelas que a lei ou os nossos contratos exigem, ou para proteger informação privada dos nossos clientes e parceiros. Iremos também estabelecer normas internas fortes que reforcem o acesso dos avaliadores a informação relevante, incluindo através de conversas ao vivo com os funcionários.
•  Um contrato que equilibre as complexidades mencionadas acima. Avaliadores externos devem ter o direito de publicar as principais conclusões sobre níveis de risco, incidentes, práticas e o acesso que receberam ou não receberam — sem controlo editorial da Anthropic. Teremos a prerrogativa estrita de ocultar informação confidencial de terceiros, protegida por segredo profissional, comercialmente sensível ou crítica para a segurança, mas não poderemos ocultar conclusões só por serem desfavoráveis. Os avaliadores podem dizer publicamente se uma ocultação retirou algo importante das suas conclusões.

Este é um passo raro para uma empresa, mas achamos que é importante validar o modelo de integração de auditores externos. Uma vez mais, instamos outras empresas de fronteira a fazerem o mesmo.

Abrandar o Ritmo Dentro das Democracias

Quando os avaliadores integrados estiverem a operar num conjunto considerável de empresas de IA dos EUA, a regulação verificável do ritmo de desenvolvimento torna-se mais viável. Em concreto, passa a ser possível fasear o avanço com base em propriedades detalhadas dos modelos ou nas etapas do processo de treino.

O método mais eficaz de regulação de ritmo é através da regulação que abrange todas as empresas de IA de fronteira dos EUA, já que isso abarca até aquelas que não querem colaborar de forma voluntária. A Anthropic há muito que apoia uma regulação sensata e focada da IA, especificamente projetos de lei que se focam na transparência e em auditorias de terceiros. Acredito que todos os laboratórios de fronteira devem colaborar com o governo para formalizar a ideia de avaliadores integrados permanentes para melhor prevenir e documentar incidentes de alinhamento internos como aqueles que aconteceram nos últimos meses, e para implementar regulação focada em manter as capacidades, equilibrando-as com a segurança.

Infelizmente, aprovar leis pode demorar e a IA está a avançar muito rapidamente. Por isso, em paralelo com o caminho regulatório, as empresas de IA podem e devem trabalhar juntas voluntariamente para definir padrões — um processo que acredito que irá correr melhor com a capacidade de verificação fornecida pelos avaliadores integrados permanentes. Por razões de concorrência, seria útil que o governo dos EUA mediasse ou pelo menos viabilizasse este debate — não tem de participar, mas tem mesmo de conceder uma isenção de âmbito limitado para certas conversações sobre segurança. Este diálogo também pode ocorrer através de grupos da indústria que mantêm alguma ligação ao governo — por exemplo, o mecanismo sugerido por Demis Hassabis. De uma forma ou de outra, as conversações devem avançar rapidamente.

De forma geral, estou entusiasmado com a regulação do ritmo de desenvolvimento em função do que um determinado sistema de IA de fronteira consegue realmente fazer e do seu nível comprovado de segurança. Por exemplo, um esquema possível pode ser um conjunto de “checkpoints”: se os modelos têm a capacidade X, então precisam de ser acompanhados de certificações das propriedades de alinhamento Y e Z — como algumas combinações de avaliações, análises de interpretabilidade e auditorias de ambientes de treino — que demonstram as suas características de alinhamento. Neste exemplo, o X pode ser “o modelo é capaz de fugir ou derrotar a maior parte dos métodos de isolamento em ambiente controlado” e o Y pode ser o que quer que seja necessário para tornar muito improvável que o modelo tenha propensão para fugir do seu ambiente e conquistar um grande número de computadores.

Devemos também considerar regular o ritmo limitando os ingredientes que compõem os modelos de fronteira, como a capacidade de computação afeta ao treino, a natureza das operações de treino ou a utilização interna de IA para otimizar a IA. Tenho receio que algumas destas medidas possam ser mais fáceis de ludibriar do que o comportamento visível do sistema, mas este é o tipo de tema que vale a pena discutir com os avaliadores integrados.

Regular o ritmo dentro das democracias será limitado pela liderança que as empresas dos EUA têm sobre regimes autoritários, principalmente o Partido Comunista Chinês. Se abrandarmos mais do que isto, então os (não regulados em termos de ritmo) projetos ligados ao PCC irão avançar, criando um risco de segurança nacional significativo. Concordo com o secretário Bessent quando diz que uma vantagem chinesa na IA colocaria um grande perigo para os Estados Unidos e para o mundo. Os projetos associados ao PCC vão correr os riscos de alinhamento que as empresas dos EUA estão cuidadosamente a prevenir e, mesmo que evitem esses riscos, irão estar numa posição para dominar militarmente as democracias (por exemplo, com drones guiados por IA). Portanto, uma parte fulcral da regulação do ritmo nas democracias é manter a vantagem da IA das democracias sobre as autocracias o máximo possível, para nos dar o espaço para respirar de que precisamos, a fim de conseguir uma regulação de ritmo eficaz.

Os principais passos que podemos dar para lidar com esta lacuna são:

• Não vender chips de IA poderosos ou equipamento de fabrico de semicondutores à China e combater as operações de tráfico de chips e de acesso remoto a data centers fora da China. Os chips vão ser o fator determinante do poder da China em termos de IA.
• Combater a destilação não autorizada de modelos por parte de empresas sediadas em regimes autoritários. A destilação de modelos de fronteira permite a empresas que estão a ficar para trás reduzirem a distância com uma fração do custo que teria desenvolverem a sua IA de forma independente.
• Fortalecer a segurança nas empresas de IA e prevenir a usurpação dos parâmetros dos modelos.

As empresas e o governo dos EUA devem cooperar para tornar estes passos o mais concretos possível. A Anthropic tem consistentemente defendido todas estas medidas, porque sempre entendemos que seriam essenciais para qualquer regulação de ritmo.

Se executarmos bem estas medidas, acredito que isso abrandará o progresso da China o suficiente para aumentar a vantagem da América ao longo dos próximos três a cinco anos — a janela de tempo em que a IA se torna geopoliticamente mais importante.

Alguns pensam que estas medidas tornam mais difícil a cooperação com a China, mas eu acho que a verdade é o oposto: estas medidas aumentam a vantagem das democracias, o que torna um acordo mais provável no futuro.

Regular o Ritmo Global

Em paralelo com a regulação de ritmo nas democracias, também devemos tentar alcançar uma regulação de ritmo da fronteira a nível mundial, embora isto seja muito mais difícil de conseguir. A regulação de ritmo global exigirá cooperação com a China, o país autocrático que tem de longe as capacidades de IA mais avançadas. Não podemos ser ingénuos nisto: o risco geopolítico é tão elevado que é provável que existam limites estritos ao que poderá ser alcançado, especialmente no início. Se restringirmos muito as nossas capacidades de IA acreditando que a China irá fazer o mesmo, e depois a China falha, a IA pode ser tão poderosa que essa falha apenas pode levar a um domínio geopolítico. Portanto, qualquer acordo tem de ter uma verificabilidade de ferro ou ser limitado o suficiente para que a falha não seja militarmente existencial. Suspeito que não só os EUA, mas também a China, têm estas preocupações e ansiedades. Devemos abordar qualquer decisão de regulação de ritmo global, sobretudo a curto prazo, de forma a que a vantagem dos EUA e dos seus aliados esteja protegida.

Há vários níveis de um entendimento possível, alguns dos quais acho que são perfeitamente exequíveis (tal como já sugeri) e alguns dos quais sou muito cético que sejam possíveis — embora devamos tentar. Por ordem de dificuldade crescente:

• Nível 1. Um acordo que proíbe alguns usos estritos e obviamente perigosos da IA, como usar a IA para a produção de armas biológicas ou permitir a utilizadores que o façam. Os ataques bioterroristas são maus para toda a gente, incluindo tanto os EUA como os adversários dos EUA, portanto um acordo nisto é provavelmente possível.
• Nível 2. Um acordo de ambas as partes para testar os seus modelos antes de serem divulgados e encontrar riscos agudos em áreas como a cibersegurança, a biologia e o alinhamento. Como dito antes, isto pode ser feito através de um organismo internacional de normas. Na verdade, creio que criar um organismo destes é provavelmente fazível, mas dar-lhe verdadeira capacidade coerciva será um desafio, e a dificuldade estará na verificação de que ambos os lados não têm modelos secretos que não testam, mas que podem usar em segredo (p. ex., com aplicações militares).

• Nível 3. Algum tipo de “limite de velocidade” ao ritmo de autoaperfeiçoamento recursivo (RSI). À medida que os modelos constroem modelos futuros , o ritmo de crescimento pode tornar-se extraordinariamente rápido. Abrandar o ritmo de “extremamente rápido” para “só um pouco rápido” faz perder relativamente pouco da vantagem estratégica, ao mesmo tempo que potencialmente melhora em muito a segurança. Isto pode ser visto de forma análoga aos tratados SALT — limitar o número de mísseis limitou o potencial de destruição, ao mesmo tempo que preservou a capacidade de dissuasão de cada país. Acho que um acordo do género seria difícil, mas está no limite de ser possível.
• Nível 4. Uma regulação de ritmo total ou até uma “pausa”, na qual os governos que participem concordam limitar substancialmente o ritmo geral de desenvolvimento de IA. Apoio que se lance esta proposta para discussão, mas acho improvável que aconteça num tempo próximo: abandonar um acordo destes ao fugir à monitorização pode alterar radicalmente o equilíbrio do poder global, por isso acho que os incentivos para o fazer seriam enormes e o nível de confiança de que precisaríamos é muito elevado.

Qualquer cooperação que venhamos a ter com a China irá alargar a quantidade de tempo que temos para gastar a regular o ritmo da fronteira nas nações democráticas. Devemos apontar para o topo, ao mesmo tempo que entendemos que os níveis mais baixos são mais prováveis e realistas.

Por fim, é importante notar que, mesmo que não consigamos chegar a acordos formais, mudar simplesmente normas informais pode ter algum valor. Partilhar informação sobre autoaperfeiçoamento recursivo e sobre o desalinhamento dos modelos pode ajudar a convencer toda a gente de que não é do seu interesse ser temerário.

Conclusão

Continuo a acreditar que a IA pode melhorar enormemente a qualidade da vida humana. O meu desejo de alcançar esses benefícios está intacto. Mas os benefícios só serão alcançados se construirmos a tecnologia da forma correta e — desde que usemos bem o tempo que ganharmos — vale a pena adotar uma cautela excecional para acertar em todos os detalhes. O progresso continuará a ser relativamente rápido e podemos usar este tempo para avançar a ciência da interpretabilidade, melhorar a segurança operacional e o rigor nas empresas de IA de fronteira e construir modelos em cujo alinhamento tenhamos muito mais confiança. As medidas que proponho para avançar a fronteira a um ritmo seguro não são fáceis. Mas acredito que devemos à humanidade tentar.