Dezenas de cientistas importantes assinam esforço para prevenir armas biológicas de IA

Dario Amodei, executivo-chefe da start-up de IA Anthropic, disse ao Congresso no ano passado que a nova tecnologia de IA poderá em breve ajudar pessoas não qualificadas, mas malévolas. criar ataques biológicos em grande escalacomo a liberação de vírus ou substâncias tóxicas que causam doenças e mortes generalizadas.

Os senadores de ambos os partidos ficaram alarmados, enquanto os investigadores de IA na indústria e no meio académico debatiam a gravidade da ameaça.

Agora, mais de 90 biólogos e outros cientistas especializados em tecnologias de IA utilizadas para conceber novas proteínas – os mecanismos microscópicos que impulsionam todas as criações em biologia – assinou um acordo que procura garantir que a sua investigação apoiada pela IA avançará sem expor o mundo a danos graves.

Os biólogos, que incluem a laureada com o Nobel Frances Arnold e representam laboratórios nos Estados Unidos e noutros países, também argumentaram que as tecnologias mais recentes teriam muito mais benefícios do que negativos, incluindo novas vacinas e medicamentos.

“Enquanto cientistas envolvidos neste trabalho, acreditamos que os benefícios das actuais tecnologias de IA para a concepção de proteínas superam em muito o potencial de danos, e gostaríamos de garantir que a nossa investigação continue a ser benéfica para todos no futuro”, diz o acordo.

O acordo não visa suprimir o desenvolvimento ou a distribuição de tecnologias de IA. Em vez disso, os biólogos pretendem regulamentar o uso de equipamentos necessários para fabricar novo material genético.

Este equipamento de produção de ADN é, em última análise, o que permite o desenvolvimento de armas biológicas, disse David Baker, diretor do Instituto de Design de Proteínas da Universidade de Washington, que ajudou a conduzir o acordo.

“O design de proteínas é apenas o primeiro passo na produção de proteínas sintéticas”, disse ele em entrevista. “Você então tem que realmente sintetizar o DNA e mover o design do computador para o mundo real – e esse é o local apropriado para regular.”

O acordo é um dos muitos esforços para pesar os riscos da IA ​​em relação aos possíveis benefícios. Enquanto alguns especialistas alertam que as tecnologias de IA podem ajudar a espalhar a desinformação, substituir empregos a um ritmo invulgar e talvez até destruir a humanidade, as empresas tecnológicas, os laboratórios académicos, os reguladores e os legisladores estão a lutar para compreender estes riscos e encontrar formas de os enfrentar.

A empresa do Dr. Amodei, a Anthropic, constrói grandes modelos de linguagem, ou LLMs, o novo tipo de tecnologia que impulsiona os chatbots online. Quando testemunhou perante o Congresso, argumentou que a tecnologia poderia em breve ajudar os atacantes a construir novas armas biológicas.

Mas ele reconheceu que isso não era possível hoje. A Anthropic realizou recentemente um estudo detalhado mostrando que se alguém estivesse tentando adquirir ou projetar armas biológicas, os LLMs seriam um pouco mais úteis do que um mecanismo de busca comum na Internet.

Amodei e outros temem que, à medida que as empresas melhorem os LLMs e os combinem com outras tecnologias, surgirá uma séria ameaça. Ele disse ao Congresso que faltavam apenas dois ou três anos para isso.

A OpenAI, criadora do chatbot online ChatGPT, posteriormente realizou um estudo semelhante que mostrou que os LLMs não eram significativamente mais perigosos do que os motores de busca. Aleksander Mądry, professor de ciência da computação no Instituto de Tecnologia de Massachusetts e chefe de preparação da OpenAI, disse que esperava que os pesquisadores continuassem a melhorar esses sistemas, mas que ainda não tinha visto nenhuma evidência de que eles seriam capazes de criar novas armas biológicas. .

Os LLMs de hoje são criados pela análise de enormes quantidades de texto digital coletado na Internet. Isto significa que regurgitam ou recombinam o que já está disponível online, incluindo informações existentes sobre ataques biológicos. (O New York Times processou a OpenAI e sua parceira, a Microsoft, acusando-os de violação de direitos autorais durante este processo.)

Mas, num esforço para acelerar o desenvolvimento de novos medicamentos, vacinas e outros materiais biológicos úteis, os investigadores estão a começar a construir sistemas de IA semelhantes que podem gerar novos designs de proteínas. Os biólogos dizem que essa tecnologia também poderia ajudar os atacantes a conceber armas biológicas, mas salientam que a construção efectiva das armas exigiria um laboratório multimilionário, incluindo equipamento de produção de ADN.

“Existem alguns riscos que não exigem milhões de dólares em infraestrutura, mas esses riscos já existem há algum tempo e não estão relacionados à IA”, disse Andrew White, cofundador da organização sem fins lucrativos Future House e um dos biólogos. quem assinou o acordo.

Os biólogos apelaram ao desenvolvimento de medidas de segurança que impediriam que equipamentos de produção de ADN fossem utilizados com materiais nocivos – embora não esteja claro como essas medidas funcionariam. Eles também pediram análises de segurança de novos modelos de IA antes de lançá-los.

Eles não argumentaram que as tecnologias deveriam ser reprimidas.

“Essas tecnologias não deveriam ser mantidas apenas por um pequeno número de pessoas ou organizações”, disse Rama Ranganathan, professor de bioquímica e biologia molecular na Universidade de Chicago, que também assinou o acordo. “A comunidade de cientistas deve ser capaz de explorá-los livremente e contribuir para eles.”