Uma equipe da Microsoft afirma ter usado inteligência artificial para descobrir uma vulnerabilidade “zero-day” nos sistemas de biossegurança usados para prevenir o uso indevido de DNA.
Esses sistemas de triagem são projetados para impedir que as pessoas comprem sequências genéticas que poderiam ser usadas para criar toxinas ou patógenos mortais. Mas agora, pesquisadores liderados pelo cientista-chefe da Microsoft, Eric Horvitz, afirmam ter descoberto como contornar as proteções de uma maneira até então desconhecida pelos defensores da tecnologia.
A equipe descreveu seu trabalho hoje na revista Science .
Horvitz e sua equipe se concentraram em algoritmos de IA generativa que propõem novas formas de proteínas. Esses tipos de programas já estão impulsionando a busca por novos medicamentos em startups bem financiadas, como a Generate Biomedicines e a Isomorphic Labs, uma spin-off do Google.
O problema é que esses sistemas são potencialmente de “dupla utilização”. Eles podem usar seus conjuntos de treinamento para gerar moléculas tanto benéficas quanto prejudiciais.
A Microsoft afirma ter iniciado um teste de “equipe vermelha” sobre o potencial de uso duplo da IA em 2023, a fim de determinar se o “design de proteínas por IA adversária” poderia ajudar bioterroristas a fabricar proteínas nocivas.
A medida de segurança que a Microsoft atacou é o que se conhece como software de triagem de biossegurança. Para produzir uma proteína, os pesquisadores geralmente precisam encomendar uma sequência de DNA correspondente de um fornecedor comercial, que então a inserem em uma célula. Esses fornecedores usam software de triagem para comparar os pedidos recebidos com toxinas ou patógenos conhecidos. Uma correspondência próxima acionará um alerta.
Para conceber seu ataque, a Microsoft utilizou diversos modelos generativos de proteínas (incluindo um modelo próprio, chamado EvoDiff) para redesenhar toxinas — alterando sua estrutura de forma a permitir que elas escapassem dos softwares de triagem, mas previa-se que mantivessem intacta sua função letal.
Os pesquisadores afirmam que o exercício foi inteiramente digital e que nunca produziram proteínas tóxicas. Isso foi feito para evitar qualquer percepção de que a empresa estivesse desenvolvendo armas biológicas.
Antes de publicar os resultados, a Microsoft afirma ter alertado o governo dos EUA e os fabricantes de software, que já corrigiram seus sistemas, embora algumas moléculas projetadas por IA ainda consigam escapar da detecção.
“A solução está incompleta e o estado da arte está mudando. Mas isso não é algo que se resolva de uma vez por todas. É o começo de ainda mais testes”, diz Adam Clore, diretor de P&D de tecnologia da Integrated DNA Technologies, uma grande fabricante de DNA, e coautor do relatório da Microsoft. “Estamos numa espécie de corrida armamentista.”
Para garantir que ninguém faça mau uso da pesquisa, os pesquisadores afirmam que não divulgarão parte do código e não revelaram quais proteínas tóxicas pediram à IA para redesenhar. No entanto, algumas proteínas perigosas são bem conhecidas, como a ricina — um veneno encontrado na mamona — e os príons infecciosos que causam a doença da vaca louca.
“Essa descoberta, combinada com os rápidos avanços na modelagem biológica habilitada por IA, demonstra a necessidade clara e urgente de procedimentos aprimorados de triagem da síntese de ácidos nucleicos, juntamente com um mecanismo confiável de fiscalização e verificação”, afirma Dean Ball, pesquisador da Foundation for American Innovation, um centro de estudos em São Francisco.
Ball observa que o governo dos EUA já considera a triagem de pedidos de DNA uma linha de segurança fundamental. Em maio passado, em uma ordem executiva sobre segurança em pesquisa biológica , o presidente Trump solicitou uma reformulação geral desse sistema, embora até o momento a Casa Branca não tenha divulgado novas recomendações.
Outros duvidam que a síntese comercial de DNA seja a melhor defesa contra agentes mal-intencionados. Michael Cohen, pesquisador de segurança de IA na Universidade da Califórnia, Berkeley, acredita que sempre haverá maneiras de disfarçar sequências e que a Microsoft poderia ter tornado seu teste mais difícil.
“O desafio parece frágil, e as ferramentas improvisadas que eles usam falham bastante”, diz Cohen. “Parece haver uma relutância em admitir que, em breve, teremos que recuar desse suposto ponto de estrangulamento, então devemos começar a procurar terreno que possamos de fato manter.”
Cohen afirma que a biossegurança provavelmente deveria ser incorporada aos próprios sistemas de IA — seja diretamente ou por meio de controles sobre as informações que eles fornecem.
Mas Clore afirma que monitorar a síntese de genes ainda é uma abordagem prática para detectar ameaças biológicas, já que a produção de DNA nos EUA é dominada por algumas poucas empresas que trabalham em estreita colaboração com o governo. Em contrapartida, a tecnologia usada para construir e treinar modelos de IA é mais difundida. “Não dá para voltar atrás”, diz Clore. “Se você tem os recursos para tentar nos enganar e nos fazer produzir uma sequência de DNA, provavelmente também consegue treinar um modelo de linguagem complexo.”










