Uma das tradições da Def Con, a maior conferência de hackers do mundo, é o concurso em que os invasores são incumbidos de encontrar vulnerabilidades em softwares. Mas na 31ª edição do evento, realizada entre os dias 10 e 13 de agosto em Las Vegas, nos Estados Unidos, o grande desafio foi outro: testar se a Inteligência Artificial (IA) desenvolvida por empresas como OpenAI e Google poderia cometer erros e ser tendenciosa – a conclusão foi que sim.
Segundo informações da NBCNEWS, centenas de pessoas se reuniram no centro de conferências Caesars Forum para ter a chance de enganar alguns dos mais novos e populares chatbots, entre eles o Bard, do Google; ChatGPT, da OpenAI; e LLaMA, da Meta. O conceito do concurso – chamado Generative Red Team Challenge e apoiado pelo Escritório de Ciência, Tecnologia e Política da Casa Branca – é o de que tornar um produto mais seguro significa trazer pessoas para identificar suas falhas.
O concurso pediu para que os participantes realizassem as chamadas “injeções imediatas”, em que o chatbot fica confuso com o que o usuário digita e fornece uma resposta não intencional. Todos sentaram-se em frente a um laptop e não era possível saber qual dos chatbots eles estavam trabalhando.
Falhas e imprecisões
Os resultados finais do concurso, incluindo as principais falhas identificadas, não serão divulgados até fevereiro de 2024, dando tempo suficiente para as empresas resolvê-las. No entanto, segundo a NBCNEWS, os hackers encontraram facilidade para convencer os bots a dizerem coisas claramente falsas. Por outro lado, os invasores tiveram dificuldades para difamar celebridades, associando-as a ataques terroristas, por exemplo.
De acordo com a Bloomberg, uma das participantes conseguiu enganar um modelo de IA para que ele admitisse um resultado falso em uma conta de adição. Outro participante fez com que o modelo de IA que testou alegasse falsamente que Barack Obama nasceu no Quênia – na verdade ele nasceu no Havaí, nos Estados Unidos. Em mais um caso, um repórter da Bloomberg que participou do encontro enganou um sistema para que ele desse instruções de espionagem.
Para o consultor de segurança Rumman Chowdhury, que supervisionou o concurso, é extremamente difícil para esses chatbots serem factualmente precisos de forma confiável. “A questão é quem decide o que é e o que não é desinformação quando algo é uma área cinzenta. A desinformação será um problema persistente por um tempo”, concluiu.
