Escrito por: Azuma, Odaily Planet Daily
Na manhã de 22 de novembro, horário de Pequim, o fundador da Slow Mist, Yuxian, postou um caso peculiar em sua conta pessoal no X - a carteira de um usuário foi 'hackeada' por uma IA...
A sequência de eventos do caso é a seguinte.
Na madrugada de hoje, o usuário do X r_ocky.eth revelou que anteriormente havia desejado usar o ChatGPT para criar um bot de negociação auxiliar para pump.fun.
r_ocky.eth apresentou suas necessidades ao ChatGPT, que retornou com um código, que realmente poderia ajudar r_ocky.eth a implementar um bot que atendesse suas necessidades, mas ele nunca imaginou que o código esconderia um conteúdo de phishing - r_ocky.eth conectou sua carteira principal e perdeu, assim, 2500 dólares.
Pelas capturas de tela postadas por r_ocky.eth, o código fornecido pelo ChatGPT enviaria a chave privada do endereço para um site de API de phishing, que foi a causa direta do roubo.
Enquanto r_ocky.eth caiu na armadilha, os atacantes reagiram rapidamente, transferindo todos os ativos da carteira de r_ocky.eth para outro endereço (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) em menos de meia hora. Em seguida, r_ocky.eth rastreou na blockchain e encontrou um endereço que parece ser a carteira principal dos atacantes (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
As informações na blockchain mostram que o endereço atualmente acumulou mais de 100 mil dólares em 'fundos roubados', e r_ocky.eth suspeita que esse tipo de ataque pode não ser um caso isolado, mas sim um evento de ataque que já possui certa escala.
Depois do ocorrido, r_ocky.eth expressou sua decepção e afirmou que havia perdido a confiança na OpenAI (empresa desenvolvedora do ChatGPT), e pediu que a OpenAI tomasse medidas rapidamente para limpar conteúdos de phishing anormais.
Então, como um dos aplicativos de IA mais populares atualmente, por que o ChatGPT forneceria conteúdo de phishing?
Em relação a isso, o Yuxian caracterizou a causa raiz do incidente como um 'ataque de envenenamento de IA' e apontou que existem comportamentos fraudulentos comuns em LLMs como ChatGPT e Claude.
O chamado 'ataque de envenenamento de IA' refere-se a ações que visam intencionalmente corromper os dados de treinamento da IA ou manipular os algoritmos da IA. Os atacantes podem ser pessoas internas, como funcionários insatisfeitos, ou hackers externos, cujos motivos podem incluir causar danos à reputação e à marca, alterar a credibilidade das decisões da IA, desacelerar ou prejudicar processos de IA, entre outros. Os atacantes podem distorcer o processo de aprendizado do modelo, inserindo dados com rótulos ou características enganosas, levando o modelo a produzir resultados errôneos durante a implementação e operação.
Considerando este incidente, é muito provável que o ChatGPT tenha fornecido o código de phishing porque o modelo de IA foi contaminado por materiais que continham conteúdo de phishing durante o treinamento, mas a IA aparentemente não conseguiu identificar o conteúdo de phishing escondido sob materiais comuns. Após aprender, a IA forneceu esses conteúdos de phishing ao usuário, resultando no incidente.
Com o rápido desenvolvimento e adoção generalizada da IA, a ameaça de 'ataques de envenenamento' tornou-se cada vez maior. Neste incidente, embora o valor absoluto da perda não seja grande, o impacto potencial desse tipo de risco é suficiente para gerar alerta - supondo que ocorra em outros campos, como a condução assistida por IA...
Ao responder a perguntas de usuários, o Yuxian mencionou uma potencial medida para evitar esse tipo de risco, que seria a adição de algum mecanismo de auditoria de código pelo ChatGPT.
A vítima r_ocky.eth também afirmou que já contatou a OpenAI sobre o assunto. Embora ainda não tenha recebido uma resposta, espera que este caso possa ser uma oportunidade para a OpenAI reconhecer esses riscos e apresentar soluções potenciais.