Original | Odaily Planet Daily（@OdailyChina）
Autor｜Azuma（@azuma_eth）
Na manhã de 22 de novembro, horário de Pequim, o fundador da Slow Fog, Yu Xian, postou um caso curioso em seu pessoal X - a carteira de um usuário foi “hackeada” pela IA...
Os detalhes deste caso são os seguintes.
Na madrugada de hoje, o usuário X r_ocky.eth revelou que anteriormente esperava usar o ChatGPT para criar um bot de negociação auxiliar pump.fun.
r_ocky.eth fez uma solicitação ao ChatGPT, que respondeu com um código que realmente poderia ajudar r_ocky.eth a implantar um bot que atendesse às suas necessidades, mas ele nunca imaginou que o código esconderia um conteúdo de phishing - r_ocky.eth conectou sua carteira principal e, como resultado, perdeu 2500 dólares.
A partir da captura de tela postada por r_ocky.eth, o código fornecido pelo ChatGPT enviaria a chave privada do endereço para um site de API com características de phishing, que é a razão direta do roubo.
Em r_ocky.eth, o atacante reagiu rapidamente, transferindo todos os ativos da carteira r_ocky.eth para outro endereço (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) em menos de meia hora, e logo depois r_ocky.eth rastreou on-chain um endereço que parecia ser a carteira principal do atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
As informações on-chain mostram que este endereço já acumulou mais de 100 mil dólares em “lucros ilícitos”, e r_ocky.eth suspeita que esse tipo de ataque pode não ser um caso isolado, mas um evento de ataque já em uma certa escala.
Após o incidente, r_ocky.eth expressou sua decepção, afirmando que perdeu a confiança na OpenAI (empresa desenvolvedora do ChatGPT) e pediu à OpenAI que começasse a limpar conteúdos de phishing anômalos o mais rápido possível.
Então, como o aplicativo de IA mais popular do momento, por que o ChatGPT ofereceria conteúdo de phishing?
Quanto a isso, Yu Xian classificou a causa fundamental deste incidente como um “ataque de envenenamento de IA” e apontou que existem comportamentos enganosos generalizados em LLMs como ChatGPT e Claude.
O chamado “ataque de envenenamento de IA” refere-se a ações que visam destruir dados de treinamento de IA ou manipular algoritmos de IA. O atacante pode ser um insider, como um empregado insatisfeito, ou um hacker externo, cujos motivos podem incluir causar danos à reputação e à marca, distorcer a credibilidade das decisões da IA, retardar ou destruir processos de IA, etc. Os atacantes podem distorcer o processo de aprendizado do modelo ao inserir dados com rótulos ou características enganosas, levando a resultados incorretos durante a implantação e operação do modelo.
Considerando este incidente, é muito provável que o ChatGPT tenha fornecido o código de phishing para r_ocky.eth porque o modelo de IA foi contaminado com dados que continham conteúdo de phishing durante o treinamento, mas a IA aparentemente não conseguiu identificar o conteúdo de phishing oculto sob dados normais, e após aprender, acabou fornecendo esse conteúdo de phishing ao usuário, resultando neste incidente.
Com o rápido desenvolvimento e adoção generalizada da IA, a ameaça de “ataques de envenenamento” tornou-se cada vez maior. Neste incidente, embora o valor absoluto perdido não seja grande, as implicações desse tipo de risco são suficientemente alarmantes - supondo que ocorra em outros campos, como a condução assistida por IA...
Ao responder a perguntas de usuários, Yu Xian mencionou uma medida potencial para evitar esse tipo de risco, que seria adicionar algum tipo de mecanismo de auditoria de código ao ChatGPT.
A vítima r_ocky.eth também afirmou que já contatou a OpenAI sobre o assunto, embora ainda não tenha recebido resposta, mas espera que este caso possa se tornar uma oportunidade para a OpenAI prestar mais atenção a esses riscos e propor soluções potenciais.