Escrito por: Azuma, Odaily Planet Daily
El 22 de noviembre, hora de Beijing, el fundador de Slow Fog, Yu Xian, publicó un extraño caso en su X personal: la billetera de un usuario fue "hackeada" por la IA…
Los detalles del caso son los siguientes.
En la madrugada de hoy, el usuario de X r_ocky.eth reveló que anteriormente había esperado utilizar ChatGPT para crear un bot de trading auxiliar de pump.fun.
r_ocky.eth proporcionó a ChatGPT sus necesidades, y ChatGPT le devolvió un fragmento de código, que de hecho podría ayudar a r_ocky.eth a desplegar un bot que se ajustara a sus necesidades, pero nunca imaginó que el código ocultaría un contenido de phishing: r_ocky.eth vinculó su billetera principal y perdió 2,500 dólares por ello.
Según la captura de pantalla publicada por r_ocky.eth, el código que ChatGPT proporcionó enviaría la clave privada de una dirección a un sitio web API de phishing, lo que es la razón directa del robo.
Mientras r_ocky.eth caía en la trampa, el atacante reaccionó rápidamente y en media hora trasladó todos los activos de la billetera de r_ocky.eth a otra dirección (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), y luego r_ocky.eth encontró a través de la trazabilidad en cadena una dirección que se sospecha es la billetera principal del atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
La información en la cadena muestra que esa dirección ya ha acumulado más de 100,000 dólares en "fondos robados", por lo que r_ocky.eth sospecha que este tipo de ataque puede no ser un caso aislado, sino un evento de ataque que ya tiene cierta escala.
Después del incidente, r_ocky.eth expresó su decepción al afirmar que ha perdido la confianza en OpenAI (la empresa desarrolladora de ChatGPT) y pidió a OpenAI que actúe rápidamente para limpiar el contenido de phishing anómalo.
Entonces, ¿por qué, como la aplicación de IA más popular en la actualidad, ChatGPT proporcionaría contenido de phishing?
En este sentido, Yu Xian calificó la causa fundamental de este incidente como un "ataque de envenenamiento de IA" y señaló que existen comportamientos engañosos generalizados en LLM como ChatGPT y Claude.
El llamado "ataque de envenenamiento de IA" se refiere a la acción de dañar intencionalmente los datos de entrenamiento de IA o manipular los algoritmos de IA. Los atacantes pueden ser insiders, como empleados actuales o antiguos descontentos, o hackers externos, y sus motivaciones pueden incluir causar daños a la reputación y la marca, alterar la credibilidad de las decisiones de IA, ralentizar o dañar el proceso de IA, etc. Los atacantes pueden distorsionar el proceso de aprendizaje del modelo implantando datos con etiquetas o características engañosas, lo que lleva a resultados erróneos durante la implementación y operación del modelo.
Considerando este incidente, el motivo por el cual ChatGPT proporcionó código de phishing a r_ocky.eth es probablemente porque el modelo de IA se contaminó durante el entrenamiento con datos que contenían contenido de phishing, pero la IA parece no haber podido identificar el contenido de phishing oculto bajo la información regular, y luego la IA proporcionó este contenido de phishing a los usuarios, lo que provocó la ocurrencia de este incidente.
Con el rápido desarrollo y la adopción generalizada de la IA, la amenaza de los "ataques de envenenamiento" se ha vuelto cada vez mayor. En este caso, aunque el monto absoluto de la pérdida no es grande, el impacto extendido de este tipo de riesgo es suficiente para provocar advertencias: supongamos que ocurre en otros campos, como la conducción asistida por IA…
Al responder a las preguntas de los internautas, Yu Xian mencionó una posible medida para evitar este tipo de riesgos, que es que ChatGPT añada algún mecanismo de auditoría de código.
La víctima, r_ocky.eth, también expresó que ya ha contactado a OpenAI sobre este asunto, aunque aún no ha recibido respuesta, espera que este caso pueda convertirse en una oportunidad para que OpenAI preste atención a este tipo de riesgos y proponga soluciones potenciales.
