Escrito por: Azuma, Odaily Planet Daily
El 22 de noviembre a las 11:00 AM, hora de Beijing, el fundador de Slow Fog, Yu Xian, publicó un caso extraño en su X personal: la billetera de un usuario fue 'hackeada' por una IA...
Los detalles del caso son los siguientes.
En la madrugada de hoy, el usuario de X r_ocky.eth reveló que anteriormente había querido usar ChatGPT para crear un bot de trading asistido para pump.fun.
r_ocky.eth le dio a ChatGPT sus requisitos, y ChatGPT le devolvió un fragmento de código que efectivamente podría ayudar a r_ocky.eth a desplegar un bot que cumpliera con sus necesidades, pero nunca pensó que el código ocultaría un contenido de phishing: r_ocky.eth conectó su billetera principal y, como resultado, perdió 2500 dólares.
Según la captura de pantalla publicada por r_ocky.eth, el fragmento de código proporcionado por ChatGPT enviaría la clave privada de una dirección a un sitio web de API de phishing, que es la razón directa del robo.
Mientras r_ocky.eth caía en la trampa, los atacantes reaccionaron rápidamente, transfiriendo todos los activos de la billetera de r_ocky.eth a otra dirección (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX) en media hora; inmediatamente después, r_ocky.eth también encontró, a través de un rastreo en la cadena, una dirección que sospecha que pertenece a la billetera principal del atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
La información en la cadena muestra que dicha dirección ha acumulado más de 100,000 dólares en 'dinero robado', r_ocky.eth sospecha que este tipo de ataques podría no ser un caso aislado, sino un evento de ataque que ya tiene cierta escala.
Después del incidente, r_ocky.eth expresó su desilusión y dijo que había perdido la confianza en OpenAI (la empresa desarrolladora de ChatGPT) y pidió a OpenAI que se ocupara de inmediato de los contenidos de phishing anómalos.
Entonces, ¿por qué una aplicación de IA tan popular como ChatGPT proporcionaría contenido de phishing?
Al respecto, Yu Xian calificó la causa fundamental de este incidente como 'ataques de envenenamiento de IA' y señaló que existen comportamientos engañosos generalizados en LLM como ChatGPT y Claude.
Los llamados 'ataques de envenenamiento de IA' se refieren a la acción de dañar intencionalmente los datos de entrenamiento de la IA o manipular los algoritmos de la IA. Los atacantes pueden ser personas internas, como empleados actuales o anteriores descontentos, o hackers externos, cuyas motivaciones pueden incluir causar daños a la reputación y a la marca, alterar la credibilidad de las decisiones de la IA, ralentizar o destruir el proceso de IA, etc. Los atacantes pueden distorsionar el proceso de aprendizaje del modelo al introducir datos con etiquetas o características engañosas, lo que lleva a que el modelo produzca resultados incorrectos al desplegarse y ejecutarse.
En relación con este incidente, la razón por la que ChatGPT proporcionó código de phishing a r_ocky.eth es probablemente porque el modelo de IA se contaminó con materiales que contenían contenido de phishing durante su entrenamiento, pero la IA parece no haber podido identificar el contenido de phishing oculto bajo la información convencional; después de aprender, la IA proporcionó este contenido de phishing a los usuarios, lo que llevó a la ocurrencia de este incidente.
Con el rápido desarrollo y la adopción generalizada de la IA, la amenaza de 'ataques de envenenamiento' ha aumentado considerablemente. En este incidente, aunque la cantidad absoluta perdida no es grande, el impacto de tales riesgos es suficiente para generar alarma: suponiendo que ocurra en otros campos, como la conducción asistida por IA...
Al responder a las preguntas de los internautas, Yu Xian mencionó una medida potencial para evitar tales riesgos, que sería que ChatGPT agregara algún tipo de mecanismo de auditoría de código.
La víctima r_ocky.eth también informó que ya se ha puesto en contacto con OpenAI sobre este asunto; aunque aún no ha recibido respuesta, espera que este caso pueda convertirse en una oportunidad para que OpenAI preste atención a este tipo de riesgos y proponga soluciones potenciales.
