Original | Odaily Planet Daily（@OdailyChina）
Autor｜Azuma（@azuma_eth）
El 22 de noviembre a las 11 a.m. hora de Beijing, el fundador de Slow Fog, Yu Xian, publicó un caso extraño en su X personal: la billetera de un usuario fue 'hackeada' por IA...
Los antecedentes de este caso son los siguientes.
En la madrugada de hoy, el usuario de X r_ocky.eth reveló que anteriormente había esperado utilizar ChatGPT para crear un bot de trading auxiliar para pump.fun.
r_ocky.eth le dio a ChatGPT sus necesidades, y ChatGPT le devolvió un fragmento de código, este código efectivamente podía ayudar a r_ocky.eth a desplegar un bot que cumpliera con sus necesidades, pero nunca imaginó que en el código se ocultaría contenido de phishing: r_ocky.eth conectó su billetera principal y por eso perdió 2500 dólares.
Desde la captura de pantalla publicada por r_ocky.eth, el fragmento de código proporcionado por ChatGPT enviaría la clave privada de la dirección a un sitio web de API de phishing, que es la causa directa del robo.
En r_ocky.eth cayó en una trampa, el atacante reaccionó extremadamente rápido, y en media hora transfirió todos los activos en la billetera de r_ocky.eth a otra dirección (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), inmediatamente r_ocky.eth también encontró a través de la cadena una dirección que parecía ser la billetera principal del atacante (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC).
La información en la cadena muestra que esta dirección ha acumulado más de 100,000 dólares en 'fondos robados', por lo que r_ocky.eth sospecha que este tipo de ataque puede no ser un caso aislado, sino un incidente de ataque que ya tiene cierta escala.
Después del incidente, r_ocky.eth expresó su decepción al decir que ha perdido la confianza en OpenAI (la empresa que desarrolla ChatGPT) y pidió a OpenAI que se ocupe lo antes posible de limpiar el contenido de phishing anómalo.
Entonces, como la aplicación de IA más popular en la actualidad, ¿por qué ChatGPT proporciona contenido de phishing?
En cuanto a esto, Yu Xian calificó la causa raíz de este incidente como un 'ataque de envenenamiento de IA', y señaló que hay un comportamiento engañoso generalizado en LLM como ChatGPT y Claude.
El llamado 'ataque de envenenamiento de IA' se refiere a la acción deliberada de sabotear los datos de entrenamiento de la IA o manipular el algoritmo de la IA. El atacante puede ser un informante interno, como un empleado actual o anterior descontento, o un hacker externo, y sus motivaciones pueden incluir causar daño a la reputación y la marca, alterar la credibilidad de las decisiones de IA, ralentizar o interrumpir el proceso de IA, etc. Los atacantes pueden distorsionar el proceso de aprendizaje del modelo al insertar datos con etiquetas o características engañosas, lo que conduce a resultados incorrectos durante el despliegue y la ejecución del modelo.
En relación con este incidente, es probable que ChatGPT proporcionara código de phishing a r_ocky.eth porque el modelo de IA se contaminó con material que contenía contenido de phishing durante su entrenamiento, pero la IA aparentemente no pudo identificar el contenido de phishing oculto bajo la información normal, y después de aprender, volvió a proporcionar este contenido de phishing a los usuarios, lo que llevó a la ocurrencia de este incidente.
Con el rápido desarrollo y la adopción generalizada de la IA, la amenaza de 'ataques de envenenamiento' ha crecido cada vez más. En este incidente, aunque la cantidad absoluta perdida no es grande, el impacto del riesgo de este tipo es suficiente para generar alarma: supongamos que ocurre en otros campos, como la conducción asistida por IA...
Al responder a una pregunta de los internautas, Yu Xian mencionó una medida potencial para evitar este tipo de riesgos, que es que ChatGPT agregue algún tipo de mecanismo de auditoría de código.
La víctima r_ocky.eth también informó que había contactado a OpenAI sobre este asunto, aunque aún no ha recibido respuesta, pero espera que este caso sirva como una oportunidad para que OpenAI preste atención a este tipo de riesgos y proponga soluciones potenciales.
