Coinbase ha llevado a cabo un experimento para evaluar la precisión del modelo de lenguaje de inteligencia artificial, ChatGPT, desarrollado por OpenAI, para detectar vulnerabilidades de seguridad en contratos inteligentes.
El equipo de Blockchain Security de Coinbase comparó los resultados de la puntuación de riesgo de ChatGPT para 20 contratos inteligentes con los obtenidos de una revisión de seguridad manual, con el objetivo de determinar si ChatGPT podría integrarse en el proceso de revisión de seguridad. La prueba reveló que ChatGPT produjo los mismos resultados que la revisión manual 12 veces. Sin embargo, en los ocho casos restantes, ChatGPT no logró identificar un activo de alto riesgo y cinco de ellos fueron etiquetados como de bajo riesgo.
ChatGPT es una herramienta prometedora para mejorar la productividad en una amplia gama de tareas de desarrollo e ingeniería, incluida la optimización del código y la identificación de vulnerabilidades, entre otras cosas, según las indicaciones que recibe. Sin embargo, si bien ChatGPT muestra potencial para evaluar rápidamente los riesgos de los contratos inteligentes, no cumple con los requisitos de precisión necesarios para integrarse en el proceso de revisión de seguridad de Coinbase.
El equipo de Blockchain Security aprovecha las herramientas de automatización internas desarrolladas para ayudar a los ingenieros de seguridad a revisar los contratos inteligentes ERC20/721 a escala. Para probar la capacidad de ChatGPT para revisar los riesgos de seguridad en contratos inteligentes, el equipo alimentó la herramienta con un mensaje que especificaba el marco de revisión de riesgos que se utilizaría para comparar los resultados con los obtenidos de la revisión manual. Sin embargo, el equipo notó que ChatGPT no tenía el contexto o la información necesaria para realizar una respuesta que pudiera compararse con la revisión manual. Por lo tanto, Coinbase tuvo que enseñar a ChatGPT a identificar riesgos de acuerdo con el marco de revisión de seguridad.
La ingeniería rápida, un campo de la IA en desarrollo, jugó un papel importante para garantizar que ChatGPT produjera los resultados previstos. El equipo tuvo que articular cómo se debía realizar o manejar la tarea para obtener los resultados previstos. Utilizando el mensaje diseñado por Coinbase, ChatGPT produjo puntuaciones de riesgo que se utilizaron para comparar la precisión de la herramienta con la de una revisión manual.
A pesar de la eficiencia de ChatGPT, el experimento reveló algunas limitaciones que perjudican la precisión de la herramienta. ChatGPT es incapaz de reconocer cuándo le falta contexto para realizar un análisis de seguridad sólido, lo que genera brechas de cobertura en las que dependencias adicionales no se revisan. Se requeriría una clasificación inicial para determinar el alcance de la revisión de la herramienta cada vez para evitar lagunas en la cobertura. ChatGPT también es inconsistente, ya que la misma pregunta puede recibir diferentes respuestas y la herramienta puede verse influenciada por los comentarios en el código.
Finalmente, OpenAI continúa iterando en ChatGPT y Coinbase es optimista en cuanto a que las versiones futuras de la herramienta pueden ser más efectivas para identificar vulnerabilidades de seguridad en contratos inteligentes.
#Coinbase >#COIN >#ChatGPT >#AI >#azcoinnews
Este artículo se volvió a publicar en azcoinnews.com
