Coinbase a mené une expérience pour évaluer l'exactitude du modèle de langage d'intelligence artificielle, ChatGPT, développé par OpenAI, dans la détection des vulnérabilités de sécurité dans les contrats intelligents.
L'équipe de sécurité Blockchain de Coinbase a comparé les résultats du score de risque de ChatGPT pour 20 contrats intelligents à ceux obtenus à partir d'un examen de sécurité manuel, dans le but de déterminer si ChatGPT pouvait être intégré au processus d'examen de sécurité. Le test a révélé que ChatGPT a produit 12 fois les mêmes résultats que l’examen manuel. Cependant, dans les huit cas restants, ChatGPT n'a pas réussi à identifier un actif à haut risque, et cinq d'entre eux ont été qualifiés de faible risque.
ChatGPT est un outil prometteur pour améliorer la productivité dans un large éventail de tâches de développement et d'ingénierie, notamment l'optimisation du code et l'identification des vulnérabilités, entre autres, en fonction des invites qui lui sont données. Cependant, bien que ChatGPT présente le potentiel d’évaluer rapidement les risques liés aux contrats intelligents, il ne répond pas aux exigences de précision nécessaires pour être intégré au processus d’examen de sécurité de Coinbase.
L'équipe Blockchain Security exploite des outils d'automatisation internes développés pour aider les ingénieurs en sécurité à examiner les contrats intelligents ERC20/721 à grande échelle. Pour tester la capacité de ChatGPT à examiner les risques de sécurité dans les contrats intelligents, l’équipe a alimenté l’outil avec une invite spécifiant le cadre d’examen des risques à utiliser pour comparer les résultats à ceux obtenus lors de l’examen manuel. Cependant, l'équipe a noté que ChatGPT ne disposait pas du contexte ou des informations nécessaires pour effectuer une réponse comparable à l'examen manuel. Par conséquent, Coinbase a dû apprendre à ChatGPT à identifier les risques conformément au cadre d'examen de la sécurité.
L'ingénierie rapide, un domaine de l'IA en développement, a joué un rôle important pour garantir que ChatGPT produise les résultats escomptés. L'équipe devait expliquer comment la tâche devait être exécutée ou gérée pour obtenir les résultats escomptés. À l'aide de l'invite conçue par Coinbase, ChatGPT a produit des scores de risque qui ont été utilisés pour comparer la précision de l'outil à celle d'un examen manuel.
Malgré l’efficacité de ChatGPT, l’expérience a révélé certaines limites qui nuisent à la précision de l’outil. ChatGPT est incapable de reconnaître quand il manque de contexte pour effectuer une analyse de sécurité robuste, ce qui entraîne des lacunes de couverture où des dépendances supplémentaires ne sont pas examinées. Un tri initial serait nécessaire pour définir la portée de l'examen de l'outil à chaque fois afin d'éviter les lacunes de couverture. ChatGPT est également incohérent, car la même question peut recevoir des réponses différentes et l'outil peut être influencé par les commentaires dans le code.
Enfin, OpenAI continue d'itérer sur ChatGPT et Coinbase est optimiste quant au fait que les futures versions de l'outil pourraient être plus efficaces pour identifier les vulnérabilités de sécurité dans les contrats intelligents.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Cet article a été republié depuis azcoinnews.com
