A Coinbase conduziu um experimento para avaliar a precisão do modelo de linguagem de inteligência artificial, ChatGPT, desenvolvido pela OpenAI, na detecção de vulnerabilidades de segurança em contratos inteligentes.
A equipe de segurança Blockchain da Coinbase comparou os resultados da pontuação de risco do ChatGPT para 20 contratos inteligentes com aqueles obtidos em uma revisão manual de segurança, com o objetivo de determinar se o ChatGPT poderia ser integrado ao processo de revisão de segurança. O teste revelou que o ChatGPT produziu os mesmos resultados da revisão manual 12 vezes. No entanto, nos oito casos restantes, o ChatGPT não conseguiu identificar um ativo de alto risco e cinco deles foram rotulados como de baixo risco.
ChatGPT é uma ferramenta promissora para melhorar a produtividade em uma ampla gama de tarefas de desenvolvimento e engenharia, incluindo otimização de código e identificação de vulnerabilidades, entre outras coisas, com base nas instruções fornecidas. No entanto, embora o ChatGPT mostre potencial para avaliar rapidamente os riscos dos contratos inteligentes, ele não atende aos requisitos de precisão necessários para ser integrado ao processo de revisão de segurança da Coinbase.
A equipe Blockchain Security utiliza ferramentas de automação internas desenvolvidas para ajudar os engenheiros de segurança na revisão de contratos inteligentes ERC20/721 em escala. Para testar a capacidade do ChatGPT de revisar riscos de segurança em contratos inteligentes, a equipe alimentou a ferramenta com um prompt que especificava a estrutura de revisão de risco a ser usada para comparar os resultados com aqueles obtidos na revisão manual. No entanto, a equipe observou que o ChatGPT não tinha o contexto ou as informações necessárias para realizar uma resposta que pudesse ser comparada à revisão manual. Portanto, a Coinbase teve que ensinar o ChatGPT a identificar riscos de acordo com a estrutura de revisão de segurança.
A engenharia imediata, um campo de IA em desenvolvimento, desempenhou um papel significativo para garantir que o ChatGPT produzisse os resultados pretendidos. A equipe teve que articular como a tarefa deveria ser executada ou tratada para obter os resultados pretendidos. Usando o prompt desenvolvido pela Coinbase, o ChatGPT produziu pontuações de risco que foram usadas para comparar a precisão da ferramenta com a de uma revisão manual.
Apesar da eficiência do ChatGPT, o experimento revelou algumas limitações que prejudicam a precisão da ferramenta. O ChatGPT é incapaz de reconhecer quando falta contexto para realizar uma análise de segurança robusta, resultando em lacunas de cobertura onde dependências adicionais não são revisadas. Seria necessária uma triagem inicial para definir o escopo da revisão da ferramenta a cada vez, para evitar lacunas de cobertura. O ChatGPT também é inconsistente, pois a mesma pergunta pode receber respostas diferentes e a ferramenta pode ser influenciada por comentários no código.
Finalmente, a OpenAI continua a iterar no ChatGPT, e a Coinbase está otimista de que versões futuras da ferramenta podem ser mais eficazes na identificação de vulnerabilidades de segurança em contratos inteligentes.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Este artigo foi republicado de azcoinnews.com