Coinbase ha condotto un esperimento per valutare l'accuratezza del modello linguistico di intelligenza artificiale, ChatGPT, sviluppato da OpenAI, nel rilevare le vulnerabilità della sicurezza nei contratti intelligenti.
Il team Blockchain Security di Coinbase ha confrontato i risultati del punteggio di rischio di ChatGPT per 20 contratti intelligenti con quelli ottenuti da una revisione manuale della sicurezza, con l'obiettivo di determinare se ChatGPT potesse essere integrato nel processo di revisione della sicurezza. Il test ha rivelato che ChatGPT ha prodotto gli stessi risultati della revisione manuale 12 volte. Tuttavia, nei restanti otto casi, ChatGPT non è riuscita a identificare una risorsa ad alto rischio e cinque di questi sono stati etichettati a basso rischio.
ChatGPT è uno strumento promettente per migliorare la produttività in un'ampia gamma di attività di sviluppo e ingegneria, tra cui l'ottimizzazione del codice e l'identificazione delle vulnerabilità, tra le altre cose, in base ai prompt che gli vengono forniti. Tuttavia, mentre ChatGPT mostra potenziale per valutare rapidamente i rischi degli smart contract, non soddisfa i requisiti di accuratezza necessari per essere integrato nel processo di revisione della sicurezza di Coinbase.
Il team Blockchain Security sfrutta strumenti di automazione interni sviluppati per aiutare gli ingegneri della sicurezza a esaminare gli smart contract ERC20/721 su larga scala. Per testare la capacità di ChatGPT di esaminare i rischi per la sicurezza negli smart contract, il team ha inserito nello strumento un prompt che specificava il framework di revisione del rischio da utilizzare per confrontare i risultati con quelli ottenuti dalla revisione manuale. Tuttavia, il team ha notato che ChatGPT non aveva il contesto o le informazioni necessarie per eseguire una risposta che potesse essere confrontata con la revisione manuale. Pertanto, Coinbase ha dovuto insegnare a ChatGPT a identificare i rischi in base al framework di revisione della sicurezza.
Prompt engineering, un campo di intelligenza artificiale in via di sviluppo, ha svolto un ruolo significativo nel garantire che ChatGPT producesse i risultati previsti. Il team ha dovuto articolare come il compito dovesse essere eseguito o gestito per ottenere i risultati previsti. Utilizzando il prompt progettato da Coinbase, ChatGPT ha prodotto punteggi di rischio che sono stati utilizzati per confrontare l'accuratezza dello strumento con quella di una revisione manuale.
Nonostante l'efficienza di ChatGPT, l'esperimento ha rivelato alcune limitazioni che compromettono l'accuratezza dello strumento. ChatGPT non è in grado di riconoscere quando manca il contesto per eseguire un'analisi di sicurezza solida, con conseguenti lacune di copertura in cui dipendenze aggiuntive non vengono esaminate. Sarebbe necessario un triage iniziale per definire l'ambito della revisione per lo strumento ogni volta per evitare lacune di copertura. ChatGPT è anche incoerente, poiché la stessa domanda può ricevere risposte diverse e lo strumento può essere influenzato dai commenti nel codice.
Infine, OpenAI continua a sperimentare ChatGPT e Coinbase è ottimista sul fatto che le versioni future dello strumento potrebbero essere più efficaci nell'identificare le vulnerabilità di sicurezza nei contratti intelligenti.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Questo articolo è stato ripubblicato da azcoinnews.com
