Společnost Coinbase provedla experiment s cílem posoudit přesnost jazykového modelu umělé inteligence, ChatGPT, vyvinutého společností OpenAI, při odhalování bezpečnostních zranitelností v inteligentních smlouvách.
Tým Blockchain Security na Coinbase porovnal výsledky rizikového skóre ChatGPT pro 20 chytrých kontraktů s těmi, které byly získány z manuální kontroly zabezpečení, s cílem určit, zda by ChatGPT mohl být integrován do procesu kontroly zabezpečení. Test odhalil, že ChatGPT přinesl stejné výsledky jako ruční kontrola 12krát. Ve zbývajících osmi případech však ChatGPT nedokázal identifikovat vysoce rizikové aktivum a pět z nich bylo označeno jako nízkorizikové.
ChatGPT je slibný nástroj pro zlepšení produktivity v celé řadě vývojových a inženýrských úkolů, včetně optimalizace kódu a identifikace zranitelností, mimo jiné na základě výzev, které dostává. Přestože ChatGPT vykazuje potenciál pro rychlé vyhodnocení rizik inteligentních smluv, nesplňuje požadavky na přesnost, které je třeba integrovat do procesu kontroly zabezpečení Coinbase.
Tým Blockchain Security využívá vlastní automatizační nástroje vyvinuté na pomoc bezpečnostním inženýrům při revizi chytrých smluv ERC20/721 ve velkém měřítku. Aby tým otestoval schopnost ChatGPT revidovat bezpečnostní rizika v inteligentních smlouvách, naplnil tento nástroj výzvou, která specifikovala rámec kontroly rizik, který má být použit k porovnání výsledků s výsledky získanými z ruční kontroly. Tým však poznamenal, že ChatGPT neměl kontext ani informace potřebné k provedení odpovědi, kterou by bylo možné přirovnat k ruční kontrole. Coinbase proto musela naučit ChatGPT identifikovat rizika podle rámce bezpečnostní kontroly.
Prompt engineering, rozvíjející se obor AI, hrál významnou roli při zajišťování toho, že ChatGPT produkoval zamýšlené výsledky. Tým musel formulovat, jak by měl být úkol proveden nebo zpracován, aby se dosáhlo zamýšlených výsledků. Pomocí výzvy vyvinuté společností Coinbase vytvořil ChatGPT skóre rizik, které bylo použito k porovnání přesnosti nástroje s přesností ruční kontroly.
Navzdory účinnosti ChatGPT experiment odhalil některá omezení, která zhoršují přesnost nástroje. ChatGPT není schopen rozpoznat, kdy postrádá kontext k provedení robustní bezpečnostní analýzy, což má za následek mezery v pokrytí, kde další závislosti zůstávají bez kontroly. Pokaždé by bylo nutné provést počáteční třídění, aby se rozsah revize nástroje zamezil mezerám v pokrytí. ChatGPT je také nekonzistentní, protože stejná otázka může obdržet různé odpovědi a nástroj může být ovlivněn komentáři v kódu.
A konečně, OpenAI pokračuje v iteraci na ChatGPT a Coinbase je optimistický, že budoucí verze tohoto nástroje mohou být efektivnější při identifikaci bezpečnostních zranitelností v chytrých kontraktech.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Tento článek byl znovu publikován z azcoinnews.com
