Coinbase przeprowadził eksperyment, aby ocenić dokładność modelu języka sztucznej inteligencji ChatGPT opracowanego przez OpenAI w wykrywaniu luk w zabezpieczeniach inteligentnych kontraktów.
Zespół Blockchain Security w Coinbase porównał wyniki oceny ryzyka ChatGPT dla 20 inteligentnych kontraktów z wynikami uzyskanymi z ręcznego przeglądu bezpieczeństwa, w celu ustalenia, czy ChatGPT można zintegrować z procesem przeglądu bezpieczeństwa. Test wykazał, że ChatGPT 12 razy dał takie same wyniki jak ręczna recenzja. Jednak w pozostałych ośmiu przypadkach ChatGPT nie zidentyfikował aktywów wysokiego ryzyka, a pięć z nich oznaczono jako aktywa niskiego ryzyka.
ChatGPT to obiecujące narzędzie poprawiające produktywność w szerokim zakresie zadań programistycznych i inżynieryjnych, w tym między innymi optymalizując kod i identyfikując luki w zabezpieczeniach na podstawie wyświetlanych monitów. Jednakże, chociaż ChatGPT wykazuje potencjał do szybkiej oceny ryzyka inteligentnych kontraktów, nie spełnia wymagań dotyczących dokładności potrzebnych do włączenia go do procesu przeglądu bezpieczeństwa Coinbase.
Zespół Blockchain Security wykorzystuje wewnętrzne narzędzia automatyzacji opracowane, aby pomóc inżynierom bezpieczeństwa w przeglądaniu inteligentnych kontraktów ERC20/721 na dużą skalę. Aby przetestować zdolność ChatGPT do przeglądu zagrożeń bezpieczeństwa w inteligentnych kontraktach, zespół wprowadził do narzędzia monit określający ramy przeglądu ryzyka, które należy zastosować w celu porównania wyników z wynikami uzyskanymi w wyniku ręcznego przeglądu. Zespół zauważył jednak, że ChatGPT nie posiadało kontekstu ani informacji wymaganych do udzielenia odpowiedzi, którą można by porównać z ręczną oceną. Dlatego Coinbase musiał nauczyć ChatGPT identyfikować ryzyko zgodnie z ramami przeglądu bezpieczeństwa.
Szybka inżynieria, rozwijająca się dziedzina sztucznej inteligencji, odegrała znaczącą rolę w zapewnieniu, że ChatGPT przyniosło zamierzone rezultaty. Zespół musiał określić, w jaki sposób należy wykonać zadanie lub jak sobie z nim poradzić, aby uzyskać zamierzone rezultaty. Korzystając ze podpowiedzi opracowanych przez Coinbase, ChatGPT stworzyło oceny ryzyka, które wykorzystano do porównania dokładności narzędzia z dokładnością ręcznej oceny.
Pomimo wydajności ChatGPT, eksperyment ujawnił pewne ograniczenia, które pogarszają dokładność narzędzia. ChatGPT nie jest w stanie rozpoznać, kiedy brakuje mu kontekstu, aby przeprowadzić solidną analizę bezpieczeństwa, co skutkuje lukami w zasięgu, w których dodatkowe zależności nie są sprawdzane. Za każdym razem konieczna byłaby wstępna segregacja w celu ustalenia zakresu przeglądu narzędzia, aby zapobiec lukom w zakresie. ChatGPT jest również niespójny, ponieważ na to samo pytanie można uzyskać różne odpowiedzi, a na narzędzie mogą wpływać komentarze w kodzie.
Wreszcie OpenAI kontynuuje prace nad ChatGPT, a Coinbase optymistycznie ocenia, że przyszłe wersje narzędzia mogą być skuteczniejsze w identyfikowaniu luk w zabezpieczeniach inteligentnych kontraktów.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Ten artykuł został ponownie opublikowany na stronie azcoinnews.com