Coinbase провів експеримент, щоб оцінити точність моделі мови штучного інтелекту ChatGPT, розробленої OpenAI, у виявленні вразливостей безпеки в смарт-контрактах.
Команда Blockchain Security в Coinbase порівняла результати оцінки ризику ChatGPT для 20 смарт-контрактів із результатами перевірки безпеки вручну, щоб визначити, чи можна інтегрувати ChatGPT у процес перевірки безпеки. Тест показав, що ChatGPT дав ті самі результати, що й перевірка вручну 12 разів. Однак у решті восьми випадків ChatGPT не вдалося ідентифікувати активи з високим ризиком, і п’ять із них були позначені як низькоризикові.
ChatGPT — це багатообіцяючий інструмент для підвищення продуктивності в широкому діапазоні завдань розробки та проектування, включаючи оптимізацію коду та виявлення вразливостей, серед іншого, на основі підказок, які він надає. Однак, хоча ChatGPT демонструє потенціал для швидкої оцінки ризиків смарт-контрактів, він не відповідає вимогам точності, необхідним для інтеграції в процес перевірки безпеки Coinbase.
Команда Blockchain Security використовує власні інструменти автоматизації, розроблені, щоб допомогти інженерам безпеки перевіряти масштабні смарт-контракти ERC20/721. Щоб перевірити здатність ChatGPT аналізувати ризики безпеки в смарт-контрактах, команда надала інструменту підказку, яка вказувала структуру аналізу ризиків, яка використовуватиметься для порівняння результатів із результатами, отриманими під час перегляду вручну. Однак команда зазначила, що ChatGPT не мав контексту чи інформації, необхідної для виконання відповіді, яку можна порівняти з перевіркою вручну. Тому Coinbase довелося навчити ChatGPT визначати ризики відповідно до системи перевірки безпеки.
Швидке проектування, галузь штучного інтелекту, що розвивається, відіграла важливу роль у забезпеченні досягнення запланованих результатів ChatGPT. Команда повинна була чітко сформулювати, як слід виконувати завдання або впоратися з ним, щоб отримати заплановані результати. Використовуючи підказку, розроблену Coinbase, ChatGPT створив оцінки ризику, які були використані для порівняння точності інструменту з точністю перевірки вручну.
Незважаючи на ефективність ChatGPT, експеримент виявив деякі обмеження, які погіршують точність інструменту. ChatGPT не в змозі розпізнати, коли йому не вистачає контексту для виконання надійного аналізу безпеки, що призводить до прогалин у охопленні, коли додаткові залежності залишаються неперевіреними. Потрібне буде початкове сортування, щоб кожного разу перевіряти інструмент, щоб запобігти прогалинам у охопленні. ChatGPT також непослідовний, оскільки на одне й те саме запитання можуть бути різні відповіді, а на інструмент можуть впливати коментарі в коді.
Нарешті, OpenAI продовжує вдосконалювати ChatGPT, і Coinbase оптимістично сподівається, що майбутні версії інструменту можуть бути більш ефективними у виявленні вразливостей безпеки в смарт-контрактах.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Ця стаття була перепублікована з azcoinnews.com
