Coinbase провела эксперимент для оценки точности языковой модели искусственного интеллекта ChatGPT, разработанной OpenAI, при обнаружении уязвимостей безопасности в смарт-контрактах.
Команда Blockchain Security в Coinbase сравнила результаты оценки рисков ChatGPT для 20 смарт-контрактов с результатами, полученными в результате ручной проверки безопасности, с целью определить, можно ли интегрировать ChatGPT в процесс проверки безопасности. Тест показал, что ChatGPT 12 раз дал те же результаты, что и проверка вручную. Однако в остальных восьми случаях ChatGPT не смог идентифицировать активы с высоким риском, а пять из них были помечены как низкорисковые.
ChatGPT — многообещающий инструмент для повышения производительности при решении широкого спектра задач разработки и проектирования, включая оптимизацию кода и выявление уязвимостей, среди прочего, на основе выдаваемых ему подсказок. Однако, хотя ChatGPT демонстрирует потенциал для быстрой оценки рисков смарт-контрактов, он не соответствует требованиям точности, необходимым для интеграции в процесс проверки безопасности Coinbase.
Команда Blockchain Security использует собственные инструменты автоматизации, разработанные для помощи инженерам по безопасности в проверке смарт-контрактов ERC20/721 в больших масштабах. Чтобы проверить способность ChatGPT проверять риски безопасности в смарт-контрактах, команда предоставила инструменту подсказку, в которой указывалась структура проверки рисков, которая будет использоваться для сравнения результатов с результатами, полученными в результате проверки вручную. Однако команда отметила, что у ChatGPT нет контекста или информации, необходимой для ответа, который можно было бы сравнить с проверкой вручную. Поэтому Coinbase пришлось научить ChatGPT выявлять риски в соответствии с системой проверки безопасности.
Оперативное проектирование, развивающаяся область искусственного интеллекта, сыграло значительную роль в обеспечении того, чтобы ChatGPT дал желаемые результаты. Команда должна была сформулировать, как следует выполнить задачу, чтобы получить намеченные результаты. Используя подсказку, разработанную Coinbase, ChatGPT выдал оценки риска, которые использовались для сравнения точности инструмента с точностью ручной проверки.
Несмотря на эффективность ChatGPT, эксперимент выявил некоторые ограничения, снижающие точность инструмента. ChatGPT не способен распознавать отсутствие контекста для выполнения надежного анализа безопасности, что приводит к пробелам в покрытии, когда дополнительные зависимости остаются непроверенными. Каждый раз потребуется первоначальная сортировка для проверки инструмента, чтобы предотвратить пробелы в охвате. ChatGPT также непоследователен, поскольку на один и тот же вопрос могут быть разные ответы, а на инструмент могут влиять комментарии в коде.
Наконец, OpenAI продолжает совершенствовать ChatGPT, и Coinbase надеется, что будущие версии инструмента могут быть более эффективными в выявлении уязвимостей безопасности в смарт-контрактах.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Эта статья была перепечатана с сайта azcoinnews.com.
