Coinbase 進行了一項實驗,以評估 OpenAI 開發的人工智能語言模型 ChatGPT 檢測智能合約安全漏洞的準確性。

Coinbase 的區塊鏈安全團隊將 ChatGPT 的 20 個智能合約風險評分結果與手動安全審查的結果進行了比較,目的是確定 ChatGPT 是否可以集成到安全審查流程中。測試顯示,ChatGPT 有 12 次產生與手動審查相同的結果。然而,在其餘 8 次中,ChatGPT 未能識別出高風險資產,其中 5 次被標記爲低風險。

ChatGPT 是一種很有前景的工具,可根據給出的提示提高各種開發和工程任務的生產力,包括優化程式碼和識別漏洞等。然而,雖然 ChatGPT 顯示出快速評估智慧合約風險的潛力,但它不符合整合到 Coinbase 安全審查流程中所需的準確性要求。

區塊鏈安全團隊利用開發的內部自動化工具來幫助安全工程師大規模審查 ERC20/721 智慧合約。為了測試 ChatGPT 審查智慧合約中安全風險的能力,團隊向該工具提供了一個提示,指定了用於將結果與手動審查獲得的結果進行比較的風險審查框架。然而,該團隊指出,ChatGPT 沒有執行可與手動審核進行比較的回應所需的上下文或資訊。因此,Coinbase 不得不教導 ChatGPT 根據安全審查框架來識別風險。

即時工程是一個正在發展的人工智慧領域,在確保 ChatGPT 產生預期結果方面發揮了重要作用。團隊必須闡明如何執行或處理任務以獲得預期結果。 ChatGPT 使用 Coinbase 設計的提示產生風險評分,用於將此工具的準確性與人工審核的準確性進行比較。

儘管 ChatGPT 效率很高,但實驗揭示了一些削弱該工具準確性的限制。 ChatGPT 無法識別何時缺乏上下文來執行強大的安全分析,從而導致覆蓋範圍空白,導致額外的依賴項未被審查。每次都需要進行初步分類來確定工具的審查範圍,以防止覆蓋範圍差距。 ChatGPT 也不一致,因為相同問題可能會得到不同的答案,而且工具可能會受到程式碼中註解的影響。

最後,OpenAI 繼續迭代 ChatGPT,Coinbase 樂觀地認為該工具的未來版本可能會更有效地識別智慧合約中的安全漏洞。

#Coinbase #COIN #ChatGPT #AI #azcoinnews

本文轉載自 azcoinnews.com