Coinbase đã tiến hành một thử nghiệm để đánh giá tính chính xác của mô hình ngôn ngữ trí tuệ nhân tạo ChatGPT do OpenAI phát triển trong việc phát hiện các lỗ hổng bảo mật trong hợp đồng thông minh.

Nhóm Bảo mật Blockchain tại Coinbase đã so sánh kết quả điểm rủi ro của ChatGPT cho 20 hợp đồng thông minh với kết quả thu được từ đánh giá bảo mật thủ công, với mục tiêu xác định xem ChatGPT có thể được tích hợp vào quy trình đánh giá bảo mật hay không. Thử nghiệm cho thấy ChatGPT tạo ra kết quả tương tự như đánh giá thủ công 12 lần. Tuy nhiên, trong 8 trường hợp còn lại, ChatGPT không xác định được tài sản có rủi ro cao và 5 trong số đó được dán nhãn là có rủi ro thấp.

ChatGPT là một công cụ đầy hứa hẹn để cải thiện năng suất trong một loạt các nhiệm vụ kỹ thuật và phát triển, bao gồm tối ưu hóa mã và xác định các lỗ hổng, cùng nhiều tác vụ khác, dựa trên các lời nhắc được đưa ra. Tuy nhiên, mặc dù ChatGPT cho thấy tiềm năng đánh giá nhanh rủi ro hợp đồng thông minh nhưng nó không đáp ứng các yêu cầu về độ chính xác cần thiết để tích hợp vào quy trình đánh giá bảo mật của Coinbase.

Nhóm Bảo mật Blockchain tận dụng các công cụ tự động hóa nội bộ được phát triển để hỗ trợ các kỹ sư bảo mật xem xét các hợp đồng thông minh ERC20/721 trên quy mô lớn. Để kiểm tra khả năng xem xét rủi ro bảo mật trong hợp đồng thông minh của ChatGPT, nhóm đã cung cấp cho công cụ một lời nhắc chỉ định khung đánh giá rủi ro sẽ được sử dụng để so sánh kết quả với kết quả thu được từ đánh giá thủ công. Tuy nhiên, nhóm lưu ý rằng ChatGPT không có ngữ cảnh hoặc thông tin cần thiết để thực hiện phản hồi có thể so sánh với đánh giá thủ công. Vì vậy, Coinbase đã phải dạy ChatGPT cách xác định rủi ro theo khung đánh giá bảo mật.

Kỹ thuật nhanh chóng, một lĩnh vực AI đang phát triển, đã đóng một vai trò quan trọng trong việc đảm bảo ChatGPT tạo ra kết quả như mong đợi. Nhóm phải trình bày rõ cách thực hiện hoặc xử lý nhiệm vụ để đạt được kết quả như mong muốn. Sử dụng lời nhắc do Coinbase thiết kế, ChatGPT đã tạo ra điểm rủi ro dùng để so sánh độ chính xác của công cụ với độ chính xác của đánh giá thủ công.

Bất chấp tính hiệu quả của ChatGPT, thử nghiệm đã bộc lộ một số hạn chế làm giảm độ chính xác của công cụ. ChatGPT không có khả năng nhận biết khi thiếu bối cảnh để thực hiện phân tích bảo mật mạnh mẽ, dẫn đến các lỗ hổng trong phạm vi bảo hiểm khiến các phần phụ thuộc bổ sung không được xem xét. Sẽ cần phải phân loại ban đầu để xác định phạm vi đánh giá cho công cụ mỗi lần nhằm ngăn chặn các khoảng trống trong phạm vi bao phủ. ChatGPT cũng không nhất quán vì cùng một câu hỏi có thể nhận được các câu trả lời khác nhau và công cụ có thể bị ảnh hưởng bởi các nhận xét trong mã.

Cuối cùng, OpenAI tiếp tục thử nghiệm ChatGPT và Coinbase lạc quan rằng các phiên bản tương lai của công cụ này có thể hiệu quả hơn trong việc xác định các lỗ hổng bảo mật trong hợp đồng thông minh.

#Coinbase #COIN #ChatGPT #AI #azcoinnews

Bài viết này đã được đăng lại từ azcoinnews.com