Coinbaseは、OpenAIが開発した人工知能言語モデルChatGPTがスマートコントラクトのセキュリティ脆弱性を検出する精度を評価する実験を実施しました。
Coinbase のブロックチェーン セキュリティ チームは、20 件のスマート コントラクトに対する ChatGPT のリスク スコア結果を手動のセキュリティ レビューから得られた結果と比較し、ChatGPT をセキュリティ レビュー プロセスに統合できるかどうかを確認しました。テストの結果、ChatGPT は 12 回、手動レビューと同じ結果を生成しました。ただし、残りの 8 つのケースでは、ChatGPT は高リスク資産を識別できず、そのうち 5 つは低リスクと分類されました。
ChatGPT は、提供されるプロンプトに基づいてコードの最適化や脆弱性の特定など、幅広い開発およびエンジニアリング タスクの生産性を向上させる有望なツールです。ただし、ChatGPT はスマート コントラクトのリスクを迅速に評価する可能性を示していますが、Coinbase のセキュリティ レビュー プロセスに統合するために必要な精度要件を満たしていません。
ブロックチェーン セキュリティ チームは、セキュリティ エンジニアが ERC20/721 スマート コントラクトを大規模にレビューできるようにするために開発された社内自動化ツールを活用しています。スマート コントラクトのセキュリティ リスクをレビューする ChatGPT の機能をテストするために、チームは、手動レビューで得られた結果と比較するために使用するリスク レビュー フレームワークを指定するプロンプトをツールに入力しました。しかし、チームは、ChatGPT には手動レビューと比較できる応答を実行するために必要なコンテキストや情報がないことに気付きました。そのため、Coinbase は、セキュリティ レビュー フレームワークに従ってリスクを識別するように ChatGPT に教える必要がありました。
開発中の AI 分野であるプロンプト エンジニアリングは、ChatGPT が意図した結果を確実に生み出す上で重要な役割を果たしました。チームは、意図した結果を得るためにタスクをどのように実行または処理すべきかを明確にする必要がありました。Coinbase が設計したプロンプトを使用して、ChatGPT はリスク スコアを生成し、ツールの精度を手動レビューの精度と比較しました。
ChatGPT の効率性にもかかわらず、実験によりツールの精度を損なういくつかの制限が明らかになりました。ChatGPT は、堅牢なセキュリティ分析を実行するためのコンテキストが不足していることを認識できず、追加の依存関係がレビューされないカバレッジ ギャップが発生します。カバレッジ ギャップを防ぐには、毎回ツールのレビュー範囲を定める初期トリアージが必要になります。また、ChatGPT には一貫性がなく、同じ質問に対して異なる回答が返される可能性があり、ツールはコード内のコメントの影響を受ける可能性があります。
最後に、OpenAI は ChatGPT の改良を続けており、Coinbase は、このツールの将来のバージョンではスマート コントラクトのセキュリティ脆弱性の特定がより効果的になる可能性があると楽観視しています。
#Coinbase #COIN #ChatGPT #AI #azcoinnews
この記事はazcoinnews.comから転載されました。