Coinbase hat ein Experiment durchgeführt, um die Genauigkeit des von OpenAI entwickelten künstlichen Intelligenz-Sprachmodells ChatGPT beim Erkennen von Sicherheitslücken in Smart Contracts zu bewerten.
Das Blockchain-Sicherheitsteam von Coinbase verglich die Risikobewertungsergebnisse von ChatGPT für 20 Smart Contracts mit denen einer manuellen Sicherheitsüberprüfung, um festzustellen, ob ChatGPT in den Sicherheitsüberprüfungsprozess integriert werden kann. Der Test ergab, dass ChatGPT 12 Mal dieselben Ergebnisse wie die manuelle Überprüfung lieferte. In den verbleibenden acht Fällen konnte ChatGPT jedoch kein Asset mit hohem Risiko identifizieren, und fünf davon wurden als risikoarm eingestuft.
ChatGPT ist ein vielversprechendes Tool zur Verbesserung der Produktivität bei einer Vielzahl von Entwicklungs- und Engineeringaufgaben, darunter die Optimierung von Code und die Identifizierung von Schwachstellen, unter anderem anhand der Eingabeaufforderungen. Obwohl ChatGPT Potenzial für eine schnelle Bewertung von Smart-Contract-Risiken bietet, erfüllt es nicht die Genauigkeitsanforderungen, die für die Integration in den Sicherheitsüberprüfungsprozess von Coinbase erforderlich sind.
Das Blockchain Security-Team nutzt interne Automatisierungstools, die entwickelt wurden, um Sicherheitsingenieure bei der Überprüfung von ERC20/721-Smart Contracts in großem Maßstab zu unterstützen. Um die Fähigkeit von ChatGPT zu testen, Sicherheitsrisiken in Smart Contracts zu überprüfen, fütterte das Team das Tool mit einer Eingabeaufforderung, die das Rahmenwerk für die Risikoüberprüfung angab, das verwendet werden sollte, um die Ergebnisse mit denen der manuellen Überprüfung zu vergleichen. Das Team stellte jedoch fest, dass ChatGPT nicht über den Kontext oder die Informationen verfügte, die erforderlich waren, um eine Antwort zu geben, die mit der manuellen Überprüfung verglichen werden konnte. Daher musste Coinbase ChatGPT beibringen, Risiken gemäß dem Rahmenwerk für die Sicherheitsüberprüfung zu identifizieren.
Prompt Engineering, ein sich entwickelndes KI-Feld, spielte eine wichtige Rolle dabei, sicherzustellen, dass ChatGPT die beabsichtigten Ergebnisse lieferte. Das Team musste artikulieren, wie die Aufgabe ausgeführt oder gehandhabt werden sollte, um die beabsichtigten Ergebnisse zu erzielen. Mithilfe des von Coinbase entwickelten Prompts erstellte ChatGPT Risikobewertungen, mit denen die Genauigkeit des Tools mit der einer manuellen Überprüfung verglichen wurde.
Trotz der Effizienz von ChatGPT offenbarte das Experiment einige Einschränkungen, die die Genauigkeit des Tools beeinträchtigen. ChatGPT ist nicht in der Lage zu erkennen, wenn ihm der Kontext für eine robuste Sicherheitsanalyse fehlt, was zu Abdeckungslücken führt, wenn zusätzliche Abhängigkeiten nicht überprüft werden. Eine anfängliche Triage wäre jedes Mal erforderlich, um den Umfang der Überprüfung für das Tool festzulegen und Abdeckungslücken zu vermeiden. ChatGPT ist außerdem inkonsistent, da dieselbe Frage unterschiedliche Antworten erhalten kann und das Tool durch Kommentare im Code beeinflusst werden kann.
Schließlich arbeitet OpenAI weiter an ChatGPT und Coinbase ist optimistisch, dass zukünftige Versionen des Tools bei der Identifizierung von Sicherheitslücken in Smart Contracts effektiver sein werden.
#Coinbase #COIN #ChatGPT #AI #azcoinnews
Dieser Artikel wurde von azcoinnews.com erneut veröffentlicht.