意见作者：Merav Ozair 博士
英伟达首席执行官黄仁勋在 2024 年 11 月预测，2025 年将是“人工智能代理之年”。这将为一个新时代铺平道路：代理经济
黄仁勋将人工智能代理描述为“数字员工”，并预测有一天，英伟达将拥有 50,000 名人类员工和超过 1 亿个人工智能代理，并且每个组织都可能会看到人工智能员工的类似增长。
但将人工智能代理描述为“数字工作者”过于简单，并且削弱了这项技术的影响。
AI代理的演变
我们将技术视为工具，但代理AI不仅仅是工具。代理AI超越了简单执行单一任务——它在我们与技术互动的方式上呈现出根本性的转变。
与依赖人类指令并无法独立处理复杂、多步骤推理或协调的生成AI（GenAI）不同，代理AI使用学习、适应并共同工作的一组代理网络。AI代理可以相互互动并学习，它们具备自主决策、从经验中学习、适应变化情况以及规划复杂的多步骤行动的能力——有效地充当一个主动的合作伙伴，而不仅仅是执行预定义命令的被动工具。
最新消息：萨姆·奥特曼预计今年将出现首批AI工作者；OpenAI离AGI更近了
每个人和每件事都可以拥有一个AI代理，能够在其名下自主工作。人们可以用它们来帮助日常生活或职业生活，而组织可以将其用作助手或工人，或一组工人的网络。你也可以想象有一个AI代理为另一个AI代理服务。代理AI应用是无限的，只受我们的想象力限制。
这非常令人兴奋，潜在的好处可能是巨大的，但风险也是如此。AI代理，特别是多代理系统，不仅会指数级加剧我们在GenAI中经历的许多现有的伦理、法律、安全和其他脆弱性，还会创造新的脆弱性。
AI代理带来了新的风险级别
AI模型是数据驱动的。随着代理AI的出现，对个人和专有数据的需求和依赖在指数上增加，脆弱性和风险也是如此。这些系统的复杂性引发了各种隐私问题。
隐私
我们如何确保数据保护原则，如数据最小化和目的限制，得到遵守？我们如何避免个人数据在代理AI系统内泄露？如果用户决定停止使用AI代理，他们能否行使数据主体的权利，例如被遗忘权？仅仅与“一个”代理沟通并期待其“广播”给整个代理网络是否足够？
安全
AI代理可以控制我们的设备，我们必须审查这些代理在我们的计算机、智能手机或任何IoT设备上运行时可能存在的潜在漏洞。
如果存在任何安全漏洞，那么它将不会仅限于一个被攻击的应用程序。你的“整个生活”——即你所有设备上的所有信息等等——都会受到损害。这对个人和组织都是如此。此外，这些安全漏洞可能会“泄漏”到与你的“受损”代理进行交互的其他AI代理系统中。
假设一个代理（或一组代理）遵循严格的安全防护措施。假设它们与其他（或一组）已被攻破的代理进行交互——例如，由于缺乏适当的网络安全措施。我们如何确保这些受损的代理不会作为“病毒”去污染它们所交互的所有代理？
这样的情景的影响可能是毁灭性的。这种“病毒”可能在毫秒内传播，并且，整个系统可能会在各国之间崩溃。连接/互动越复杂和交织，崩溃的危险就越高。
偏见与公平
我们已经看到了偏见GenAI系统的例子。在AI代理的背景下，任何现有的偏见都将在任务执行链中传播，从而加剧影响。
我们如何防止歧视或执行法律条款以确保公平，当偏见已经“嵌入”到AI代理中时？我们如何确保AI代理不会加剧特定大型语言模型（LLM）中内置的现有偏见？
透明度
人们希望了解代理的决策过程。公司必须确保AI交互是透明的，并允许用户在需要时进行干预或选择退出。
问责制
在代理系统和执行链中，我们如何定义问责制？是特定的代理？还是代理系统？如果代理系统彼此互动会发生什么？你如何建立适当的可追溯性和防护措施？
我们尚未弄清楚如何解决LLM和GenAI应用中的这些问题。我们怎么能确保能够保护更复杂的东西？除了这些风险之外，可能还会对全球范围内造成各种社会伤害。
对一个全面、负责任的AI的需求
立法者尚未考虑代理AI系统。他们仍在努力理解如何为LLM和GenAI应用程序设定保护措施。在代理经济的时代，开发者、科技公司、组织和立法者需要重新审视“负责任的AI”这一概念。
对每个组织或应用实施AI治理和适当的负责任的AI措施是不够的。该方法应更全面和全面，国际合作以确保安全、可靠的代理AI可能不仅是可选的，而是必须的。
梅拉夫·奥扎尔博士帮助组织实施负责任的AI系统并减轻与AI相关的风险。她正在韦克森林大学和康奈尔大学开发和教授新兴技术课程，之前是罗格斯商学院的金融科技教授。她还是新兴技术掌握（Emerging Technologies Mastery）的创始人，这是一家Web3和AI的端到端（及负责任创新）咨询公司，并持有纽约大学斯特恩商学院的博士学位。
本文仅供一般信息用途，不应被视为法律或投资建议。这里表达的观点、想法和意见仅代表作者本人，并不一定反映或代表Cointelegraph的观点和意见。