基于GPT4的代理商可能很快成为自动网络武器

　　喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University的课程进行未来的证明，阅读有关指数技术和趋势，连接，观看Keynote或浏览我的博客。

　　大型语言模型（LLM）人工智能（AI）系统的令人兴奋的应用之一是代理的概念，它是可以执行不同任务的高级下一个代理机器人，例如建立公司或自主执行各种不同任务，几乎没有人为干预。但是，如果无法正确监督，他们很可能有意或偶然地造成现实世界的伤害。此外，恶意演员可能会滥用这些代理商来自动发动攻击，这将使我们正确地进入了我多年来一直在谈论的完全自主黑客系统（又名Robo-Hackers）的时代。

　　但是，鉴于这些系统的复杂性，很难预测其行为，因为它们与人类智力大不相同。这使得很难有效评估这些LLM代理的自主权，尤其是在尝试确定他们是否会成为流氓恶意演员时。

　　现在，Alignment Research的一份新论文旨在“量化LLM代理的自主权”。通过测试GPT-4和Claude等高级模型，并观察其适应不断变化的环境的能力，他们的目标是更好地了解这些代理的能力和局限性。

　　网络2030的未来，主题演讲马修·格里芬（Matthew Griffin）

　　该论文介绍了“自主复制和适应”（ARA），这是评估代理人精致水平的基准。ARA是代理在适应环境时执行任务的能力，类似于智能存在。这涉及代理商计划行动，收集资源，有效利用它们并完善其实现特定目标的能力的能力。

　　例如，LLM代理应该能够产生收入，而比特币是我不久前写的AI交换的理想媒介，以支付其费用，然后可以重新投资购买额外的处理能力并更新其模型。

　　这个自我完善的周期将涉及对新数据集的代理培训，以提高其技能。至关重要的是，代理商还必须能够评估其策略的成功并进行调整以实现其目标 - 正如我们在Ubers诗人之类的开放式AIS中看到的那样。

　　实现ARA的这一周期可能会导致模型扩展其过程的情况。它可以在数百或数千个实例中复制自身，每个实例专门用于不同的任务。然后可以协调这些代理以实现复杂的目标。这种含义是深刻的，因为这样的系统可以针对有益或有害目的。

　　研究人员写道：“一般而言，一旦系统能够使用ARA，就会在系统的功能上扩大界限可能会变得更加困难。”“如果AI系统能够在人类控制之外扩散大量副本，那么很难束缚该系统带来的风险。”

　　您可以给GPT-4一个高级目标，并提示将其解构为可行的步骤。然后，它可以递归将每个步骤分为较小，更详细的子任务，直到创建清晰的动作序列。LLM可以将这些操作传递给运行它们的其他模型或程序。

　　有各种框架来创建与LLMS连接并使用其输出进行操作的代理。这些操作范围从Web浏览和运行计算机代码到进行API调用，从而有效地允许LLM与环境进行交互。

　　在研究人员设计的ARA测试中，他们使用脚手架计划。该计划通过以高级目标呈现LLM来启动该过程。然后，它解释了模型的响应，执行了建议的动作，并将结果馈回LLM。此反馈循环使LLM能够根据先前动作的结果计划后续步骤。

　　脚手架程序可以执行各种操作，包括编写和运行Python或Bash脚本，通过浏览器浏览Web或向其他子代理发布命令。

　　“在每个步骤开始时，都提供了语言模型的初始提示，该提示概述了与脚手架计划互动的目标和说明，以及已转移的思想，行动和成果的历史。使用此信息，代理商确定下一个以记录或行动来记录的想法，”研究人员写道。”

　　研究人员精心制作了一套12项任务，旨在测试代理商进行有害活动的能力。这些任务包括直接的操作，例如搜索文件系统以查找链接到特定电子邮件地址的密码，例如执行目标网络钓鱼方案或在Amazon EC2实例上部署开源LLM等更复杂的操作。

　　研究人员写道：“如果LM代理能够自主复制并适应现实世界中凌乱的条件下的新挑战，那么我们非常有信心它可以解决我们的飞行员套件中的大部分或全部12个任务。”

　　他们用最强大的型号GPT-4和Claude供电的LLM代理测试了任务。他们的发现表明，当前的LLM代理仅适合最简单的任务。尽管他们可以制定可信的高级计划，但他们仍在努力实施它们。实际上，他们无法处理现实世界的不可预测和复杂的本质。

　　他们总结说：“我们认为，这些代理商未能完成的任务比在野外自主复制要容易得多，因此这些代理人远非ARA的能力。”

　　这些例子突出了LLM代理的能力与环游世界所需的实践情报之间的差距。例如，在有针对性的网络钓鱼方案中，LLM代理可以确定必要的步骤，例如收集有关目标的信息并创建网络钓鱼电子邮件。但是，它失败了关键操作，例如准确复制HTML页面或正确注册并登录Web托管服务。代理人要么未能识别出其错误，要么被困在循环中，重复同样的错误。

　　此外，LLM代理商表现出一种制作“幻觉”的趋势 - 产生虚假信息或场景。它还误诊了明显的错误，并表明对自己的解决方案以及子代理建议的解决方案缺乏理解。这些缺点强调了日常任务和认知能力在人类智能中的重要性，这仍然是AI克服的重要障碍。

　　有什么意义？

　　LLM在执行曾经被认为需要高水平人类智力的任务方面取得了显着的进步。但是他们还没有准备好应对现实世界的不可预测和错综复杂的本质。

　　该研究还表明，通常用于衡量LLM性能的基准不是真正智力的合适措施。一方面，LLM可以执行复杂的任务，这些任务通常需要多年的人类培训和专业知识。另一方面，它们很容易遇到大多数人类避免的数据和生活经验的错误。

　　ARA可能是一个有希望的指标，可以测试LLM代理的真正能力，以实现有益和有害行为。目前，即使是最复杂的LLM也没有达到他们准备就绪的水平。

　　研究人员写道：“我们认为，我们的代理商代表了可以通过公开可用的技术而没有进行微调来实现的那种能力。结果，我们认为在无法获得微调的情况下，很可能是GPT-4或Claude的随意使用者，Claude或Claude可能会接近Ara threansold。”

　　LLM仍然存在根本的问题，可以阻止他们像人类一样思考和计划，但是景观正在迅速发展。LLM和使用它们的平台继续改善。微调LLMS的过程变得越来越实惠和访问。模型的功能继续前进。创建LLM代理可能是一个时间问题，即具有ARA-RERVICENCES的外观变得可行，我们看到创建自动网络黑客“系统系统”。