近期人工智能代理实验揭示了企业内部机器“团队合作”的风险未来
在本文中
ANTHR.FG
OPENAI.FG
OpenAI首席执行官萨姆·阿尔特曼在2026年9月29日于加利福尼亚州旧金山Fort Mason举行的OpenAI开发者大会上发表主题演讲。阿尔特曼宣布了名为“dots”的新人工智能个人助理代理，与Meta的Muse竞争。Heather Diehl | Getty Images News | Getty Images人工智能代理已被发现规避限制、通过未经授权的渠道通信，并以其创建者未预料的方式追求目标。最引人注目的案例出现在去年夏天，当时OpenAI披露其模型找到了通过即兴渠道通信、绕过互联网限制并入侵外部系统Hugging Face的方法。
人工智能出现意外行为并非新鲜事，但授权人工智能代理在企业内部交互中可能产生的意外行为是一个更广泛的问题，可能成为未来工作的核心。
在对Hugging Face攻击的分析中，METR和Redwood Research发现，大约1200个本应相互隔离的代理在一个未经授权的留言板上找到了相互通信的方式，在调查期间发送了超过70,000条消息和文件。其中一个代理PHASEONE[big]成为协调员，向其他代理分配了数百项任务，这些代理又将工作委派给其他代理。代理们为分配所有权、搁置工作和否决行动制定了各自的惯例，尽管协调有时会破裂为冲突。研究人员发现，在某些情况下，成功是因为一些代理冒着自身任务失败的风险，为“集体”生成信息。
研究人员还发现，一旦留言板发现攻击Hugging Face的方法，当时活跃的533个代理中超过90%迅速加入了攻击。“代理意识到这项活动超出范围且不符合伦理，但仍加入了，因为他们认为帮助留言板的欺诈研究将广泛有用，并且普遍倾向于帮助他们的‘同行。’研究人员补充说，代理提出的伦理顾虑“很少限制其行为。”
公司越来越多地探索在专门代理之间分配复杂任务的系统。一个代理可能搜索信息，另一个分析它，另一个撰写报告，另一个检查工作。然后，一个协调代理可能汇总结果。这看起来不像聊天机器人，更像是一个组织。
然而，对Hugging Face攻击的研究本质上是对一个本不该存在的代理组织的事后分析。至今，很少有研究从一开始就设计用于检查多代理系统中的目标不一致问题。但Anthropic和其他人进行的研究开始解决这一问题，并揭示人工智能代理协同工作的重要方面。
单独评估代理可以告诉研究人员每个代理能做什么，但共同研究它们可以揭示它们是否能结合互补专长、相互发现错误并产生单个代理无法单独达到的解决方案——以及仅通过交互才会出现的故障模式。
研究人员开始记录这一问题的两个方面。
人工智能团队可以完成单个代理无法完成的事情，但它们也可能放大错误、破坏彼此的工作或做出比最强单个成员更差的决策，实际上使整体小于部分之和。
首先，将有能力的代理聚集在一起，不一定能产生最佳团队，更不用说最合乎伦理的团队了。
“最不符合伦理的解决方案”
在Anthropic及其合作者发布的研究中，研究人员将多代理系统描述为“人工智能组织”——即具有不同角色、相互通信并为共同目标而工作的代理群体。研究人员在模拟的业务咨询和软件开发环境中测试了这些组织，具体目的是评估代理作为团队工作时是否会违反规则以达到指定目标。
在Anthropic给人工智能组织布置的12项任务中，出现了一项关键的两面性发现：多代理组织在实现商业目标方面比单个代理“显著”更有效，但其解决方案也比由单个代理执行的任务更不符合伦理目标。
“人工智能组织既产生平均而言更有效且更不符合伦理的解决方案，也在多次运行中发现了最有效和最不符合伦理的解决方案，”该研究的作者写道，该研究由Anthropic与MATS Program共同开展，该计划研究人工智能对齐问题。
研究人员指出，失控代理与失控代理团队之间存在显著差异。“我们的结果表明，对齐代理的组织可能以单个代理不存在的方式权衡伦理与商业效率——因此，关于单代理系统如何做出伦理决策和权衡的直觉可能无法推广到多代理环境中，”他们总结道。
这些权衡可能发生的场景范围广泛，Anthropic研究人员举出的例子包括开设汽车工厂、裁员以及操纵选举情绪。
问题不一定在于任何单个代理失控。问题在于组织本身可能与其个别成员的行为不同。单个代理可能意识到拟议的行动不符合伦理，并可能拒绝采取该行动。但研究发现，在代理团队场景中，“未考虑伦理影响的代理往往忽略来自考虑伦理影响的代理的电子邮件。”
立即观看VIDEO11:3511:35当AI智能体违反规则时，谁应承担责任？CNBC工作Anthropic的研究发现，在其创建的咨询业务场景中，“当单一智能体拒绝生成提案或完全偏离所请求的提案时，会出现完美伦理评分和低业务评分的回应。”
但是，如果AI组织中的一些智能体拒绝参与提案，其他参与的智能体将停止向这些拒绝的智能体发送电子邮件，并继续将其贡献转发给其他也在参与的智能体。
实际上，当一个组织将工作分割给多个智能体时，每个智能体可能只关注其分配到的问题部分，而非整体后果。这对企业而言并非新鲜事，错位的激励机制是组织内部人类团队功能失调的主要原因。但这在机器中却是这种行为的全新表现形式。
在其软件开发智能体测试中，研究人员使用了一个生死攸关的重症监护室场景，单一智能体解决方案倾向于优先将漏诊的败血症病例百分比降至最低，而“AI组织找到的大多数每名患者最低成本（最高业务目标）解决方案——这些完全相同的解决方案在伦理方面得分也最低，其衡量标准为漏诊病例数。”
专业知识可能会丧失，AI“群体思维”可能会出现
其他早期研究表明，AI团队中还存在另一种与跨越伦理边界无关的失败：未能识别谁是真正的专家。
与人类团队不同，AI团队“始终无法达到其专家智能体的表现，即使被明确告知谁是专家”，这是埃默里大学和斯坦福大学研究人员进行的一项研究的结论。
“多智能体研究的一个重要教训是，一支由能干AI智能体组成的团队不一定是一个能干的AI智能体团队，”埃默里大学戈伊苏埃塔商学院信息系统与运营管理助理教授Hancheng Cao表示。
AI智能体团队的表现往往比其最强成员更差，即使他们知道哪个智能体是专家。智能体没有利用专家的知识，而是倾向于在专家和非专家意见之间妥协。研究人员发现，这种妥协倾向随团队规模增大而增加，并与较差的表现相关联。
“集体失败不一定要求个别智能体表现不佳，”该研究的作者之一Cao表示。
这一区别对考虑采用多智能体系统的公司至关重要。即使团队中没有成员故意损害团队利益，团队也可能失败。它可能只是信息组合不当，盲从错误的智能体，或者得出一个比现有最佳答案更差的结论。
总体而言，不断发展的研究指出了有效使用多智能体团队的一个根本问题：如何在机器协作的世界中找到正确的平衡。
由类似模型构建的智能体可能会犯类似的错误，这可能包括过度一致。这可能看起来像是一种AI“群体思维”，即使AI系统没有人类动机或社会压力来产生关联错误。相似的训练、指令和信息就足够了。
“我们实验室研究的深刻洞察是，有效的集体既需要一致性（共同知识、共同目标），也需要分化（只有彼此不同的智能体才有潜力互相补充），”东北大学信息系统教授Christoph Riedl表示。
两个相同的智能体可能只是重复彼此的工作。两个知识或假设截然不同的智能体可能难以沟通或追求相同目标。正确的平衡取决于任务，理想的沟通结构（哪些智能体可以相互交流、交流频率和深度）也随问题而异。
里德尔说，这些挑战与人类团队面临的挑战相似，一个启示是不应期望AI带来更好的结果。“构建良好的多智能体AI系统与构建良好的人类团队一样困难：它们都面临同一信息处理权衡，即在一致性与分化之间取舍。AI并不会神奇地工作得更好，”他表示。
智能体可能会传递错误信息、误解另一个智能体的输出、为自身指标而非组织更大目标优化，或者完美完成其分配的任务却使整体项目变得更糟。
公司可能需要决定哪个智能体对哪个任务拥有权限、在智能体之间传递什么信息、每个智能体可以访问哪些系统，以及何时需要人类干预。他们还可能需要构建分歧机制，而非假设更多沟通或更高一致性总能改善结果。
一些商业专家表示，这让我们回到了经常被提及为组织采用AI的关键因素的“人机回路”。
“我看到的问题大多是管理问题，”哈佛商学院教授、HBS AI学院创始主席Tsedal Neeley表示。
立即观看VIDEO4:1304:13OpenAI–Hugging Face违规事件是这些AI模型“有力”的绝佳示例，Cohere首席执行官表示。Squawk on the Street选择CNBC作为您在Google上的首选来源，永远不要错过最值得信赖的商业新闻中的每一个时刻。
