问责制挑战：不是他们，而是你
到目前为止，治理的重点一直是模型输出风险，在做出相应的决策（例如贷款批准或工作申请）之前，人类就参与其中。模型行为，包括漂移、对齐、数据泄露和中毒，是焦点。速度是由人类以聊天机器人格式提示模型来设定的，机器和人类之间有大量的来回交互。
如今，随着自主代理在复杂的工作流程中运行，应用人工智能的愿景和好处需要的人员数量大大减少。关键是通过自动化具有清晰架构和决策规则的手动任务，以机器的速度运营业务。从责任的角度来看，目标是不降低操作工作流程的机器和操作工作流程的人员之间的企业或业务风险。 CX Today 总结 简而言之：“人工智能完成工作，人类承担风险”，加州法律 (AB 316) 于 2026 年 1 月 1 日生效，该法律消除了“人工智能完成了这项工作；我不批准它”的借口。这类似于养育子女，当成年人对孩子对更大社区产生负面影响的行为负责时。
挑战在于，如果不构建代码来强制执行与整个工作流程中不同级别的风险和责任相一致的运营治理，自主人工智能代理的优势就会被抵消。过去，治理是静态的，并且与聊天机器人典型的交互速度保持一致。然而，自主人工智能的设计使人类无法参与许多决策，这可能会影响治理。
考虑权限
就像给一个三岁的孩子一个可以远程控制艾布拉姆斯坦克或武装无人机的视频游戏机一样，让一个没有实时护栏运行的概率系统可以改变关键的企业数据，这会带来巨大的风险。例如，跨多个公司系统集成和链接操作的代理可能会超出单个人类用户将被授予的权限。为了成功推进，治理必须从委员会制定的政策转向从一开始就内置于工作流程中的操作代码。
关于幼儿拿着玩具的行为的幽默模因始于所有的原因：无论你拥有什么玩具都是我的，最后以一个破损的玩具绝对是你的。例如，OpenClaw 提供了更接近于与人类助手一起工作的用户体验；但兴奋点随着 安全专家 意识到没有经验的用户很容易因使用它而受到损害。
几十年来，企业 IT 一直与影子 IT 共存，现实是熟练的技术团队必须接管并清理他们没有构建或安装的资产，就像幼儿归还破损的玩具一样。对于自治代理，风险更大：持久的服务帐户凭据、长期存在的 API 令牌以及对核心文件系统做出决策的权限。为了应对这一挑战，必须预先分配适当的 IT 预算和劳动力，以维持对数千名员工或部门创建的代理的集中发现、监督和补救。
制定退休计划
最近，一位熟人提到，她通过识别并结束一个“僵尸项目”（一个被忽视或失败的人工智能飞行员在 GPU 云实例上运行）为客户节省了数十万美元。企业内可能有数千名代理冒着成为僵尸舰队的风险。如今，许多高管鼓励员工使用人工智能，或者其他方式，并告诉员工创建自己的人工智能优先工作流程或人工智能助手。借助 OpenClaw 等工具和自上而下指令的实用性，很容易预测，与人类员工一起来到办公室的自建代理数量将会激增。由于人工智能代理是一个属于公司拥有知识产权定义的程序，因此当员工更换部门或公司时，这些代理可能会被孤立。需要积极主动的政策和治理来停用和退休与特定员工 ID 和权限相关的任何代理。
财务优化是治理的门外之举
虽然对于一些高管来说，自主人工智能听起来像是一种通过限制人力资本来提高营业利润的方法，但许多人发现人力替代的投资回报率是错误的。向企业添加人工智能功能并不意味着购买具有可预测的每小时实例或每席位定价的新软件工具。 2025 年 12 月 IDC 调查 由 Data Robot 赞助的一项研究表明，96% 的部署生成式 AI 的组织和 92% 的实施代理式 AI 的组织报告的成本高于或远高于预期。
