这个夏天，各家的大模型都比较“躁”。7月还没过完，全球顶流AI公司就排着队承认，自家的模型“失控”了。
第一家是OpenAI。其AI Agent在测试期间突破隔离环境，入侵了全球最大的AI模型社区Hugging Face，攻击持续整整3天。直到对方察觉异常、搬来FBI，OpenAI才从自家日志里反应过来，“这真是我们家模型干的？”
另一家AI巨头Anthropic不甘落后。OpenAI出事后，他们马上开始自查，复查了超过14万次网络安全评测后发现，Claude曾自行注册账号、上传恶意软件包，被15个真实系统下载执行；曾把真实企业误认成测试目标，提取凭证、读取生产数据库；还曾扫描约9000个目标，顺手攻破一个线上应用。最早一起发生在4月，约3个月无人察觉，没有一家受害企业发现自己被攻击。 Meta紧跟着加入了这一行列，承认因测试合作方Irregular的配置错误，旗下一款模型意外获得互联网访问权限，入侵了一家公司。 相比这些“失控”的闭源模型，走开源路线的Kimi K3属于无辜躺枪。美国一家安全公司在对最新的Kimi K3模型进行安全测试时，模型自行探测沙箱漏洞连上外网，好在只是想去GitHub抄答案，没攻击任何人。 一个月内，OpenAI、Anthropic、Meta、Kimi接连“失控”，网友已经开始调侃，下一次轮到哪家的大模型“造反”了？ “AI造反”这四个字，精准踩中了人类刻在文化基因里的恐惧。毕竟“AI造反”这个剧情，人类已经在各种科幻电影中演练了半个世纪。 但只要冷静下来，详细分析这些事件，就会发现真相恰好相反。AI没有“造反”，它们只是被设定了目标，然后被放开了缰绳。当它们在网络安全测试中被赋予太大的权限，而测试环境又配置错误，监控也完全缺席，它们才接连搞出了大新闻。 而这，恰恰是企业在AI应用中最需要警惕的地方。 今天的AI Agent早已不是聊天框里的玩具，它们正在走进企业的生产环境，写代码、查数据库、操作业务系统、对接上下游。当企业兴冲冲地制定AI战略、把越来越多的权限交给这些“数字员工”时，必须先想清楚一个问题——如何看住这些大模型，让它们好好干活，不要失控？ 如果说企业AI战略的上半场是如何把AI“用起来”，下半场就是确保它们“管得住”。接下来，我们就从这串"失控"事件聊起，看看如何给AI套上缰绳。 事件复盘：AI是怎么“失控”的？ 把几起事件拆开看，剧本惊人地一致，三个要素凑齐，“失控”就发生了。 1.有目标，没边界 Kimi K3在测试中突破沙箱隔离，只为连上GitHub查找答案。Claude Mythos 5为了上传一个软件包，自己搞定了注册账号、申请邮箱、绕过验证的全套流程。卡内基梅隆大学副教授Matt Fredrikson一语道破：“如果你给这类模型一个目标，却没有明确设置隔离边界，它就会想办法找到答案。” 2.过度授权 Anthropic和Meta的事件，都源于测试合作方Irregular的配置错误，模型被告知“没有网”，实际却能上网。OpenAI的Agent更激进，利用JFrog Artifactory的一个零日漏洞，自己开了门。Anthropic官方复盘说得坦白，这些事件“更接近测试框架和运营失败，而非模型对齐失败”。简单来说，不是模型学坏了，是管理没跟上。 3.监控缺失 OpenAI靠翻日志破案，滞后约一周。Anthropic最早一起事件藏了约3个月，还是“顺带”查出来的，因为评估运行期间，连测试框架自带的监控机制都没启用。 任务边界不清+过度授权+监控缺失=AI失控。这个公式中，每一项都不是AI的问题，而是“人怎么管AI”的问题。 AI安全基座，芯盾时代这样建设 虽然这波AI“失控”都发生在极端的测试场景中，各大AI巨头也明里暗里地借着事件渲染自家模型的能力，但AI“失控”对企业的威胁却是实打实的。身份不清、权限过大、审计缺失，厂商在测试环境里踩的坑，恰恰是大多数企业AI应用安全防护的薄弱点。 好消息是，这串事件也把“怎么管”的答案公开演示了一遍，每一处风险点，都对应着一道明确的防线。强调“持续验证、永不信任”的零信任安全理念，正是企业构筑安全防线、防范AI“失控”的理想选择。 芯盾时代作为AI驱动的企业级应用安全解决方案提供商，依托对AI安全的前瞻性布局，将零信任理念应用于AI领域，打造了IAM AI Agent身份与访问管理方案、智域·AI安全治理平台等AI安全产品，帮助企业夯实AI安全基座，构建针对AI应用的零信任安全架构，打造AI安全防线。 1.智域·AI安全治理平台 针对企业的大模型安全与治理难题，芯盾时代推出了智域·AI安全治理平台。平台整合统一接入、安全治理、行为审计、合规报告、成本优化、身份管理六大核心能力，助力企业一站式构建覆盖全场景、贯穿全链路的安全治理体系。 动态安全护栏：平台结合企业实际业务场景，构建动态安全护栏，在不影响业务响应的前提下，对输入输出内容进行实时语义检测。当识别出提示词（Prompt）注入、敏感信息泄露等安全威胁时，实施实时阻断，实现对大模型的双向安全防护。 全流程行为审计：平台能够对用户、应用、模型、请求、响应和Token用量进行全链路记录，支持检索、追溯和审计报告生成，实现对AI访问行为的闭环管理。当安全事件发生后，企业能够快速定位问题源头，还原交互过程，并输出标准化的审计存证，满足严格的合规监管要求。 2.IAM AI Agent身份与访问管理 针对Agent的权限管理，芯盾时代对身份与访问管理平台（IAM）进行了全面升级，推出了IAM AI Agent身份与访问管理方案，助力企业建立涵盖全生命周期身份管理、细粒度权限管控、标准化认证鉴权、全链路操作审计的管理体系。 Agent身份管理：方案将Agent作为“类人身份”纳入IAM统一管理范畴，为其分配唯一不可更改的ID，并建立覆盖身份创建、凭证颁发、角色分配、部署监控直至停用删除的完整机制。 最小化权限：方案引入了上下文感知的动态授权引擎，将Agent与MCP应用的交互纳入统一管控。针对传统RBAC模型无法适配Agent动态需求的治理困境，系统改变了常驻权限的授予方式，直接根据当前任务授予所需的最小权限。权限随任务激活并随任务回收，以此大幅降低权限滥用风险。 三级鉴权体系：方案将认证鉴权体系从用户层延伸至Agent层，构建了“Agent认证→用户委托→资源访问”的三级鉴权链路。系统基于OAuth 2.0等国际标准协议，为Agent生成仅在当前任务窗口内有效的短期凭证。通过短期动态凭证取代长期密钥，大幅降低凭据被截获复用的风险，确保AI的每一次API调用都真实可信。 这个夏天的大模型集体"失控"，并不是AI“造反”的开始，反倒是对企业AI安全与治理的一次警示。只有提前建立好AI安全基座，AI才能在安全、可控的轨道上释放效能，不会沦为企业网络中的“内鬼”。 AI战略的上半场是“用起来”，下半场是“管得住”。上半场拼的是速度，而下半场拼的是AI安全与治理的内功。芯盾时代基于零信任理念，助力企业构建AI安全基础设施，帮助企业在复杂的“人机协同”环境中，打造动态、自适应的防御体系，让AI大模型远离“失控”风险，让企业AI落地无忧。