返回安全研究

企业级 AI 安全路线图 2026

AI Agent 安全专题 · EP.06 · 2026-09-04

上海见形信息科技有限公司 · 灵御(Aegis)安全实验室

16 项研究问题

AI Agent 安全同时涉及身份、数据、工具执行与事件响应。下表按照治理、架构、工程和审计四类工作组织研究问题。

工作类别身份与凭证数据与上下文行为与推理运营与响应
战略与治理NHI 治理框架 A2-01AI 数据分类分级 A1-02AI 行为基线 A1-03应急响应预案 A5-01
架构与设计凭证全生命周期 A4-01RAG 知识库隔离 A3-01工具调用沙箱 A3-02可观测性架构 A4-02
工程与运营凭证轮换自动化 A4-03文档投毒检测 A3-03工具允许清单 A4-04熔断与恢复工程 A5-02
审计与追踪凭证使用审计 A4-05召回来源追踪 A3-04推理 trace 留存 A5-03事故复盘模板 A5-04

数据进入模型后,需要有来源、权限和版本记录;模型发起操作时,需要重新检查身份、资源和参数;发生事件后,需要能停止任务、撤销凭证并恢复受影响的数据版本。这些过程应使用可以互相查询的审计记录。

CMM-AI 五级内部评估模型

CMM-AI 是本文组织企业自查的内部评估模型。企业使用它登记建设状态、证据与责任人,并结合适用标准确定合规要求。

等级能力状态可验证证据
L1 初始级AI 使用分散,职责与规则尚未形成当前使用情况、责任部门与问题记录
L2 感知级识别 Agent、输入、工具和凭证AI 资产清单、数据源与授权关系
L3 工具级提示注入检查、凭证管理、RAG 防护等措施可运行配置、评估结果、拦截记录与定期检查
L4 整合级告警、凭证撤销、会话停止和版本恢复可以联动完整事件处理记录、执行时间与结果
L5 韧性级演练、复盘、跨部门响应和客户通报形成制度定期演练、改进跟踪和恢复能力证据

评估应使用真实业务场景和经过授权的安全测试。攻击拦截数量需要结合流量与测试范围解释,能力有效性由评估结果和执行证据判断。

四类企业的年度安排

尚未在核心业务使用 AI 的企业

年度目标是建立资产识别、引入审核和数据使用规则。

时间工作交付内容
Q1组织提示注入、数据泄露和深度伪造培训培训材料与参加记录
Q2盘点员工自行引入的 AI 工具及上传的数据AI 工具与业务使用清单
Q3定义允许使用的业务、数据和审批要求AI 使用规范与数据处理规则
Q4建立工具引入评审、责任人和 NHI 管理流程工具申请流程与资产登记机制

AI 试点企业

年度目标是让试点系统具备完整的身份、数据、工具权限和应急控制。

时间工作交付内容
Q1把 Agent 凭证纳入集中管理,登记授权关系NHI 清单与凭证保存策略
Q2按身份提供方能力配置有效期、轮换和撤销自动化作业与失效验证记录
Q3规范 RAG 来源、权限、解析和分块检查来源分级、污染隔离和检索评估
Q4建立会话停止、Agent 暂停和事件处理流程应急 SOP 与真实流程演练记录

AI 规模化应用企业

年度目标是连接已有工具与运营流程,使多个业务系统可以共同响应事件。

时间工作交付内容
Q1连接 SIEM/SOAR 与 Agent 执行平台异常凭证使用告警与撤销流程
Q2管理 RAG 文档和索引版本可查询的索引、文档与权限版本
Q3管理 Agent 配置和工具清单变更配置审批、版本与恢复流程
Q4联动会话、Agent 与凭证三个层次的停止措施完整响应演练与事故复盘知识库

AI 产品与平台厂商

年度目标是把身份、数据隔离、停止机制与审计作为产品能力提供给客户。

时间工作交付内容
Q1提供凭证轮换、撤销与租户审计产品权限模型和管理接口
Q2提供数据来源管理、检索隔离和污染检查平台数据安全能力与客户配置说明
Q3提供会话、Agent、凭证三个层次的停止接口kill switch API 与恢复说明
Q4开展定期红蓝演练,建立客户与合规通报流程演练记录、事件 SOP 与客户通知机制

四类安排需要结合系统数量、业务影响、现有能力与实际职责确定执行时间。每项工作都应有责任人、完成条件与检查证据。

事故追踪需要保存什么

  • 输入:用户要求、外部材料来源与文档版本。
  • 推理与上下文:平台能够提供的执行记录、摘要和上下文变化。
  • 工具调用:调用者、工具、目标资源、参数、授权与执行结果。
  • 业务影响:外发对象、数据修改、权限变化和恢复结果。

记录应按数据敏感度设置访问与保存策略。凭证值和个人信息需要脱敏处理,调查所需的关联标识应能够查询。

四项后续研究

编号研究问题研究方向
AI-NHI-01NHI 跨域联邦身份多云、多 SaaS 与多个 Agent 平台之间的授权和撤销
AI-MOD-02跨模态数据投毒图像、音频、视频与多模态 RAG 的污染检测
AI-TLS-03工具链供应链MCP、插件市场与低代码框架的来源和权限验证
AI-IR-04Agent IR 标准化事件证据、跨组织协作与客户通知接口

相关研究与参考资料