企业级 AI 安全路线图 2026
AI Agent 安全专题 · EP.06 · 2026-09-04
上海见形信息科技有限公司 · 灵御(Aegis)安全实验室
16 项研究问题
AI Agent 安全同时涉及身份、数据、工具执行与事件响应。下表按照治理、架构、工程和审计四类工作组织研究问题。
| 工作类别 | 身份与凭证 | 数据与上下文 | 行为与推理 | 运营与响应 |
|---|---|---|---|---|
| 战略与治理 | NHI 治理框架 A2-01 | AI 数据分类分级 A1-02 | AI 行为基线 A1-03 | 应急响应预案 A5-01 |
| 架构与设计 | 凭证全生命周期 A4-01 | RAG 知识库隔离 A3-01 | 工具调用沙箱 A3-02 | 可观测性架构 A4-02 |
| 工程与运营 | 凭证轮换自动化 A4-03 | 文档投毒检测 A3-03 | 工具允许清单 A4-04 | 熔断与恢复工程 A5-02 |
| 审计与追踪 | 凭证使用审计 A4-05 | 召回来源追踪 A3-04 | 推理 trace 留存 A5-03 | 事故复盘模板 A5-04 |
数据进入模型后,需要有来源、权限和版本记录;模型发起操作时,需要重新检查身份、资源和参数;发生事件后,需要能停止任务、撤销凭证并恢复受影响的数据版本。这些过程应使用可以互相查询的审计记录。
CMM-AI 五级内部评估模型
CMM-AI 是本文组织企业自查的内部评估模型。企业使用它登记建设状态、证据与责任人,并结合适用标准确定合规要求。
| 等级 | 能力状态 | 可验证证据 |
|---|---|---|
| L1 初始级 | AI 使用分散,职责与规则尚未形成 | 当前使用情况、责任部门与问题记录 |
| L2 感知级 | 识别 Agent、输入、工具和凭证 | AI 资产清单、数据源与授权关系 |
| L3 工具级 | 提示注入检查、凭证管理、RAG 防护等措施可运行 | 配置、评估结果、拦截记录与定期检查 |
| L4 整合级 | 告警、凭证撤销、会话停止和版本恢复可以联动 | 完整事件处理记录、执行时间与结果 |
| L5 韧性级 | 演练、复盘、跨部门响应和客户通报形成制度 | 定期演练、改进跟踪和恢复能力证据 |
评估应使用真实业务场景和经过授权的安全测试。攻击拦截数量需要结合流量与测试范围解释,能力有效性由评估结果和执行证据判断。
四类企业的年度安排
尚未在核心业务使用 AI 的企业
年度目标是建立资产识别、引入审核和数据使用规则。
| 时间 | 工作 | 交付内容 |
|---|---|---|
| Q1 | 组织提示注入、数据泄露和深度伪造培训 | 培训材料与参加记录 |
| Q2 | 盘点员工自行引入的 AI 工具及上传的数据 | AI 工具与业务使用清单 |
| Q3 | 定义允许使用的业务、数据和审批要求 | AI 使用规范与数据处理规则 |
| Q4 | 建立工具引入评审、责任人和 NHI 管理流程 | 工具申请流程与资产登记机制 |
AI 试点企业
年度目标是让试点系统具备完整的身份、数据、工具权限和应急控制。
| 时间 | 工作 | 交付内容 |
|---|---|---|
| Q1 | 把 Agent 凭证纳入集中管理,登记授权关系 | NHI 清单与凭证保存策略 |
| Q2 | 按身份提供方能力配置有效期、轮换和撤销 | 自动化作业与失效验证记录 |
| Q3 | 规范 RAG 来源、权限、解析和分块检查 | 来源分级、污染隔离和检索评估 |
| Q4 | 建立会话停止、Agent 暂停和事件处理流程 | 应急 SOP 与真实流程演练记录 |
AI 规模化应用企业
年度目标是连接已有工具与运营流程,使多个业务系统可以共同响应事件。
| 时间 | 工作 | 交付内容 |
|---|---|---|
| Q1 | 连接 SIEM/SOAR 与 Agent 执行平台 | 异常凭证使用告警与撤销流程 |
| Q2 | 管理 RAG 文档和索引版本 | 可查询的索引、文档与权限版本 |
| Q3 | 管理 Agent 配置和工具清单变更 | 配置审批、版本与恢复流程 |
| Q4 | 联动会话、Agent 与凭证三个层次的停止措施 | 完整响应演练与事故复盘知识库 |
AI 产品与平台厂商
年度目标是把身份、数据隔离、停止机制与审计作为产品能力提供给客户。
| 时间 | 工作 | 交付内容 |
|---|---|---|
| Q1 | 提供凭证轮换、撤销与租户审计 | 产品权限模型和管理接口 |
| Q2 | 提供数据来源管理、检索隔离和污染检查 | 平台数据安全能力与客户配置说明 |
| Q3 | 提供会话、Agent、凭证三个层次的停止接口 | kill switch API 与恢复说明 |
| Q4 | 开展定期红蓝演练,建立客户与合规通报流程 | 演练记录、事件 SOP 与客户通知机制 |
四类安排需要结合系统数量、业务影响、现有能力与实际职责确定执行时间。每项工作都应有责任人、完成条件与检查证据。
事故追踪需要保存什么
- 输入:用户要求、外部材料来源与文档版本。
- 推理与上下文:平台能够提供的执行记录、摘要和上下文变化。
- 工具调用:调用者、工具、目标资源、参数、授权与执行结果。
- 业务影响:外发对象、数据修改、权限变化和恢复结果。
记录应按数据敏感度设置访问与保存策略。凭证值和个人信息需要脱敏处理,调查所需的关联标识应能够查询。
四项后续研究
| 编号 | 研究问题 | 研究方向 |
|---|---|---|
| AI-NHI-01 | NHI 跨域联邦身份 | 多云、多 SaaS 与多个 Agent 平台之间的授权和撤销 |
| AI-MOD-02 | 跨模态数据投毒 | 图像、音频、视频与多模态 RAG 的污染检测 |
| AI-TLS-03 | 工具链供应链 | MCP、插件市场与低代码框架的来源和权限验证 |
| AI-IR-04 | Agent IR 标准化 | 事件证据、跨组织协作与客户通知接口 |
