AI 安全：保护生产环境中的模型、数据与智能体

SEYA Group 的 AI 安全咨询帮助加拿大企业在不暴露数据和系统的前提下部署 LLM 应用与 AI 智能体：我们评估提示注入与数据泄露风险，设计控制措施，并对生产环境中的模型进行监控。典型项目周期为四到十二周，由我们温哥华办公室的资深安全工程师主导。

适用对象

团队即将把大语言模型、检索系统或智能体交到员工或客户手中的 CISO 和安全架构师。被要求批准某项 AI 功能、却还没有一份书面材料说明模型能触及什么的 CIO。已经在 AWS、Microsoft Azure 或 Google Cloud 上交付、希望安全工作由同样会读流水线的人来做的工程负责人。

这是一项咨询服务。SEYA 不销售模型，不运营安全运营中心，也不认证系统是安全或合规的。结论来自评审和双方商定的检查所报告的内容。

评审覆盖的威胁

评审以两份公开参考资料作为检查清单，而不是作为标签。OWASP LLM 应用 Top 10 列出了已部署助手中常见的失效模式：提示注入、敏感信息泄露、模型与插件的供应链弱点，以及不安全的插件或工具使用。NIST AI 风险管理框架 则是我们用来把风险写成安全委员会能读懂的文件的结构：治理、映射、度量、管理。

• 提示注入。藏在文档、网页、邮件或用户消息中的指令，试图覆盖系统提示词或工具策略。
• 数据泄露。训练数据、检索索引、提示词和工具输出，可能把客户数据、密钥或其他租户的内容返回给错误的调用方。
• 模型供应链。进入环境时没有来源、版本或晋级前检查记录的权重、容器、插件和评估集。
• 智能体工具滥用。能够调用内部 API、工单或云账户的智能体，其权限超出了提问者本人的权限。

您将获得

• 书面评估。范围内的系统、它们能触及的数据、它们运行所用的身份，以及按严重程度排序的发现清单。每项发现都说明观察到了什么、我们建议做什么改动。它不会声称系统已通过认证。
• 控制设计。输入过滤、输出检查、工具白名单、密钥处理和日志记录，映射到您已在使用的流水线和云账户。如果您希望由我们来构建这些控制，该构建是单独商定的范围，与 DevSecOps 工作并行，使检查在每次变更时运行。
• 监控方案。记录什么（提示词往往是敏感的，方案会说明哪些内容不得存储）、哪些告警值得叫醒一个人、由谁来审查。
• 交接包。评估报告、控制清单，以及与您的安全和工程负责人的一次工作会议。文档和账户都归您保留。

项目如何开展

• 范围确认会。您说明应用是什么、谁在用、它能检索哪些数据、能调用哪些工具。我们判断第一步工作是评估、控制设计，还是两者都做。
• 评估。我们与您的工程师一起阅读架构、身份模型，以及一组提示词和工具调用轨迹样本。我们不需要把生产环境的客户数据复制给 SEYA。
• 控制。我们针对评估发现编写控制设计。什么情况下阻止发布，由您的负责人决定。SEYA 提出建议；例外流程仍归您所有。
• 监控。在任何智能体获得新工具之前，先商定日志记录和审查方式。如果应用尚未投入生产，这一步是设计方案，而不是实时数据流。
• 交接。您的团队带走全部文档，以及（若构建在范围内）流水线检查。系统变更后，可按同一基线再做一次评审。

您需要具备的条件

一位安全负责人和一位工程负责人、模型或智能体的描述，以及对设计文档和非生产环境的访问权限。如果模型本身仍在构建中，那属于产品开发项目。SEYA 评审的是它如何部署、被允许触及什么。如果悬而未决的问题是为委员会准备政策和证据，请从 AI 治理开始。如果您想在上线前限时攻击提示词和工具，请从 LLM 安全评估开始。

不在范围内：保证模型不会被误导、声称 SEYA 或您的系统已通过 NIST、ISO 或任何其他标准的认证，以及托管式检测服务。SEYA 如何配合客户完成安全评审的公开证明，是 Boeing GoldCare 迁移至 Azure 的案例：在工作负载上线前，基础设施由 Boeing InfoSec 审查。那个项目是带安全关卡的云迁移，不是 LLM 部署。我们引用它，是因为评审模式相同：客户的安全团队在投产前看到设计。

常见问题

你们会认证我们的 AI 系统吗？

不会。SEYA 提供评估发现、控制设计，以及这些控制所产生的证据。如果您需要认证，那是您与颁发机构之间的事。我们不会在报告上加盖认证标志。

一个 AI 安全项目需要多长时间？

对单个应用的首次评估通常在四到十二周内完成，具体取决于智能体能调用多少工具、设计文档已经写了多少。多产品项目会按阶段划分范围，而不是作为一次无限期的评审。

你们会训练或托管模型吗？

不会。项目覆盖的是模型或智能体如何被访问、能看到哪些数据、能采取哪些操作。构建产品是另一项决策，不属于本服务。

评审假定使用哪些云平台？

AWS、Microsoft Azure 和 Google Cloud，因为 SEYA 的交付工作已经在这些平台上运行。如果模型以 API 方式调用，威胁清单是一样的。控制设计遵循您的平台已有的身份和日志工具。

如果 LLM 功能即将上线，而安全评审还停留在一页幻灯片上，请预约云安全评估，我们会告诉您前四周将覆盖哪些内容。