LLM 安全评估与红队测试

SEYA Group 的 LLM 安全评估，是对单个语言模型功能的固定范围红队测试：我们测试提示词、模型可调用的工具，以及这些工具能触及的数据路径，然后写出一份您的安全和工程负责人可以据以行动的报告。典型评估周期为两到四周，由我们的温哥华办公室主导。它是测试和报告，不是认证。

适用对象

聊天机器人、检索助手或内部智能体已有上线日期、需要在此之前完成一次独立检验的安全和产品负责人。已经做过供应商问卷、却仍说不清当用户或模型读取的文档要求模型无视其指令时会发生什么的团队。

您将获得

• 范围说明。功能、环境、身份、涉及的工具，以及不在范围内的内容。生产环境的客户数据不会复制给 SEYA。
• 测试方法。测试用例取自 OWASP LLM 应用 Top 10： 直接和间接提示注入、提取密钥或其他用户内容的尝试、白名单之外的工具调用，以及检索索引中被投毒或意料之外的内容。我们记录每个用例、输入和观察到的行为。
• 报告。按模型实际能做到什么排序的发现项，附上证据，以及一份简短的控制变更清单。报告不会笼统地说功能是安全的，只说这些测试做到了什么、没做到什么。
• 汇报。与您的安全和工程负责人的一次工作会议。您选择构建的修复可以延续为 AI 安全控制设计，或流水线中的 DevSecOps 检查。

项目如何开展

• 第 0 周，确定范围。获得非生产构建版本的访问权限、您愿意分享的系统提示词或策略，以及工具清单。
• 第 1 到 3 周，测试。我们运行测试用例，当某项控制拦住了攻击的明显形式时调整用例，并在范围边界处停下。我们不攻击未被指定的系统。
• 最后一周，报告与汇报。您收到书面报告并参加汇报会议。单个功能通常在两到四周之间。第二个产品是第二个范围。

您需要具备的条件

一个我们可以调用的构建版本、一位能解释预期工具策略的负责人，以及对发现项将被如实写出的共识。如果您还没有关于助手被允许做什么的策略，相关治理问题属于 AI 治理页面，可以在本测试之前或与之并行开展。

不在范围内：训练模型、承诺之后的某个提示词不会得逞，以及任何关于 SEYA 或该功能持有安全认证的声明。关于客户对 SEYA 工作进行安全评审的案例，请参阅 Boeing InfoSec 对 Azure 基础设施的评审（GoldCare 项目）。那次评审针对的是云平台，不是 LLM。我们引用它只是作为一种模式：客户的安全团队在上线前看到证据。

常见问题

这是对我们整个公司的渗透测试吗？

不是。范围是您指定的 LLM 功能：它的提示词、工具和数据路径。对更大范围资产的网络渗透测试是另一个项目，不包含在这两到四周之内。

报告是什么样的？

一份范围声明、测试用例、每个用例的结果，以及建议的控制变更。它写给安全负责人和工程负责人。它不是鉴证函，也没有认证标志。

我们修复发现项之后可以复测吗？

可以，作为针对同一组用例的简短跟进，单独确定范围。第一份报告仍是基线。复测通过意味着这些用例不再得逞，而不是该功能能抵御未来的每一个提示词。

如果上线日期已经定在日历上，请 预约云安全评估 并发来功能描述。我们会告诉您两到四周对该范围是否足够。