AI 红队测试
定义
AI 红队测试是面向模型与 AI 系统的结构化对抗评估流程。它不满足于“Demo 看起来不错”，而是主动模拟恶意用户、误用者和复杂工作流，观察系统在真实攻击路径下如何失效。测试范围通常包括直接 jailbreak、间接提示注入、检索污染、工具滥用、数据外泄、越权行动、有害内容生成，以及多步骤 agent 在记忆、外部 API 与审批环节中的连锁失败。成熟的红队工作不仅是一次性找漏洞，而是把威胁建模、攻击用例设计、执行记录、严重性分级、修复验证与回归复测串成持续流程。对企业来说，这项技能连接了安全工程、AI safety、LLM evals 与事故响应，重点是提前暴露可复现、可量化、可修复的风险。
为什么对 AI 求职重要
招聘方重视 AI 红队测试，是因为生产级 AI 系统已经不只是聊天框，而是连接知识库、业务工具、自动化流程与智能体执行链。没有红队能力，团队往往只能看到模型效果，却看不到提示边界、上下文拼装、权限设计和工具调用中的真实失效面。会做红队的人能把抽象的“安全担忧”转成具体攻击样例、评估基线和工程控制，例如审批门槛、最小权限、输出验证和回滚策略。这对于做企业 Copilot、Agent 平台、模型安全、应用安全和 AI 基础设施的岗位都很直接，也能证明候选人理解的是完整系统风险，而不是单点 prompt 技巧。
核心概念
- 威胁建模：先定义攻击者、关键资产、信任边界和高影响工作流，再决定优先测试哪些面。
- 攻击分类：覆盖 jailbreak、提示注入、数据外泄、工具滥用和多步骤 agent 失败，而不是只测几个单轮提示词。
- 全链路测试：把检索、记忆、权限、审批和外部动作纳入同一个测试路径，避免只测裸模型。
- 证据与分级：保留完整 prompt、trace、输出和业务影响说明，便于工程团队复现和排序修复。
- 修复后复测：每次加 guardrail、过滤器或权限收缩后，都要用同一批攻击样例验证是否真的有效。
学习路径
- 先选一个你能控制的 LLM 功能，梳理可信指令、不可信输入、外部工具和高风险动作，写出最基本的威胁模型。
- 围绕提示注入、越权工具调用、敏感信息泄露和工作流绕过，整理一小套可重复执行的红队用例。
- 给应用补上 trace、工具日志和人工审批点，让每个失败案例都能被复现、定位和分级。
- 把这些攻击案例接入持续评估流程，每次修复或升级模型后都回归复测，并持续吸收新事故和新威胁场景。