面向 AI 系统的合成数据生成
定义
合成数据生成不是简单让模型“多写几条样本”，而是围绕任务结构、标签规则、边界案例和质量标准，系统地产生可用于训练或评测的人工数据。它可以是 LLM 生成指令数据、模拟器生成视觉或传感器场景，也可以是统计方法生成隐私友好的表格数据。真正的工程能力还包括控制采样分布、去重、过滤低质样本、记录来源，并用真实 holdout 数据验证合成样本是否有用。
为什么对 AI 求职重要
招聘中频繁出现这个技能，是因为 AI 团队经常受限于真实数据不足、隐私合规、长尾失败案例少和人工标注慢。会做合成数据的人能快速扩展评测集、构造 adversarial case、启动新模型能力，并判断何时合成数据会带来收益、偏差或 model collapse 风险。它也是把模型能力从 demo 推到生产的重要技能：既能补齐稀缺场景，又要避免把错误标签、隐私泄漏或不真实分布带进训练循环。
核心概念
- 任务 schema：先定义字段、标签、约束和验收标准，保证生成样本能被训练与评测代码直接使用。
- 生成器设计：根据模态和目标失败模式选择 LLM prompt、模拟器、规则、统计模型或混合流水线。
- 质量过滤：在入库前检查事实性、多样性、标签正确性、毒性、重复样本和格式错误。
- 分布对齐：把合成样本和真实或 held-out 数据对比，避免只生成简单、重复、不真实的案例。
- 隐私与治理：防止个人信息、版权内容或不安全样本被模型记忆后重新进入训练语料。
- 评测优先：即使不直接用于训练，也可用合成边界案例做 regression test 和 red-team 场景。
学习路径
- 先做一个小任务：例如生成 500 条客服工单分类样本，并写 JSON schema 校验器过滤坏样本。
- 用 LLM 或 Distilabel 搭一条生成流水线，记录 prompt、seed、模型版本和过滤原因，保证可复现。
- 加入质量检查：精确去重、embedding 相似去重、标签抽检、安全过滤，以及与真实数据的分布对比。
- 做 ablation：比较加入合成数据前后的训练或评测结果，记录收益、退化和失败簇，而不是默认数据越多越好。
- 补上治理流程：记录来源、允许用途、隐私审查、人工抽样比例，以及导致线上退化时的回滚规则。