生产环境 AI 系统的推理优化
定义
推理优化指模型训练完成后，为了让预测或生成请求在生产环境中更快、更便宜、更稳定而采用的一组工程方法。对 LLM 来说，它包括动态 batching、请求调度、KV cache 管理、量化、推测解码、GPU 显存规划、并行服务、自动扩缩容，以及对延迟、吞吐、每 token 成本和质量回归的持续度量。
为什么对 AI 求职重要
AI 公司重视推理优化，因为线上模型服务常常决定产品体验和基础设施成本。懂推理优化的工程师能在 GPU 利用率、尾延迟、batching、量化、缓存和评估之间做取舍，把研究模型变成可扩展、可观测、可迭代的产品能力，因此在 AI Infra、平台工程和应用 AI 岗位中很有竞争力。
核心概念
- 延迟与吞吐：同时关注首 token 时间、每秒 token 数和 P95/P99 尾延迟。
- Batching 与调度：在截止时间、优先级和显存限制下动态合并请求。
- KV cache 管理：复用 attention 状态，降低长上下文生成的显存压力和碎片。
- 量化：用 FP8、INT8 等格式降低显存和计算成本，同时监控质量回归。
- Serving runtime：熟悉 vLLM、NVIDIA Triton、Hugging Face TGI 等生产服务框架。
- 评估驱动发布：优化配置上线前同时比较速度、成本和任务质量。
学习路径
- 用 vLLM 或 TGI 部署一个小型开源模型，记录基线延迟、吞吐、GPU 显存和每千 token 成本。
- 逐项实验 continuous batching、最大上下文长度、tensor parallelism 和量化，观察对尾延迟与质量的影响。
- 加入生产级观测：请求 trace、tokens/s、排队时间、GPU 利用率、错误率和饱和告警。
- 建立评估门禁，把优化后的输出与参考配置对比，避免只追求速度导致质量下降。
- 阅读 serving runtime 文档并复现一个具体优化点，例如 paged attention、speculative decoding 或 Triton 调度。