AI 工程师需要掌握的 CUDA 编程
定义
CUDA 编程指使用 NVIDIA CUDA 平台和编程模型，把可并行的计算任务放到 GPU 上执行。对 AI 工程师来说，它不仅是手写 CUDA C++ kernel，也包括理解 GPU 内存层级、线程/warp 执行模型、PyTorch 的 CUDA 行为、NCCL 通信以及何时需要 Triton 或自定义 kernel。
为什么对 AI 求职重要
AI 岗位越来越强调 GPU 成本和性能。懂 CUDA 的工程师能看懂 profiling trace，判断训练慢是计算、显存带宽、同步还是通信问题，也能和 infra/kernel 团队一起优化 attention、量化、批处理和模型服务链路。即使日常主要写 PyTorch，CUDA 素养也会显著提升排障和性能决策能力。
核心概念
- Kernel 执行模型：grid、block、thread、warp、occupancy，以及并行任务如何映射到 GPU SM。
- 内存层级：global/shared/local/constant/register memory，理解合并访问和显存带宽瓶颈。
- CUDA 库生态：cuBLAS、cuDNN、NCCL 以及 PyTorch/模型服务框架背后的高性能路径。
- 性能分析与调试：用 Nsight、PyTorch profiler、同步点和显存诊断定位真实瓶颈。
- 自定义 kernel：判断何时用 CUDA C++ 或 Triton 做算子融合、量化、attention 或数据搬运优化。
学习路径
- 先用 PyTorch 在 CUDA device 上跑张量计算，观察显存分配、同步和 device mismatch 等常见错误。
- 阅读 CUDA C Programming Guide 的执行模型和内存空间章节，动手写 vector add 与简单矩阵类 kernel。
- 用 Nsight Systems 或 PyTorch profiler 分析一个训练/推理小任务，区分计算、数据搬运和同步开销。
- 学习 cuBLAS、cuDNN、NCCL 等库，理解框架什么时候已经走了优化过的 CUDA 路径。
- 实现或修改一个 Triton/CUDA 融合算子，与 baseline 对比性能并记录适用边界。