岗位版图
大模型公司与云厂商的 AI Infra 条线：分布式训练框架（并行策略/容错/checkpoint）、推理引擎与服务化（吞吐/时延优化）、算力调度平台（GPU 池化/任务编排）、AI 编译器与算子优化。校招通常统一进入基础架构序列再分方向。
知识考点
- 并行训练：数据并行梯度同步的通信量估算，张量并行与流水并行各自切分什么、代价在哪。
- 推理优化：KV Cache 为什么能省计算、连续批处理（continuous batching）如何提升吞吐、量化对精度与时延的权衡。
- 系统基础：GPU 显存层次与带宽瓶颈、NCCL 类集合通信原语、CUDA kernel 的基本执行模型。
面试重点
- 场景题：千卡训练任务中途一台机器故障，从容错机制到 checkpoint 恢复给完整方案。
- 估算题：给定模型参数量与序列长度，估算单卡显存占用与所需并行度。
- 项目深挖：任何「优化」经历都会被追问基线怎么测、瓶颈怎么定位、收益是多少。
准备建议
- 用两张消费级 GPU 跑通一次多卡训练，把并行配置与吞吐数据写进简历。
- 精读一个开源推理框架的调度与显存管理模块，形成能讲 10 分钟的源码笔记。
- 把「时延—吞吐—成本」三角作为回答框架，所有优化题先问约束再给方案。