阶段 2：推理机制、调度与 vLLM 性能工程

QuanZhou's Wiki

当前任务

当前：M2-C · Cached MHA（2026.09.01 · 120 min）
任务书 | 工作表 | Starter | 公开文件
当前 Checkoff 通过后进入 M2-D；未通过时只修正 M2-C。

核心路线

基础P0 · Python / NumPy Buffer 与轴语义（Passed）M0 · 单 Head Attention、KV Cache 与预分配（Passed）
机制M1 · Batch Size 曲线与收益收窄（Passed）M2 · 从 Head 轴到 Cached MHA / GQA 容量（Current）
ServingS0 · 冻结真实 vLLM 环境与可观测性（Locked）S1 · 单并发稳态与显存基线（Locked）S2 · 真实 Serving Input Length Scan（Locked）
ServingS3 · Client Concurrency 与饱和点（Locked）S4 · Scheduler Budget 单变量对照（Locked）
交付F0 · Phase 2 Checkoff 与最终交付（Locked）

材料与证据

执行：当前任务书 | 当前工作表 | Lab 使用说明
证据：16 项回归测试、540 条原始样本；个人实现、工作表和原始结果保存在私人作答仓库。
历史：M2-B 任务书；空白工作表：P0 | M0 | M1 | M2-A1 | M2-A2 | M2-B | M2-C
文章：Python / NumPy 前置能力 | 从零构建完整系统
进阶：S5、S6、R0、T0 不阻塞核心路线；完成 F0 后再选择。