LLM 推理机制 Lab

类型：公开 Starter
从 KV Cache、Batched Decode 到 MHA/GQA 的 NumPy 实验 Starter 与可复查证据
内容：11 个顶层条目；压缩包 24.4 KiB；本地答案不发布

下载 Starter，在本地完成实现

下载包中的 src/ 是刻意保留 TODO 的公开起点。解压后直接修改它，再用公开测试和评分命令验收。

curl -LO https://zqwiki.cn/labs/p2-inference-systems.tar.gz
tar -xzf p2-inference-systems.tar.gz
cd p2-inference-systems
make setup
make grade

打开当前任务书

网站只展示未完成 Starter，不展示个人答案

src/：网站和压缩包中的公开 Starter。
.work/：独立的私人 Git 仓库，被本站 Git 和发布器排除。
已填写 Checkoff、完成后的实现和实验结果只进入私人仓库。
Markdown 在阅读页打开；源码、测试、数据和图表按发布原文打开。

在私人仓库作答，不直接修改公开 Starter

私人仓库拥有自己的 Git 历史；本站构建不会读取或回写其中的文件。

cd labs/p2-inference-systems/.work
make setup
make test
make grade
git status

公开文件

目录用于审计；开始实验请先读 README 或当前任务书。

../
assignments/                                       07-Sept-2026 00:11                   -
checkoffs/                                         01-Sept-2026 14:51                   -
grader_tests/                                      01-Sept-2026 12:06                   -
src/                                               01-Sept-2026 12:06                   -
tests/                                             01-Sept-2026 12:06                   -
grade-lab                                          01-Sept-2026 12:06                3515
lab.json                                           01-Sept-2026 14:51                3060
Makefile                                           01-Sept-2026 12:06                 729
pyproject.toml                                     01-Sept-2026 12:06                 467
README.md                                          01-Sept-2026 14:51                2343
uv.lock                                            31-Aug-2026 11:37               14335