QuanZhou's Wiki

M1 空白工作表:Batch Size 曲线

状态:Archived · 未填写模板。本页只公开历史实验的记录框架,不包含本站维护者的预测、原始样本、结果或结论。

请只在自己的副本中填写。本站维护者的已填写版本与原始数据保存在私人作答仓库。

Question

固定 T=128 时,Batch Size 从 1 增加到 2/4/8,Batched Decode 的整批延迟、摊销成本和输出位置吞吐如何变化?哪个点开始不再得到至少 10% 的相邻吞吐收益?

运行前预测

H1:
可能推翻 H1 的结果:

H2:
可能推翻 H2 的结果:

H3:
可能推翻 H3 的结果:

H4:
可能推翻 H4 的结果:

Correctness Gate

Oracle:
输入 Shape:
Batch 内状态隔离检查:
计时前测试结果:

Measurement Contract

控制变量:
固定变量:
Batch Size:1 / 2 / 4 / 8
每组 Warm-up:
每组 Samples:
运行顺序随机化方法:
BLAS Thread:
原始数据路径:

Result

BBatch P50Batch P95P50 / BPositions/s相邻吞吐增幅
1
2
4
8
Knee:
第一次失败或异常:
修正规则:

Evidence and Boundary

原始样本行数:
汇总是否完全由 Raw CSV 重建:
曲线是否完全由 Raw CSV 生成:
结论:
不能外推到真实 Serving 的内容:
下一步: