AI Infra

建议阅读路径

• LLM 推理系统从请求到返回的完整链路
  机制总览：先建立请求到响应的完整链路
• 给 C++ 使用者的 Python 复健：为 LLM 推理实验补齐最小基础
  实验准备：补齐 Python 与 NumPy；熟悉者可跳过
• 本地 LLM 推理服务实验
  服务实验：验证请求、计时字段与环境边界
• LLM 推理机制实验：KV Cache、预分配与 Batch Size
  机制实验：继续验证 KV Cache 与固定 Batch