docs(perf): profile CUDA graph coverage and PLE costs on Spark

This commit is contained in:
2026-09-18 01:22:13 +08:00
parent f1a8964072
commit d7e1e745c3
23 changed files with 8384 additions and 1 deletions
+6 -1
View File
@@ -8,7 +8,7 @@
PLE 查找表通过磁盘映射按需读取;原始模型权重未重新量化。
> 这是针对固定 nightly 的社区适配,非 NVIDIA/vLLM 官方支持方案。
> 已验证短问答工具调用;未压测完整 262K 输入。仅适用于此模型、单 GPU / ETP=1。
> 已验证短问答工具调用及有限的 128K 单请求检索;接近 260K 已触发主机 OOM。仅适用于此模型、单 GPU / ETP=1。
## 快速开始
@@ -109,3 +109,8 @@ python3 scripts/summarize-benchmark.py benchmark.jsonl
```
测试只使用合成输入。方法、首字时间口径与小样本限制见 docs/benchmark-method.md。
## CUDA Graph 性能剖析
Nsight 已确认图重放生效,短回答约提升 4.5%;长输入预填充未被当前小尺寸图覆盖,
GPU 活动本已接近连续。详见 [性能剖析报告](docs/cuda-graph-profile.md),包括 PLE 等待/查表区分及原始证据摘要。