docs(perf): profile CUDA graph coverage and PLE costs on Spark
This commit is contained in:
@@ -8,7 +8,7 @@
|
||||
PLE 查找表通过磁盘映射按需读取;原始模型权重未重新量化。
|
||||
|
||||
> 这是针对固定 nightly 的社区适配,非 NVIDIA/vLLM 官方支持方案。
|
||||
> 已验证短问答和工具调用;未压测完整 262K 输入。仅适用于此模型、单 GPU / ETP=1。
|
||||
> 已验证短问答、工具调用及有限的 128K 单请求检索;接近 260K 已触发主机 OOM。仅适用于此模型、单 GPU / ETP=1。
|
||||
|
||||
## 快速开始
|
||||
|
||||
@@ -109,3 +109,8 @@ python3 scripts/summarize-benchmark.py benchmark.jsonl
|
||||
```
|
||||
|
||||
测试只使用合成输入。方法、首字时间口径与小样本限制见 docs/benchmark-method.md。
|
||||
|
||||
## CUDA Graph 性能剖析
|
||||
|
||||
Nsight 已确认图重放生效,短回答约提升 4.5%;长输入预填充未被当前小尺寸图覆盖,
|
||||
GPU 活动本已接近连续。详见 [性能剖析报告](docs/cuda-graph-profile.md),包括 PLE 等待/查表区分及原始证据摘要。
|
||||
|
||||
Reference in New Issue
Block a user