Record successful 2048-token CUDA Graph retest and preserve failure samples

This commit is contained in:
2026-09-17 23:04:40 +08:00
parent 1e2f48d1a4
commit 48a1c9d7c4
19 changed files with 430 additions and 9 deletions
+5
View File
@@ -43,3 +43,8 @@ TTFT 指包含 reasoning 在内的第一个非空 token;正文首字时间另
这不是已证实的图执行正确性缺陷。由于单流收益仅约 4.3%,没有继续重载该候选;
转为 eager + 前缀缓存的独立实验。长输入预算提高为 1024,并先对 eager 基线重新测试。
图执行实现和独立构建说明保存在 experiments/graph,默认适配层保留原已验证实现。
## 后续 2048 预算复测
上述 CUDA Graph 未完成验收是首次实验的状态。后续 graph+前缀缓存组合已通过三轮复测,
短回答中位速度提升约 4.4%,默认仍保留 eager。详见 [复测报告](cuda-graph-retest.md)。