Record successful 2048-token CUDA Graph retest and preserve failure samples
This commit is contained in:
@@ -43,3 +43,8 @@ TTFT 指包含 reasoning 在内的第一个非空 token;正文首字时间另
|
||||
这不是已证实的图执行正确性缺陷。由于单流收益仅约 4.3%,没有继续重载该候选;
|
||||
转为 eager + 前缀缓存的独立实验。长输入预算提高为 1024,并先对 eager 基线重新测试。
|
||||
图执行实现和独立构建说明保存在 experiments/graph,默认适配层保留原已验证实现。
|
||||
|
||||
## 后续 2048 预算复测
|
||||
|
||||
上述 CUDA Graph 未完成验收是首次实验的状态。后续 graph+前缀缓存组合已通过三轮复测,
|
||||
短回答中位速度提升约 4.4%,默认仍保留 eager。详见 [复测报告](cuda-graph-retest.md)。
|
||||
|
||||
Reference in New Issue
Block a user