20 lines
1.3 KiB
Markdown
20 lines
1.3 KiB
Markdown
# 当前基线与证据索引
|
||
|
||
当前默认:单台 DGX Spark,固定 nightly / 模型 revision,**131072 总 tokens、eager、前缀缓存、MTP=2、BF16 KV、GPU memory=0.80**。
|
||
128K 是输入与输出共享的上限。例如预留 2048 输出时,输入不能超过 129024 tokens。
|
||
max_num_seqs=4 是调度上限,尚未验证四路同时满 128K;有限合成检索通过不等于长期稳定性保证。
|
||
|
||
| 文档 | 用途 |
|
||
|---|---|
|
||
| [运维说明](operations.md) | Spark 项目结构、升级、归档与回退 |
|
||
| [版本清单](provenance.md) | 固定镜像、模型、适配来源 |
|
||
| [前缀缓存优化](optimization-results.md) | 缓存正确性与首次性能改善 |
|
||
| [图复测](cuda-graph-retest.md) | 2048 输出预算下的小尺寸图验证 |
|
||
| [容量边界](context262k-results.md) | 64K/128K 通过、接近 260K 主机 OOM |
|
||
| [Nsight 剖析](cuda-graph-profile.md) | 图真实生效但约 4.5% 收益的证据 |
|
||
| [迁移验收](main-baseline-migration.md) | 本次 main 整理及 Spark 128K 部署验证 |
|
||
|
||
历史报告中的 262K、旧镜像和“恢复原配置”仅描述测试当时状态。
|
||
默认配置及 no-prefix 回退现均为 128K;更保守的 baseline 回退为 32K、无 MTP。
|
||
实验图覆盖仍是可选项,不自动作为生产默认。
|