Set 128K eager baseline and organize deployment documentation
This commit is contained in:
@@ -1,6 +1,7 @@
|
||||
# 优化实验方法
|
||||
|
||||
固定模型 revision、原始权重、MTP=2、BF16 KV、262144 上下文上限和 GPU memory=0.80。
|
||||
固定模型 revision、原始权重、MTP=2、BF16 KV 和 GPU memory=0.80。
|
||||
早期实验使用 262144 上限;当前默认上限为 131072。每轮结果以对应报告的实际参数为准。
|
||||
按 eager 基线 → piecewise CUDA Graph 实验 → eager+前缀缓存逐项比较,不把多项改动的收益混在一起。
|
||||
候选未通过启动、基准和 smoke test 前不作为默认配置。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user