Enable validated prefix caching and record DGX Spark optimization benchmarks

This commit is contained in:
2026-09-17 22:09:58 +08:00
parent 5f3030260e
commit 1e2f48d1a4
28 changed files with 707 additions and 8 deletions
+8 -1
View File
@@ -4,7 +4,8 @@
- 模型 revision`fc694b54fb0174e0913e6adf86691ef85a4ead47`
- 基础镜像:`vllm/vllm-openai@sha256:c4392d76e3eec8983fa152651365158cb062e348fd40398963f499d5867b9e28`
- 基础镜像源码 commit`0bfc7a15d095fe83ecc82b50561a93c177fece2d`
- 本地构建 tag`local/qwen38-flash-spark:nightly-0bfc7a15`
- 优化版本地构建 tag`local/qwen38-flash-spark:prefix-eager-0bfc7a15`
- 原始基线 tag`local/qwen38-flash-spark:nightly-0bfc7a15`
nightly 的包版本曾报告 `0.3.1.dev3+g0bfc7a15d`,因此使用镜像 digest/源码 commit 标识,
不把它当作正式版 0.29.0。BASE_IMAGE override 仅用于已核对 digest 的本地镜像别名。
@@ -20,3 +21,9 @@ https://raw.githubusercontent.com/blazux/qwen3.8-Flash-DGX/main/src/vllm_ple_mma
不要重新下载 main 后仍宣称是同一版本。许可证按获取时的文件保存在 vendor/LICENSE。
适配层和 Dockerfile 是本次部署的本地改动,第三方 helper 未修改。
Mamba prefix fix 来源:
https://github.com/blazux/qwen3.8-Flash-DGX/blob/main/src/patch_mamba_block_size.py
本项目保存经源码断言核对的适配版本 patches/fix_mamba_prefix_blocks.pyApache-2.0)。
修正 V2 worker 状态种子索引和 scheduler prefill 块对齐,不改变模型权重。