Enable validated prefix caching and record DGX Spark optimization benchmarks
This commit is contained in:
+8
-1
@@ -4,7 +4,8 @@
|
||||
- 模型 revision:`fc694b54fb0174e0913e6adf86691ef85a4ead47`
|
||||
- 基础镜像:`vllm/vllm-openai@sha256:c4392d76e3eec8983fa152651365158cb062e348fd40398963f499d5867b9e28`
|
||||
- 基础镜像源码 commit:`0bfc7a15d095fe83ecc82b50561a93c177fece2d`
|
||||
- 本地构建 tag:`local/qwen38-flash-spark:nightly-0bfc7a15`
|
||||
- 优化版本地构建 tag:`local/qwen38-flash-spark:prefix-eager-0bfc7a15`
|
||||
- 原始基线 tag:`local/qwen38-flash-spark:nightly-0bfc7a15`
|
||||
|
||||
nightly 的包版本曾报告 `0.3.1.dev3+g0bfc7a15d`,因此使用镜像 digest/源码 commit 标识,
|
||||
不把它当作正式版 0.29.0。BASE_IMAGE override 仅用于已核对 digest 的本地镜像别名。
|
||||
@@ -20,3 +21,9 @@ https://raw.githubusercontent.com/blazux/qwen3.8-Flash-DGX/main/src/vllm_ple_mma
|
||||
|
||||
不要重新下载 main 后仍宣称是同一版本。许可证按获取时的文件保存在 vendor/LICENSE。
|
||||
适配层和 Dockerfile 是本次部署的本地改动,第三方 helper 未修改。
|
||||
|
||||
Mamba prefix fix 来源:
|
||||
https://github.com/blazux/qwen3.8-Flash-DGX/blob/main/src/patch_mamba_block_size.py
|
||||
|
||||
本项目保存经源码断言核对的适配版本 patches/fix_mamba_prefix_blocks.py(Apache-2.0)。
|
||||
修正 V2 worker 状态种子索引和 scheduler prefill 块对齐,不改变模型权重。
|
||||
|
||||
Reference in New Issue
Block a user