33 lines
2.9 KiB
Markdown
33 lines
2.9 KiB
Markdown
# RTX 6000D 部署审计
|
||
|
||
状态：所选路径源码审计及运行验收完成。2026-09-18。
|
||
|
||
## 源码基线
|
||
|
||
- 参考项目： https://github.com/tpurtell/sm12x-exl3-qwen3.8-flash-next
|
||
- 审计 revision：`847f45b1730069eab4bdb5e29361f9ea94ac5e05`。
|
||
- 实际采用的官方 vLLM：`0bfc7a15d095fe83ecc82b50561a93c177fece2d`。
|
||
- 官方镜像 digest：`sha256:c4392d76e3eec8983fa152651365158cb062e348fd40398963f499d5867b9e28`；部署前核对 AMD64 镜像源码。
|
||
- NVIDIA 模型 revision：`fc694b54fb0174e0913e6adf86691ef85a4ead47`，从已有 Spark 缓存通过内网复制，避免外网代理限流。
|
||
|
||
## 审计决定
|
||
|
||
参考项目固定了依赖版本，并为 resident PLE、工具约束和量化路径提供测试，这是有价值的参考。但其 Dockerfile 同时引入 EXL3 来源镜像、B12x 自定义注意力内核、mmap 回补及其他分支，不能直接作为本机最小部署。
|
||
|
||
1. 不使用原项目 Dockerfile、启动脚本及预构建社区镜像。自行编写仅服务 NVIDIA NVFP4 的 Compose。
|
||
2. 原项目的 ModelOpt FP8 PLE 修复、MTP 层名映射和 block-FP8 分派已经存在于固定新版官方 vLLM，因此不重复回补。
|
||
3. 新版 `ngram_embedding.py` 的 `Qwen4ExpPLEPinnedHostEmbedding` 直接在锁页 CPU 内存分配 PLE，通过 UVA Triton 查表，side stream 预取并在使用前等待；保留原有 FP8 数据及全局缩放，不额外量化。
|
||
4. 使用显式 `--engram-config '{"cpu_offload":true}'`，不照搬旧版环境变量和子进程加载修复。新版已不采用该旧 resident 子进程结构。
|
||
5. 不移植 EXL3、mmap、B12x 内核、全局 token embedding monkeypatch。主机内存充足，无需为节约 PLE 内存增加这些路径。
|
||
6. 固定新版已有原生 FP8 QSA 支持；先以 BF16 KV 建立基线，FP8 KV 仅在数值和端到端验收后启用。
|
||
7. 对此前已定位的 Mamba prefix block alignment 问题保留有来源的窄补丁，先核对精确文件哈希；不采用 GB10 专用 shared-memory 限制补丁。
|
||
8. 原项目宿主网络、无认证默认值不适合作为本机对外服务默认配置。使用显式端口映射、独立 API key、只读模型挂载、内存上限。
|
||
|
||
## 硬件与限制
|
||
|
||
实测：VMware 虚拟机、16 vCPU、247 GiB RAM、85651 MiB GPU 显存。原项目 96GB 显卡的显存预算和速度数据不作为本机验收证据。虚拟 PCIe 配置显示的链路不用于推断实际带宽。
|
||
|
||
已验证 CUDA 运算、PLE 锁页查表及量化缩放；依次完成 32K BF16 eager、128K FP8 eager、128K FP8 FULL CUDA Graph 验收。初始启用 128K 和 CUDA Graph；随后完成扩展 MTP 验证并启用 MTP 2，见 [完整验证](../docs/mtp-qualification.md)。文字、工具调用、图片、视频、127988 token 输入检索均通过。详见 [验收结果](results.md)。
|
||
|
||
本审计是所选执行路径的代码审查和测试计划，不是全部第三方依赖的安全认证。
|