2.9 KiB
2.9 KiB
RTX 6000D 部署审计
状态：所选路径源码审计及运行验收完成。2026-09-18。
源码基线
- 参考项目： https://github.com/tpurtell/sm12x-exl3-qwen3.8-flash-next
- 审计 revision：
847f45b1730069eab4bdb5e29361f9ea94ac5e05。 - 实际采用的官方 vLLM：
0bfc7a15d095fe83ecc82b50561a93c177fece2d。 - 官方镜像 digest：
sha256:c4392d76e3eec8983fa152651365158cb062e348fd40398963f499d5867b9e28；部署前核对 AMD64 镜像源码。 - NVIDIA 模型 revision：
fc694b54fb0174e0913e6adf86691ef85a4ead47，从已有 Spark 缓存通过内网复制，避免外网代理限流。
审计决定
参考项目固定了依赖版本，并为 resident PLE、工具约束和量化路径提供测试，这是有价值的参考。但其 Dockerfile 同时引入 EXL3 来源镜像、B12x 自定义注意力内核、mmap 回补及其他分支，不能直接作为本机最小部署。
- 不使用原项目 Dockerfile、启动脚本及预构建社区镜像。自行编写仅服务 NVIDIA NVFP4 的 Compose。
- 原项目的 ModelOpt FP8 PLE 修复、MTP 层名映射和 block-FP8 分派已经存在于固定新版官方 vLLM，因此不重复回补。
- 新版
ngram_embedding.py的Qwen4ExpPLEPinnedHostEmbedding直接在锁页 CPU 内存分配 PLE，通过 UVA Triton 查表，side stream 预取并在使用前等待；保留原有 FP8 数据及全局缩放，不额外量化。 - 使用显式
--engram-config '{"cpu_offload":true}'，不照搬旧版环境变量和子进程加载修复。新版已不采用该旧 resident 子进程结构。 - 不移植 EXL3、mmap、B12x 内核、全局 token embedding monkeypatch。主机内存充足，无需为节约 PLE 内存增加这些路径。
- 固定新版已有原生 FP8 QSA 支持；先以 BF16 KV 建立基线，FP8 KV 仅在数值和端到端验收后启用。
- 对此前已定位的 Mamba prefix block alignment 问题保留有来源的窄补丁，先核对精确文件哈希；不采用 GB10 专用 shared-memory 限制补丁。
- 原项目宿主网络、无认证默认值不适合作为本机对外服务默认配置。使用显式端口映射、独立 API key、只读模型挂载、内存上限。
硬件与限制
实测：VMware 虚拟机、16 vCPU、247 GiB RAM、85651 MiB GPU 显存。原项目 96GB 显卡的显存预算和速度数据不作为本机验收证据。虚拟 PCIe 配置显示的链路不用于推断实际带宽。
已验证 CUDA 运算、PLE 锁页查表及量化缩放；依次完成 32K BF16 eager、128K FP8 eager、128K FP8 FULL CUDA Graph 验收。初始启用 128K 和 CUDA Graph；随后完成扩展 MTP 验证并启用 MTP 2，见 完整验证。文字、工具调用、图片、视频、127988 token 输入检索均通过。详见 验收结果。
本审计是所选执行路径的代码审查和测试计划，不是全部第三方依赖的安全认证。