Files
qwen38-flash-next-dgx-spark/docs/main-baseline-migration.md
T

2.1 KiB
Raw Blame History

main 基线整理与 Spark 迁移(2026-09-18

将此前的前缀缓存优化、CUDA Graph 对照、长上下文容量边界和 Nsight 证据整理到同一条 main。 默认部署收敛为 131072 总 tokens、eager、MTP=2、BF16 KV、前缀缓存开启、GPU memory=0.80。 不把接近 260K 已触发主机 OOM 的配置继续作为默认基线。

配置与文档

  • 默认及 no-prefix 配置限制为 128Kbaseline 保留 32K / 无 MTP。
  • 可选图实验配置同样限制为 128K,仍不作为默认。
  • 固定容器名 qwen38-flash-vllm,与现有监控和部署兼容。
  • README、文档索引和运维说明描述当前状态;历史报告保留当时参数并显式标记。
  • Git 忽略本机 .env、archive、.local-state、原始 Nsight / SQLite 和 bundleDocker 构建白名单不包含它们。

Spark 整理

在原部署目录初始化 Git,保留原模型缓存、编译缓存、代理和 secret 挂载。 已验证新旧服务环境变量完全一致,内存限制一致;命令只改变上下文上限。 通过本地 git bundle 同步仓库,没有将工作站 Gitea token 安装到 Spark。

  • 23 个旧部署文件归档到 archive/<时间>/legacy/
  • 历史 optimization-results 移到 archive/<时间>/experiments/,含原始 trace 和失败样本。
  • 本任务 /tmp/qwen38* 临时打包/构建检查文件归档到 archive/<时间>/tmp/
  • archive、.local-state 权限 0700,本机 .env 权限 0600。
  • 两个已停止的下载容器在保存日志后删除。
  • 移除五个过时实验/打包验证镜像标签;共享层仍可能被保留,不将标签显示大小当作释放空间。
  • 保留正在使用的 eager 镜像、固定 base、32K 回退所需原镜像和 prefix2 图候选。
  • 原 MinerU 两个容器及 qwen36 继续保持停止状态,其镜像与数据保留。

验证

Python AST、Shell bash -n、git diff --check 通过。 Spark 默认、no-prefix、32K baseline、prefix graph 四套 Compose 解析通过。 仓库没有 CI workflow / runs,因此不声称存在 CI 通过记录。

运行验收结果待完成后补充;只有验收通过后才合并 main。