Document long-context limits and host OOM at near-262K input
This commit is contained in:
@@ -0,0 +1,19 @@
|
||||
# 长上下文容量测试
|
||||
|
||||
先读 `../../docs/context262k-plan.md` 与 `../../docs/context262k-results.md`。
|
||||
当前配置在接近 260K 发生过主机 OOM;不要把完整测试当作无风险的日常健康检查。
|
||||
|
||||
实际测试客户端为 `../../scripts/context-benchmark.py`,在已部署的容器内运行:
|
||||
|
||||
```bash
|
||||
python3 context-benchmark.py prepare --data /tmp/context262k-data
|
||||
python3 context-benchmark.py run --data /tmp/context262k-data --label eager
|
||||
```
|
||||
|
||||
`prepare` 仅生成合成数据和计数,不进行长文推理;`run` 从 64K 逐级运行至约 260K。
|
||||
本次正式数据已归档,通常应直接阅读结果,不重复运行。
|
||||
|
||||
`monitor-original.py` 是当时使用的资源监控。`monitor.py` 为事故后改进版本,
|
||||
仅完成语法检查,加入主机 OOM 计数和更早的内存阈值。
|
||||
监控脚本将停止名为 `qwen38-flash-vllm` 的测试容器,必须与备份、异常恢复流程配套,不能单独保证安全。
|
||||
目录中的 `monitor.stop` 会停止采样,`GUARD_STOP` 表示触发保护;不要复用含旧状态文件的运行目录。
|
||||
Reference in New Issue
Block a user