Document long-context limits and host OOM at near-262K input

This commit is contained in:
2026-09-18 00:03:19 +08:00
parent 48a1c9d7c4
commit f1a8964072
16 changed files with 1054 additions and 0 deletions
+5
View File
@@ -67,3 +67,8 @@ https://github.com/blazux/qwen3.8-Flash-DGX/blob/main/src/patch_mamba_block_size
上述 CUDA Graph 未完成验收是首次实验的状态。后续 graph+前缀缓存组合已通过三轮复测,
短回答中位速度提升约 4.4%,默认仍保留 eager。详见 [复测报告](cuda-graph-retest.md)。
## 后续长上下文容量边界
[64K / 128K / 接近 262K 测试](context262k-results.md)发现:两组均通过 64K/128K 的有限检索,
接近 260K 时两组均发生主机 OOM(图版本请求中断)。此前短上下文通过不能外推为满长稳定。