Document long-context limits and host OOM at near-262K input
This commit is contained in:
@@ -67,3 +67,8 @@ https://github.com/blazux/qwen3.8-Flash-DGX/blob/main/src/patch_mamba_block_size
|
||||
|
||||
上述 CUDA Graph 未完成验收是首次实验的状态。后续 graph+前缀缓存组合已通过三轮复测,
|
||||
短回答中位速度提升约 4.4%,默认仍保留 eager。详见 [复测报告](cuda-graph-retest.md)。
|
||||
|
||||
## 后续长上下文容量边界
|
||||
|
||||
[64K / 128K / 接近 262K 测试](context262k-results.md)发现:两组均通过 64K/128K 的有限检索,
|
||||
接近 260K 时两组均发生主机 OOM(图版本请求中断)。此前短上下文通过不能外推为满长稳定。
|
||||
|
||||
Reference in New Issue
Block a user