50 lines
4.1 KiB
Markdown
50 lines
4.1 KiB
Markdown
# 测试方案
|
||
|
||
当前所有阶段均未执行硬件测试。门槛是工程验收目标，不是已达到指标。
|
||
|
||
## 固定条件
|
||
|
||
精确记录GPU/CPU/内存通道/SSD/驱动/内核/引擎SHA/量化revision。每次只改一个变量，固定prompt、seed、采样参数、模板、上下文4096、输出512、并发1、MTP关闭。计时分开记录加载、预填充、首字、decode和总耗时。
|
||
|
||
原版与重新量化版本不能作为只改变卸载参数的性能A/B；它们是不同质量档。相同输入也可能产生不同输出，另测固定生成长度和自然结束的真实任务。
|
||
|
||
## 顺序与通过条件
|
||
|
||
| 阶段 | 工作 | 通过条件 |
|
||
|---|---|---|
|
||
| P0 | 收集真实硬件；完成候选源码审计，固定版本 | 有可追溯加载路径和全部算子支持证据 |
|
||
| P1 | 逐张量预算、加载峰值；先GGUF，后EXL3，再评估原NVFP4路线 | GPU≤14GiB、完整进程树与缓存≤24GiB，无OOM；不偷用宿主额外RAM |
|
||
| P2 | 128token冒烟；512token固定长度；自然结束任务 | API成功且有有效回答，模板与reasoning字段正确 |
|
||
| P3 | 同一量化依次GPU预算10/12/14GiB，改变CPU专家层比例；上下文固定 | 记录最优已测分配；运行时不支持的组合标记不支持，不硬凑 |
|
||
| P4 | 2K提示词＋512输出，冷态3次、暖态10次；8K作为后续扩展 | 暖态中位decode≥5tok/s、p95 TTFT≤10秒为交互目标；未达标列为实验可运行 |
|
||
| P5 | 文字、图像、视频质量及30分钟混合负载 | 0错误/0OOM，所有必需功能通过，资源上限始终满足 |
|
||
| P6 | 仅对通过方案测试MTP1/2、图优化、长上下文 | 相同任务总耗时改善≥10%，质量不退化且峰值不超限才启用 |
|
||
|
||
图优化、MTP、8K以上上下文均不是第一轮默认项。候选若只支持文字，标记“文字阶段通过”，整体仍未验收。
|
||
|
||
## 质量任务
|
||
|
||
- 12个确定性算术、10个结构化JSON、5个多轮约束、5个代码单元测试；确定性项全对，代码在隔离且有限时的环境执行。
|
||
- 20个中文问答/摘要/代码实际任务，与原NVFP4参考输出盲评；若使用现有服务作参考，另行安排负载窗口，记录版本，不能把模型输出当唯一真值。
|
||
- 图片：至少5张含已知字段的票据/图表，核对字段和总计；验证多图不串图。
|
||
- 视频：至少3段有明确事件顺序的短片，记录帧采样、时序和正确答案；不只提交一帧。
|
||
- 降位量化不以能流畅说话作为质量证据；报告准确率、失败样例、推理预算截断与无最终答案情况。
|
||
|
||
## 观测与失效判断
|
||
|
||
每秒采集GPU显存/利用率/温度、cgroup memory.current/peak/stat/events、swap、worker总占用、磁盘读量/延迟/队列及major faults。报告阶段增量、页缓存和匿名内存，而非只给父进程RSS。
|
||
|
||
冷态明确区分进程首次启动和物理文件缓存冷态。不得在生产宿主全局清页缓存；优先独立实验机重启后测试，并如实记录SSD和OS缓存条件。限额模拟若共享已有热页缓存，不能用于声称32GB实际冷启动成功。
|
||
|
||
启动超30分钟或单请求5分钟无输出即停止该臂；出现OOM、swap持续增长或宿主可用内存低于4GiB也停止。短文本连续3次低于1tok/s，先检查I/O与CPU瓶颈，不继续加大上下文。
|
||
|
||
## 回退
|
||
|
||
每个试验记录独立配置，失败后停止本项目进程并恢复上一通过配置；若没有通过配置则保持停止，不循环重启。此次规划不授权停掉现有Spark/6000D生产服务来做限额模拟。后续执行应先选定实际实验机器和窗口。
|
||
|
||
## 证据格式
|
||
|
||
每次保存脱敏JSON：run_id、timestamp、machine、simulation_or_real、engine_sha、model_revision、model_hashes、quantization、placement、resource_limits、prompt_hash、input/output/reasoning_tokens、finish_reason、ttft_s、decode_tps、total_s、gpu_peak_mib、cgroup_peak_bytes、disk_read_bytes、oom_events、quality_pass、limitations。
|
||
|
||
原始结果放本地results/；只把脱敏且经过复核的汇总提交到audit/results/。没有真实结果时不得创建伪造成功样例。
|