评估
模型工作区第五个 Tab。对已加载的 ONNX 模型跑同品类验证集,写出指标;没有评估器的品类直接提示并禁用,不伪造 mAP。
未加载模型时:先在训练 / 蒸馏完成,或从模型工作区、项目树打开模型。
右上角 检测:探测当前模型并写出成品元数据(metadata;有真实层信息才写 architecture)。这是写成品文件,不是目标检测推理。
有评估器的品类
| 品类 | 指标 |
|---|---|
检测 detection | mAP50 / mAP50-95 / Precision / Recall |
分类 classification | Precision / Recall 等分类指标 |
语义分割 segmentation | MeanIoU 等 |
姿态 pose | 检测类指标(不把姿态塌成普通框随便过) |
下列品类没有评估器,横幅提示、运行按钮禁用,只可去推理页做烟测:
- 实例分割
instance-segmentation— 不按语义分割 mIoU 评估 - 旋转检测
obb— 不按轴对齐检测 mAP 评估旋转框 - OCR
ocr/ OCR 文本检测ocr-text-detection— 不按文字识别指标评估
实例分割不会被当成语义分割跑;OCR 检测不会被当成识别或普通检测跑。
模型信息
只读:模型路径、任务、输入尺寸、输出类别、SHA-256。数据集必须与模型同品类(细品类独立,不把 instance 配给 semantic、ocr-det 配给 rec)。
评估配置
| 项 | 默认 | 范围 |
|---|---|---|
| 选择数据集 | (必选) | 项目内同品类验证集 |
| 置信度阈值 | 0.25 | 0.01–0.99 |
| 重合度阈值 (IoU) | 0.45 | 0.05–0.95 |
资源限制
评估走资源调度总控,避免把桌面卡死。改完按 应用资源限制。
| 项 | 默认 | 范围 |
|---|---|---|
| 最大并发 | 1 | 1–4 |
| CPU 线程帽 | 4 | 1–8 |
| 允许 GPU | 开 | 无 GPU 或会话建失败则落到 CPU |
| 低于正常优先级 | 开 | 评估线程 BelowNormal |
「当前设备 / 计划」始终显示实际走的设备,不隐藏。
评估案例
模型目录若有 eval/eval-case.json,页上显示登记摘要。labelsStatus 不是 with-gt 时如实提示:不出精度指标,不补假 mAP。
没有评估案例也可以跑。每次成功评估都会在运行根写下 evaluation/report.json。
结果
上部指标卡:mAP50、mAP50-95、精确率、召回率、平均重合度、图像数 / 真值框、检测框数、评估耗时。无数据时为 --。
下部 每类结果 表:类别、TP / FP / FN、Precision、Recall、F1、AP50、AP50-95。评估前显示「评估后显示每类结果」。
完成后可 打开输出目录,并把报告 导出 JSON / 导出 Markdown。
操作
- 加载有评估器的明文 ONNX 模型。
- 选同品类验证集,按需改阈值与资源限制。
- 运行评估。页底进度条在跑时出现,取消即停。
- 读指标与每类表;需要归档则导出报告。
缺模型、缺数据集、品类无评估器、评估中途失败:状态栏和结果行给真因,指标保持 --,不当成 0 分通过。