跳到主要内容

评估

模型工作区第五个 Tab。对已加载模型跑同品类验证集,写出真实指标;没有评估器的品类出横幅并禁用 运行评估,不伪造 mAP。

评估页

评估页:标题行右侧为「应用资源限制」「检测」「运行评估」,标题下是资源限制条与「当前设备 / 计划」;左上评估配置(任务、输入尺寸、输出类别、模型路径、选择数据集、阈值)与评估案例提示,左下评估结果指标卡与完成面板,右侧每类结果表,底部状态行、导出格式选择、「导出」与进度条。

未加载模型时,配置区显示「尚未加载模型: 先在训练页完成训练,或从模型工作区/项目树加载模型。」先在训练完成产出,或从模型工作区、项目树双击模型叶子进入本页。

功能概览​

  • 标题行 — 左侧「评估」与品类徽标;右侧三个按钮 应用资源限制、检测、运行评估
  • 资源限制条 — 标题下轻量一行:最大并发、CPU 线程帽、允许 GPU、低于正常优先级,以及只读的「当前设备 / 计划」
  • 评估配置 — 左上卡片:任务、输入尺寸、输出类别、模型路径、选择数据集、置信度阈值、重合度阈值
  • 品类横幅 — 无评估器时出现,红边提示;有评估器时收起
  • 评估案例 — 模型目录含 eval/eval-case.json 时出现中性信息卡
  • 评估结果 — 左下:指标卡、品类评估摘要、完成面板
  • 每类结果 — 右侧表格,评估前显示「评估后显示每类结果」
  • 操作行 — 左侧结果状态(初始「尚未运行评估」),右侧 取消、导出格式选择(JSON / Markdown)与 导出
  • 进度与状态栏 — 运行中页底进度条;底部状态栏初始「就绪」

右上按钮​

按钮作用
应用资源限制把上方资源限制条写入配置并即时生效,文案保持「应用资源限制」,不变成「已应用」
检测探测当前模型,把成品元数据写到模型根;有真实层信息才另写网络层文件
运行评估按品类路由评估器跑验证集;运行中变为「评估中…」,可点取消

检测​

检测 写的是成品文件,不是目标检测推理,不跑 mAP,也不改评估算法。

  • 主元数据写到模型根:已有可用 metadata.json 时覆盖它,否则新建 model.json。内容含任务、输入尺寸、输出类别等,不含网络层。
  • 有真实层信息时,才在模型根 evaluation/ 下另写 architecture.json 与 architecture.mmd;无真实层只写主元数据,不编造假层,状态写「已写出 … (无真实层信息, 未写 architecture)」。
  • 成品根取模型文件所在目录;权重在 weights/ 子目录时写到上一级运行根,不写进 weights/。
  • 已有可用独立网络层时跳过探测,直接沿用。
  • 加密模型(含已解锁)拒绝探测:状态写「结构受保护,加密模型不检测架构」,不生成文件。
  • 嵌入式 Python 未就位时拒绝架构探测,文案为「嵌入式 Python 未就位」或「运行时正在配置,请稍候」。
  • 成功后回填「输入尺寸」「输出类别」。运行按钮文案在探测期间变为「检测中…」。

品类与评估器​

有评估器的品类按下表给真指标。检测按输出形状再分 YOLO / DETR 两套评估器;两者都不匹配时如实报「输出形状不受支持 (YOLO/DETR 均不匹配)」。

品类主指标
目标检测 (detection)mAP50、mAP50-95、精确率、召回率、平均重合度
图像分类 (classification)Top-1 准确率、Top-5 准确率、精确率、召回率
语义分割 (segmentation)MeanIoU(mIoU)、精确率、召回率
姿态估计 (pose)OKS,以及真值对象数、预测对象数

下列品类没有评估器:横幅提示,运行评估 禁用,只可去推理页做烟测。

  • 实例分割 (instance-segmentation) — 「该品类暂无评估器 (实例分割 评估器未实现), 仅支持推理烟测 — 不按语义分割 mIoU 评估。当前评估页支持 detection / classification / segmentation / pose。」
  • OCR 文本检测 (ocr-text-detection) — 「该品类暂无评估器 (OCR文本检测 评估器未实现), 仅支持推理烟测 — 不按文字识别指标评估。当前评估页支持 detection / classification / segmentation / pose。」
  • 旋转检测 (obb) — 「该品类暂无评估器 (旋转检测 评估器未实现), 仅支持推理烟测 — 不按轴对齐检测 mAP 评估旋转框。当前评估页支持 detection / classification / segmentation / pose。」
  • 文字识别 (ocr) — 「该品类暂无评估器 (文字识别 评估器未实现), 仅支持推理烟测 — 当前评估页支持 detection / classification / segmentation / pose。」

实例分割不会被当成语义分割跑,OCR 文本检测不会被当成识别或普通检测跑,旋转框不会被当成轴对齐框打分。

备注

评估只覆盖上表四种品类的验证集打分。SDK、加密出包与现场推理不在此页范围;加密模型只可推理,不解回明文(加密)。

模型信息​

评估配置卡片上部为只读身份,不可编辑:

  • 任务 — 中文名加英文键,如「目标检测 (detection)」
  • 输入尺寸 — 形如 640 x 640;未知时显示 —
  • 输出类别 — 类别个数;未知时显示 —
  • 模型路径 — 后台解析出的 ONNX 或 PT 完整路径;解析后可悬停看全路径
  • 标签 — 默认折叠,评估页只显示 —,完整标签在属性面板
  • SHA-256 — 默认折叠;模型未登记时显示 —

加密模型(含已解锁)改为保护头,不抄结构:任务显示「已加密」,输入尺寸、输出类别、SHA-256 显示「结构受保护」,标签显示「已加密」。

模型格式只认 ONNX 与 PyTorch 权重。PT 在 运行评估 时自动解析为 ONNX(复用同目录已有 onnx,或现场转换);其它扩展名直接拒绝,状态写「仅支持 .onnx 或 .pt 模型」。

类名列表:模型同目录 labels.txt(一行一类)优先,没有则回退 COCO 80 类。分类评估优先用所选数据集的 ClassNames,与目录名真值对齐。

评估配置​

项默认范围
选择数据集空,必选当前项目内与模型同品类的数据集
置信度阈值0.250.01 到 0.99,步进 0.05
重合度阈值 (IoU)0.450.05 到 0.95,步进 0.05

数据集下拉按模型品类过滤,细品类独立:不会把实例分割数据集配给语义分割,也不会把 OCR 文本检测配给文字识别。项目无数据集时占位文案「项目无数据集」;过滤后无匹配时「无匹配品类的数据集」。模型若登记过训练数据集,加载后会自动对齐选中。

验证目录按品类解析:

  • 目标检测 / 语义分割 / 姿态估计 — images/ 与 labels/ 成对;支持根目录、val/、valid/ 下的成对目录。检测标注为 YOLO 格式 txt(classId cx cy w h),姿态为 COCO keypoint 行,分割为多边形坐标行
  • 图像分类 — ImageFolder:类别子目录下放图像,不要求 labels/。优先 val/、valid/、test/
  • 无评估器品类 — 下拉提示即写明暂无评估器

选中数据集后状态栏显示解析到的根路径。路径不存在、缺标注目录、标注格式不对时,运行评估 前就会给出真因,不会开跑再装死。

阈值只作用于检测类评估;分类、语义分割、姿态不读这两项。

资源限制​

评估受资源限制约束,避免把桌面卡死。改完必须点 应用资源限制 才生效;按钮文案不变。

项默认范围
最大并发11 到 4
CPU 线程帽41 到 8
允许 GPU开关上后走 CPU
低于正常优先级开评估进程降 BelowNormal,结束后恢复

配置落在本机 eval-governor.json,对之后进入的评估段生效;已在跑的段按旧配置跑完。允许 GPU 但无 GPU、或设备会话建失败时,落到 CPU,并在计划里如实标注。

「当前设备 / 计划」始终显示实际走的设备与并发、线程、优先级,例如 GPU 命中时写 GPU 设备名与 CPU 兜底线程数,未命中时写 CPU 计划并注明 GPU 已允许但未就绪。不隐藏、不美化。

评估案例​

模型根目录含 eval/eval-case.json 时,页上显示登记摘要:模型、任务、数据集格式、图像数、标注状态。文件不存在或解析失败只收起面板,不挡主流程。

标注状态 labelsStatus 的如实提示:

  • with-gt、yolo-labels、coco-labels、imagefolder-labels — 「含真值标注, 将产出真实精度指标」
  • images-only — 「仅图像无标注, 只做推理烟测, 不出 mAP 等精度指标」
  • none-available — 「无可用数据集, 无法评估」
  • no-weights — 「无权重文件, 无法评估」

非 with-gt 系用警示色,不补假精度预期。没有评估案例也可以直接跑;案例里的数据集目录真实存在且品类受支持时,会在你未手选的前提下预选为验证集,手选永远优先。

每次成功评估都会在运行根覆盖写下 evaluation/report.json(最新一次成功结果,不是历史最好那次)。失败不覆盖。手动 导出(Markdown 格式)不进这份发布文件。

结果​

未运行或评估失败时,指标卡占位为 --(两个半角连字符),不当 0 分通过。该品类用不上的卡位显示 —。有数据时比值按百分比一位小数显示。

指标卡按品类换标题与取值:

品类指标卡字段
目标检测 (detection)mAP50、mAP50-95、精确率 (Precision)、召回率 (Recall)、平均重合度 (MeanIoU)、图像数 / 真值框、检测框数、评估耗时
图像分类 (classification)Top-1 准确率、Top-5 准确率、精确率 (Precision)、召回率 (Recall)、图像数 / 样本数、成功预测数、评估耗时
语义分割 (segmentation)mIoU、精确率 (Precision)、召回率 (Recall)、平均重合度 (MeanIoU)、图像数、评估耗时
姿态估计 (pose)OKS、图像数 / 真值对象、预测对象数、评估耗时

Top-5 无值、姿态的精确率与召回率、分割与姿态不用的卡位显示 —。有跳过缺标注样本时,图像数卡会附「跳过 N」。失败但已跑到计数时,仍显示真实的图像数 / 真值框、检测框数、评估耗时,精度位保持 --。

指标卡下方是品类评估摘要,按品类列出真值指标、图像数、耗时;有跳过或口径备注时一并列出。

完成面板标题「完成」,旁为输出目录路径,右侧 打开输出目录 打开资源管理器。

每类结果​

评估前表格空态为「评估后显示每类结果」。有数据后列名固定:

  • 类别 — 长名截断,悬停可读全
  • TP、FP、FN — 计数
  • Precision、Recall、F1 — 百分比
  • AP50、AP50-95 — 百分比;分类、语义分割、姿态不显示这两列

导出​

先在格式下拉选 JSON 或 Markdown,再点 导出(两格式合并为一个导出钮)。一轮评估结束后可用(含诚实失败的结果),空载为禁用。弹出保存对话框,默认文件名 evaluation_加时间戳,初始目录为输出目录。导出的是 Studio 报告副本;发布只认运行根的 evaluation/report.json。

快速开始​

  1. 打开有评估器的模型:训练完成后进入,或从模型工作区、项目树加载。加密模型只显示保护头,不能当评估对象出结构。
  2. 在 选择数据集 选同品类验证集;分类选 ImageFolder,检测 / 分割 / 姿态选带 images 与 labels 的验证目录。
  3. 按需改 置信度阈值、重合度阈值 (IoU)。改过资源限制则点 应用资源限制。
  4. 点 运行评估。按钮变「评估中…」,页底进度条推进,状态行写「已处理 N / M 张图」。中途点 取消 即停,状态写「评估已取消」。
  5. 读指标卡与每类结果表;要归档则选格式后点 导出,要找文件则点 打开输出目录。
  6. 需要给成品补元数据时,单独点右上角 检测,不要和评估混淆。

缺模型、缺数据集、品类无评估器、数据集格式不对、评估中途失败:状态行和底部状态栏给真因,指标保持 -- 或只保留真实计数,不显示成 0 分通过。

提示

模型工作区其余 Tab:界面总览。训练产出:训练。大模型转小模型:蒸馏。转格式出包:导出。单向加密与激活码:加密。