跳到主要内容

蒸馏

模型工作区第四个 Tab。用教师模型给数据打伪标签,学生在伪标签上微调,得到更小、可部署的学生模型。不是强化学习。

蒸馏页

左列只读交代教师与支持边界;右列选学生、蒸馏方式、数据集和训练参数。进度和结果钉在页底,不跟表单一起滚走。

未加载模型时页中显示空态。先在模型工作区打开一个明文教师,或从训练页产出后再进来。

教师 → 学生

教师是当前工作区模型,只读:名称、任务、模型 ID、类别、输入尺寸、输出类别、标签、SHA-256。

学生必须与教师同品类。伪标签格式随任务走(检测=框、分类=类别、分割=掩码),跨品类无法微调。

产物不写到外部目录。蒸馏完成后,项目内自动登记新模型,命名为「学生模型名-蒸馏-时间戳」。

加密模型不能当教师、也不能当学生:加密后仅供推理,见 知识产权

蒸馏方式

方式必须手选,空选直接拒绝,不会偷偷回落某一档。

方式谁能用教师权重做什么
伪标签蒸馏(通用)全部支持品类.pt.onnx;OCR 为 Paddle 目录教师推理生成伪标签,学生在伪标签集上微调
软标签蒸馏(分类)仅分类必须 .pt教师类别概率分布监督学生
特征对齐蒸馏(检测)仅检测必须 .pt学生中间层经 1×1 对齐层对齐教师特征;更耗时、更占显存

教师只有 ONNX、没有 .pt 时,软标签 / 特征对齐会失败,改用伪标签。

支持的品类

ultralytics 六族 + OCR(Paddle):

  • 目标检测 / 图像分类 / 语义分割 / 实例分割 / 姿态估计 / 旋转检测
  • OCR / OCR 文本检测(Paddle 管线;需本机 Paddle 训练环境就绪)

不在此列的品类:页上出横幅,开始按钮禁用,不假装能蒸。

OCR 环境未就绪时出现「安装 Paddle 训练环境」。探测中请等,不要连点。Paddle 管线没有「额外无标注图片池」概念,OCR 教师选了该池会诚实拒绝,而不是静默丢掉。

伪标签数据

默认勾选「混入原数据集人工标注」:有 GT 时把人工标注与教师伪标签合并,更稳。

可选「额外无标注图片」:指定图片文件夹,由教师推理产伪标签并入训练集。仅 ultralytics 管线使用。

蒸馏强度 0–1(默认 0.5):越高,采纳的教师伪标签越多。

训练参数

范围默认
输入尺寸32–4096,步进 32640
训练轮数1–10000100
批次大小1–102416
学习率(0, 1]0.001
蒸馏强度0–1,步进 0.10.5

学生配置卡(架构、任务类型、输入尺寸、类别数、模型格式)随所选学生只读刷新,不在这里改结构。

操作

  1. 打开明文教师。
  2. 选手模型(同品类、带可用权重:六族要 .pt,OCR 要 Paddle 目录)。
  3. 选蒸馏方式、数据集,按需勾选混入 GT / 无标注图片池。
  4. 填训练参数 → 开始蒸馏。页底出进度。
  5. 完成后项目内出现新学生模型,可接到 评估 / 导出

取消只停本轮,不删已写入的半成品目录。缺权重、品类不支持、OCR 环境未就绪、方式未选:行内报错,不空跑。

下一步