蒸馏
模型工作区第四个 Tab。用教师模型给数据打伪标签,学生在伪标签上微调,得到更小、可部署的学生模型。不是强化学习。
左列只读交代教师与支持边界;右列选学生、蒸馏方式、数据集和训练参数。进度和结果钉在页底,不跟表单一起滚走。
未加载模型时页中显示空态。先在模型工作区打开一个明文教师,或从训练页产出后再进来。
教师 → 学生
教师是当前工作区模型,只读:名称、任务、模型 ID、类别、输入尺寸、输出类别、标签、SHA-256。
学生必须与教师同品类。伪标签格式随任务走(检测=框、分类=类别、分割=掩码),跨品类无法微调。
产物不写到外部目录。蒸馏完成后,项目内自动登记新模型,命名为「学生模型名-蒸馏-时间戳」。
加密模型不能当教师、也不能当学生:加密后仅供推理,见 知识产权。
蒸馏方式
方式必须手选,空选直接拒绝,不会偷偷回落某一档。
| 方式 | 谁能用 | 教师权重 | 做什么 |
|---|---|---|---|
| 伪标签蒸馏(通用) | 全部支持品类 | .pt 或 .onnx;OCR 为 Paddle 目录 | 教师推理生成伪标签,学生在伪标签集上微调 |
| 软标签蒸馏(分类) | 仅分类 | 必须 .pt | 教师类别概率分布监督学生 |
| 特征对齐蒸馏(检测) | 仅检测 | 必须 .pt | 学生中间层经 1×1 对齐层对齐教师特征;更耗时、更占显存 |
教师只有 ONNX、没有 .pt 时,软标签 / 特征对齐会失败,改用伪标签。
支持的品类
ultralytics 六族 + OCR(Paddle):
- 目标检测 / 图像分类 / 语义分割 / 实例分割 / 姿态估计 / 旋转检测
- OCR / OCR 文本检测(Paddle 管线;需本机 Paddle 训练环境就绪)
不在此列的品类:页上出横幅,开始按钮禁用,不假装能蒸。
OCR 环境未就绪时出现「安装 Paddle 训练环境」。探测中请等,不要连点。Paddle 管线没有「额外无标注图片池」概念,OCR 教师选了该池会诚实拒绝,而不是静默丢掉。
伪标签数据
默认勾选「混入原数据集人工标注」:有 GT 时把人工标注与教师伪标签合并,更稳。
可选「额外无标注图片」:指定图片文件夹,由教师推理产伪标签并入训练集。仅 ultralytics 管线使用。
蒸馏强度 0–1(默认 0.5):越高,采纳的教师伪标签越多。
训练参数
| 项 | 范围 | 默认 |
|---|---|---|
| 输入尺寸 | 32–4096,步进 32 | 640 |
| 训练轮数 | 1–10000 | 100 |
| 批次大小 | 1–1024 | 16 |
| 学习率 | (0, 1] | 0.001 |
| 蒸馏强度 | 0–1,步进 0.1 | 0.5 |
学生配置卡(架构、任务类型、输入尺寸、类别数、模型格式)随所选学生只读刷新,不在这里改结构。
操作
- 打开明文教师。
- 选手模型(同品类、带可用权重:六族要
.pt,OCR 要 Paddle 目录)。 - 选蒸馏方式、数据集,按需勾选混入 GT / 无标注图片池。
- 填训练参数 → 开始蒸馏。页底出进度。
- 完成后项目内出现新学生模型,可接到 评估 / 导出。
取消只停本轮,不删已写入的半成品目录。缺权重、品类不支持、OCR 环境未就绪、方式未选:行内报错,不空跑。