微小模型源自微小数据：文本和空文本倒排用于少样本蒸馏
计算机视觉与模式识别
2025-03-21 v2 机器学习
摘要
少样本学习解决的是仅用极少数训练样本进行图像分类等问题。最近的视觉基础模型显示出卓越的少样本迁移能力，但在推理时较大且缓慢。通过知识蒸馏，可以将高性能但慢速模型的能力传递给小巧高效的模型。然而，常见的蒸馏方法需要大量未标记数据，而在少样本设置下数据不可得。为克服这一不足，近期有人关注使用合成数据。我们在此基础上进行扩展，通过提出一种新型扩散模型倒排技术（TINT）结合文本倒排的多样性与空文本倒排的特定性。使用该方法构建的少样本蒸馏管道在流行基准测试上实现了小型学生模型的最先进准确率，速度也显著优于先前工作。流行的少样本基准测试涉及大量剧集的评估，这对于涉及合成数据生成的方法计算负担较大。我们还对准确率估计器的方差如何依赖于剧集数和查询示例数进行了理论分析，并利用这些结果降低方法评估所需的计算 effort。最后，为进一步鼓励在少样本蒸馏中使用生成模型，我们展示了该方法在原始扩散模型训练所用数据集中从真实数据中挖掘的训练方式下表现更好。源代码已公开于 https://github.com/pixwse/tiny2。
引用
@article{arxiv.2406.03146,
title = {Tiny models from tiny data: Textual and null-text inversion for few-shot distillation},
author = {Erik Landolsi and Fredrik Kahl},
journal= {arXiv preprint arXiv:2406.03146},
year = {2025}
}
备注
24 pages (13 main pages + references and appendix)