灵活的数据集蒸馏：学习标签而非图像

我们研究数据集蒸馏问题——创建一小组合成样本以能够训练出良好模型。特别地，我们研究标签蒸馏问题——为一小批真实图像创建合成标签，并表明其比先前基于图像的数据集蒸馏方法更有效。在方法上，我们引入了一种更鲁棒且灵活的用于蒸馏的元学习算法，以及一种基于凸优化层的高效一阶策略。用我们的新算法蒸馏标签相较于先前的基于图像的蒸馏取得了改进结果。更重要的是，它在蒸馏数据集与现成优化器及多样化神经架构的兼容性方面带来了灵活性的明显提升。有趣的是，标签蒸馏也可跨数据集应用，例如仅通过在合成标注的英文字母上训练来实现日文字符识别的学习。