设备端域泛化
计算机视觉与模式识别
2022-11-09 v2 人工智能
机器学习
摘要
我们对微小神经网络上的域泛化（DG）进行了系统性研究。该问题对设备端机器学习应用至关重要，但在文献中却被忽视，既有研究仅聚焦于大型模型。微小神经网络参数远少且复杂度更低，因此不应以与大型模型相同的方式进行 DG 训练。通过大量实验，我们发现知识蒸馏（KD）——一种知名的模型压缩技术——比传统 DG 方法更能应对设备端 DG 问题。另一有趣观察是，在分布外数据上教师-学生差距大于分布内数据，这凸显了容量不匹配问题以及 KD 的不足。我们进一步提出一种称为分布外知识蒸馏（OKD）的方法，其思路是教导学生教师如何处理通过破坏性数据增强合成的分布式外数据。在不向模型添加任何额外参数——从而保持部署成本不变——的情况下，OKD 在图像与语音应用的多种设备端 DG 场景中显著提升了微小神经网络的 DG 性能。我们还贡献了一种可扩展的视觉域偏移合成方法，以及一套新的 DG 数据集以补充现有测试平台。
引用
@article{arxiv.2209.07521,
title = {On-Device Domain Generalization},
author = {Kaiyang Zhou and Yuanhan Zhang and Yuhang Zang and Jingkang Yang and Chen Change Loy and Ziwei Liu},
journal= {arXiv preprint arXiv:2209.07521},
year = {2022}
}
备注
Preprint