深度网络是否跨类别迁移不变性？
计算机视觉与模式识别
2022-03-21 v1 机器学习
摘要
为良好泛化，分类器必须学习对不改变输入类别的干扰变换保持不变。许多问题具有“类别无关”的干扰变换，其类似地作用于所有类别，例如图像分类中的光照与背景变化。神经网络在给定充足数据时可学习这些不变性，但许多真实世界数据集存在严重的类别不平衡，且多数类别仅含少量样本。因此我们提出问题：神经网络将从大类学到的类别无关不变性向小类迁移的效果如何？通过细致实验，我们观察到对类别无关变换的不变性仍严重依赖于类别规模，网络在较小类别上不变性弱得多。即便使用数据平衡技术该结果仍成立，并表明跨类别的不变性迁移较差。我们的结果对分类器在不平衡与长尾分布上泛化不佳提供了一种解释。基于此分析，我们展示一种用于学习干扰变换的生成式方法如何帮助跨类别迁移不变性，并提升在一组不平衡图像分类基准上的性能。我们实验的源代码可在 https://github.com/AllanYangZhou/generative-invariance-transfer 获取。
引用
@article{arxiv.2203.09739,
title = {Do Deep Networks Transfer Invariances Across Classes?},
author = {Allan Zhou and Fahim Tajwar and Alexander Robey and Tom Knowles and George J. Pappas and Hamed Hassani and Chelsea Finn},
journal= {arXiv preprint arXiv:2203.09739},
year = {2022}
}