BatchFormer：学习探索样本关系以实现鲁棒表征学习
计算机视觉与模式识别
2022-04-01 v2 人工智能
机器学习
摘要
尽管深度神经网络取得了成功，但由于数据稀缺问题（如数据不平衡、未见分布和域偏移），深度表征学习仍面临许多挑战。针对上述 issues，已有多种方法以朴素方式（即从输入或损失函数的角度）探索样本关系，未能利用深度神经网络的内部结构来学习样本关系。受此启发，我们提出使深度神经网络自身具备从每个 mini-batch 中学习样本关系的能力。具体而言，我们引入了一个批量变换器模块，即 BatchFormer，将其应用于每个 mini-batch 的批量维度，以在训练期间隐式探索样本关系。通过这样做，所提方法实现了不同样本之间的协作，例如，在长尾识别中，头部类样本也可为尾部类的学习做出贡献。此外，为缓解训练与测试之间的差距，我们在训练期间共享使用与不使用 BatchFormer 时的分类器，从而在测试时可移除该模块。我们在十余个数据集上进行了大量实验，所提方法在无需任何额外技巧的情况下，于不同的数据稀缺应用中取得了显著改进，包括长尾识别、组合零样本学习、域泛化和对比学习任务。代码将公开于 https://github.com/zhihou7/BatchFormer。
引用
@article{arxiv.2203.01522,
title = {BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning},
author = {Zhi Hou and Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.01522},
year = {2022}
}
备注
Camera Ready, CVPR2022