用于从不足数据学习的等变与不变归纳偏置
计算机视觉与模式识别
2022-09-07 v2 人工智能
机器学习
摘要
我们感兴趣于从不足数据中学习鲁棒模型,且不需要任何外部预训练检查点。首先,与充足数据相比,我们展示了为何不足数据使模型更容易偏向于通常不同于测试的有限训练环境。例如,若所有训练天鹅样本均为“白色”,模型可能错误地将“白色”环境用作表示天鹅这一内在类别。接着,我们证明等变归纳偏置可保留类别特征,而不变归纳偏置可去除环境特征,留下可泛化到测试中任何环境变化的类别特征。为将它们施加于学习,对于等变性,我们展示了可部署任何现成的基于对比的自监督特征学习方法;对于不变性,我们提出了一种类明智不变风险最小化(class-wise IRM),其有效应对了常规 IRM 中缺失环境标注的挑战。在真实世界基准(VIPriors、ImageNet100 和 NICO)上的最先进实验结果验证了等变与不变在数据高效学习中的巨大潜力。代码见 https://github.com/Wangt-CN/EqInv。
引用
@article{arxiv.2207.12258,
title = {Equivariance and Invariance Inductive Bias for Learning from Insufficient Data},
author = {Tan Wang and Qianru Sun and Sugiri Pranata and Karlekar Jayashree and Hanwang Zhang},
journal= {arXiv preprint arXiv:2207.12258},
year = {2022}
}
备注
Accepted by ECCV 2022. Codes are available on Github: https://github.com/Wangt-CN/EqInv