InBiaseD：通过形状感知蒸馏归纳偏置以提升泛化与鲁棒性
计算机视觉与模式识别
2022-06-14 v1 人工智能
机器学习
摘要
与深度神经网络相比，人类较少依赖虚假相关与纹理等平凡线索，从而具备更好的泛化与鲁棒性。这可归因于大脑中存在的先验知识或高层认知归纳偏置。因此，向神经网络引入有意义的归纳偏置有助于学习更通用、高层的表征并缓解部分缺陷。我们提出InBiaseD以蒸馏归纳偏置并为神经网络带来形状感知。我们的方法包含一种偏置对齐目标，迫使网络学习更通用的表征，这些表征不易受数据中非预期线索影响，从而提升泛化性能。InBiaseD不易受捷径学习影响，且表现出更低的纹理偏置。更好的表征也有助于提升对对抗攻击的鲁棒性，因此我们可将InBiaseD无缝嵌入现有对抗训练方案中，以展示泛化与鲁棒性之间更好的权衡。
引用
@article{arxiv.2206.05846,
title = {InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness},
author = {Shruthi Gowda and Bahram Zonooz and Elahe Arani},
journal= {arXiv preprint arXiv:2206.05846},
year = {2022}
}
备注
Accepted at 1st Conference on Lifelong Learning Agents (CoLLAs 2022)