通过特征导向模型剪枝探索分布外泛化的最优子结构
机器学习
2022-12-20 v1 人工智能
机器学习
摘要
近期研究表明，即使是高度偏置的密集网络也包含一个无偏的子结构，该子结构能实现比原始模型更好的分布外（OOD）泛化。现有工作通常使用域外数据的模块化风险最小化（MRM）来搜索不变子网络。这种范式可能带来两个潜在弱点：1）不公平性，由于训练期间对域外数据的观察不足；2）次优的OOD泛化，由于在整个数据分布上进行的非特征导向模型剪枝。在本文中，我们提出了一种新颖的虚假特征导向模型剪枝框架，称为SFP，以自动探索不变子结构，从而避免上述弱点。具体而言，SFP在训练过程中使用我们经过理论验证的任务损失来识别分布内（ID）特征，在此基础上，SFP可以执行ID导向的模型剪枝，移除对ID特征有强依赖性的分支。值得注意的是，通过衰减虚假特征在模型空间中的投影，SFP可以推动模型学习朝向不变特征，并将其拉离环境特征，从而设计出最优的OOD泛化。此外，我们还进行了详细的理论分析，为通过模型稀疏性获得OOD结构提供了合理性保证和证明框架，并首次揭示了高度偏置的数据分布如何影响模型的OOD泛化。在多种OOD数据集上的大量实验表明，SFP显著优于基于结构和非结构的OOD泛化SOTA方法，准确率分别提升高达4.72%和23.35%。
引用
@article{arxiv.2212.09458,
title = {Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning},
author = {Yingchun Wang and Jingcai Guo and Song Guo and Weizhan Zhang and Jie Zhang},
journal= {arXiv preprint arXiv:2212.09458},
year = {2022}
}
备注
9 pages;2 figures