SFP：面向分布外泛化的伪特征定向剪枝
机器学习
2023-06-05 v2
摘要
模型子结构学习旨在寻找一个不变的网络子结构，其分布外(OOD)泛化能力优于原始完整结构。现有工作通常使用模块化风险最小化(MRM)并完全暴露域外数据来搜索不变子结构，这可能带来两个缺陷：1) 不公平性，源于对域外数据完全暴露的依赖；2) 次优的OOD泛化，源于在整个数据分布上无差别的、特征非定向剪枝。基于具有伪特征的域内(ID)数据可能具有更低经验风险的思想，本文提出一种新颖的伪特征定向模型剪枝框架，称为SFP，可在不触及上述缺陷的情况下自动探索不变子结构。具体而言，SFP在训练期间利用经理论验证的任务损失识别ID样本中的伪特征，并据此衰减模型空间中相应的特征投影，以实现所谓的伪特征定向剪枝。这通常通过移除对识别出的伪特征具有强依赖的网络分支来完成，从而SFP可推动模型学习朝向不变特征并脱离伪特征，进而设计出最优的OOD泛化。此外，我们还进行了详细的理论分析，通过模型稀疏性为OOD结构提供合理性保证与证明框架，并首次揭示了高度偏置的数据分布如何影响模型的OOD泛化。在多个OOD数据集上的实验表明，SFP可显著优于基于结构与非结构的OOD泛化SOTA，准确率分别提升高达4.72%和23.35%。
引用
@article{arxiv.2305.11615,
title = {SFP: Spurious Feature-targeted Pruning for Out-of-Distribution Generalization},
author = {Yingchun Wang and Jingcai Guo and Yi Liu and Song Guo and Weizhan Zhang and Xiangyong Cao and Qinghua Zheng},
journal= {arXiv preprint arXiv:2305.11615},
year = {2023}
}
备注
14 pages, 4 figures. arXiv admin note: substantial text overlap with arXiv:2212.09458