深度概念移除
机器学习
2023-10-10 v1
摘要
我们研究深度神经网络中的概念移除问题，旨在学习不编码某些指定概念（例如性别等）的表示。我们提出一种基于在概念数据集上训练的对立线性分类器的新型方法，该方法有助于移除目标属性同时保持模型性能。我们的方法 Deep Concept Removal 在网络各层引入对立探测分类器，有效解决概念纠缠问题并改善分布外泛化能力。我们还引入一种基于隐式梯度的技术，以应对使用线性分类器进行对抗训练所带来的挑战。我们在具有伪相关性的多个流行分布鲁棒优化（DRO）基准以及分布外（OOD）泛化任务上评估了移除概念的能力。
引用
@article{arxiv.2310.05755,
title = {Deep Concept Removal},
author = {Yegor Klochkov and Jean-Francois Ton and Ruocheng Guo and Yang Liu and Hang Li},
journal= {arXiv preprint arXiv:2310.05755},
year = {2023}
}
备注
21 pages, 9 figures, 4 tables