用于学习可泛化基于概念模型的辅助损失
机器学习
2023-11-21 v1
摘要
神经网络在各种应用中的日益使用引发了越来越多的担忧，凸显了超越单纯最终预测理解其操作的必要性。作为增强模型透明度的解决方案，概念瓶颈模型（CBMs）自提出以来已广受欢迎。CBMs 本质上将模型的潜空间限制为人类可理解的高层概念。尽管有益，但据报道 CBMs 常学习到无关的概念表示，进而损害模型性能。为克服性能权衡，我们提出协作式概念瓶颈模型（coop-CBM）。在缺乏细粒度概念标签时，我们模型的概念表示尤其有意义。此外，我们引入概念正交损失（COL）以鼓励概念表示之间的分离并减小类内概念距离。本文在用于图像分类任务的真实世界数据集 CUB、AwA2、CelebA 和 TIL 上进行了大量实验。我们还研究了 coop-CBM 模型在各种分布偏移设置下的性能。我们表明，即使在所有分布偏移设置下，与具有最高概念准确率的黑盒模型相比，我们提出的方法也实现了更高的准确率。
引用
@article{arxiv.2311.11108,
title = {Auxiliary Losses for Learning Generalizable Concept-based Models},
author = {Ivaxi Sheth and Samira Ebrahimi Kahou},
journal= {arXiv preprint arXiv:2311.11108},
year = {2023}
}
备注
Neurips 2023