用于学习域不变表示特征的条件熵最小化原理
机器学习
2022-07-12 v4 人工智能
摘要
基于不变性原理的方法，如不变风险最小化（IRM），近来已成为域泛化（DG）的有前景的方法。尽管理论令人期待，此类方法在常见分类任务中因真实不变特征与伪不变特征的混合而失败。为此，我们提出一个基于条件熵最小化（CEM）原理的框架，以滤除伪不变特征，从而得到一种具有更好泛化能力的新算法。我们展示了所提方法与著名的信息瓶颈（IB）框架密切相关，并证明在特定假设下，熵最小化可精确恢复真实不变特征。我们的方法在多个 DG 数据集上相比近期具理论依据的先进替代方法提供了有竞争力的分类精度。
引用
@article{arxiv.2201.10460,
title = {Conditional entropy minimization principle for learning domain invariant representation features},
author = {Thuan Nguyen and Boyang Lyu and Prakash Ishwar and Matthias Scheutz and Shuchin Aeron},
journal= {arXiv preprint arXiv:2201.10460},
year = {2022}
}
备注
10 pages, this paper was accepted at 26th International Conference on Pattern Recognition (ICPR-2022)