关于不变表示学习中效用与不变性权衡的刻画
机器学习
2022-12-26 v4
摘要
表示学习的许多应用，如隐私保护、算法公平性与域适应，都希望对被丢弃的语义信息实现显式控制。该目标被表述为满足两个目标：最大化预测目标属性的效用，同时相对于已知语义属性保持不变（独立）。当效用与不变性相互竞争时，不变表示学习（IRepL）问题的解会导致二者之间的权衡。尽管已有研究给出了该权衡的界，仍有两方面问题悬而未决：1) 效用与不变性之间的精确权衡是什么？2) 实现该权衡的编码器（将数据映射到表示）是什么，以及我们如何从训练数据中估计它？本文在再生核 Hilbert 空间（RKHS）中针对 IRepL 解决这些问题。在高维数据的低维投影分布近似正态的假设下，我们推导了 RKHS 中编码器底层优化问题全局最优解的闭式解。这给出了近最优权衡、相应最优表示维数以及相应编码器的闭式公式。我们还在代表性问题上对权衡进行了数值量化，并与基线 IRepL 算法所得结果进行比较。
引用
@article{arxiv.2109.03386,
title = {On Characterizing the Trade-off in Invariant Representation Learning},
author = {Bashir Sadeghi and Sepehr Dehdashtian and Vishnu Boddeti},
journal= {arXiv preprint arXiv:2109.03386},
year = {2022}
}