多源域自适应表示学习的算法相关界
机器学习
2023-04-06 v1 机器学习
摘要
我们使用信息论工具从表示学习的视角对多源域自适应（MDA）进行新颖分析。具体而言，我们研究了具有少量目标标签的监督MDA以及具有伪标签的无监督MDA的联合分布对齐，后者相对困难且较少被研究。我们进一步为这两种设置提供了算法相关的泛化界，其中泛化由参数与数据之间的互信息刻画。然后我们提出了一种新颖的深度MDA算法，通过联合对齐隐式处理目标偏移。最后，互信息界被扩展到该算法，提供了非平凡的梯度范数估计。所提算法在目标偏移的MDA基准上取得了与最先进水平相当的性能，且内存效率更高。
引用
@article{arxiv.2304.02064,
title = {Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation},
author = {Qi Chen and Mario Marchand},
journal= {arXiv preprint arXiv:2304.02064},
year = {2023}
}