假设差异正则化互信息最大化
机器学习
2020-12-16 v1 计算机视觉与模式识别
摘要
我们提出一种假设差异正则化互信息最大化(HDMI)方法,以解决无监督假设迁移问题——作为统一假设迁移学习(HTL)与无监督域自适应(UDA)的努力——其中源域的知识仅通过假设进行迁移,并以无监督方式适配到目标域。与通常使用单一假设的主流 HTL 和 UDA 方法不同,HDMI 采用多个假设来利用源假设和目标假设的底层分布。为了更好地利用不同假设之间的关键关系——而非独立地对每个假设进行无约束优化——同时通过互信息最大化适配到无标签目标域,HDMI 引入了假设差异正则化,该正则化协调目标假设联合学习更好的目标表示,同时在具有更好校准的预测不确定性下保留更多可迁移的源知识。HDMI 在 HTL 背景下的 UDA 基准数据集上取得了最先进的自适应性能,且在适配过程中无需访问源数据。
引用
@article{arxiv.2012.08072,
title = {Hypothesis Disparity Regularized Mutual Information Maximization},
author = {Qicheng Lao and Xiang Jiang and Mohammad Havaei},
journal= {arXiv preprint arXiv:2012.08072},
year = {2020}
}
备注
Accepted to AAAI 2021