关于无监督多源无数据域适配中偏差与方差的平衡
机器学习
2023-06-01 v3 信息论
math.IT
摘要
由于隐私、存储及其他限制，机器学习中对无需访问用于训练一组源模型的数据的无监督域适配技术的需求日益增长。现有的多源无数据域适配（MSFDA）方法通常使用源模型生成的伪标签数据训练目标模型，侧重于改进伪标签技术或提出新的训练目标。相反，我们旨在分析 MSFDA 的基本极限。具体而言，我们推导了所得目标模型泛化误差的信息论界，其揭示了一种固有的偏差–方差权衡。随后，我们从三个角度（包括域聚合、选择性伪标注和联合特征对齐）提供了如何平衡该权衡的见解，并由此设计了新颖算法。在多个数据集上的实验验证了我们的理论分析，并展示了所提算法的 SOTA 性能，尤其是在一些最具挑战性的数据集（包括 Office-Home 和 DomainNet）上。
引用
@article{arxiv.2202.00796,
title = {On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain Adaptation},
author = {Maohao Shen and Yuheng Bu and Gregory Wornell},
journal= {arXiv preprint arXiv:2202.00796},
year = {2023}
}
备注
ICML 2023