IW-GAE:用于无监督域适应中校准与模型选择改进的重要性加权组准确率估计
机器学习
2024-07-18 v2 机器学习
摘要
分布偏移给无监督域适应问题中的模型校准与模型选择任务带来了显著挑战——该场景的目标是在无标签的分布偏移域上表现良好。在本工作中,我们通过开发一种新颖的重要性加权组准确率估计器来应对分布偏移带来的困难。具体而言,我们提出通过估计组准确率来解决模型校准与模型选择任务的新视角。随后,我们构建一个优化问题以寻找重要性权重,该权重能在理论分析下实现准确的组准确率估计。我们大量的实验表明,我们的方法在模型校准任务上比最先进性能提升 22%,在模型选择任务上提升 14%。
引用
@article{arxiv.2310.10611,
title = {IW-GAE: Importance Weighted Group Accuracy Estimation for Improved Calibration and Model Selection in Unsupervised Domain Adaptation},
author = {Taejong Joo and Diego Klabjan},
journal= {arXiv preprint arXiv:2310.10611},
year = {2024}
}
备注
ICML 2024