协变量偏移下的最优表示
机器学习
2022-03-16 v2 人工智能
信息论
math.IT
机器学习
摘要
机器学习系统常经历训练与测试间的分布偏移。本文引入一个简单变分目标，其最优解恰好是所有保证风险最小化器对任意保持贝叶斯预测器的分布偏移（如协变量偏移）鲁棒的表示集合。我们的目标有两部分。首先，表示必须对任务保持可判别性，即某预测器必须能同时最小化源域和目标域风险。其次，表示的边际支撑在源域和目标域需相同。我们通过设计仅使用无标签数据和增强来训练鲁棒表示的自监督目标使之处以实用。我们的目标增进了对 CLIP 鲁棒性的理解，并进一步提升 CLIP 的表示以在 DomainBed 上取得 SOTA 结果。
引用
@article{arxiv.2201.00057,
title = {Optimal Representations for Covariate Shift},
author = {Yangjun Ruan and Yann Dubois and Chris J. Maddison},
journal= {arXiv preprint arXiv:2201.00057},
year = {2022}
}
备注
Accepted at ICLR 2022