无监督域适应中基于神经网络泛化保证的实用性
机器学习
2023-03-16 v1 机器学习
摘要
理解泛化对于自信地设计和部署机器学习模型至关重要，尤其当部署意味着数据域发生偏移时。对于此类域适应问题，我们寻求可高效计算且紧致的泛化界。若能满足这些要求，该界可作为部署中性能充分的保证。然而，在深度神经网络为首选模型的应用中，推导满足这些要求的结果仍是一项未解决的挑战；大多数现有界即使是 favorable 条件下也是空洞的或含有不可估计项。本工作中，我们在域适应图像分类任务（偏好深度神经网络）上评估了文献中具有满足我们要求潜力的现有界。我们发现所有界均为空洞的，且样本泛化项造成了所观察到的松弛的主要部分，尤其是当这些项与域偏移度量相互作用时。为克服此问题并获得尽可能紧致的结果，我们将每个界与近期数据依赖的 PAC-Bayes 分析相结合，大幅改进了保证。我们发现，当可假设域重叠时，对先前工作的简单重要性加权扩展提供了最紧的可估计界。最后，我们研究了哪些项主导这些界，并指出了进一步改进的可能方向。
引用
@article{arxiv.2303.08720,
title = {Practicality of generalization guarantees for unsupervised domain adaptation with neural networks},
author = {Adam Breitholtz and Fredrik D. Johansson},
journal= {arXiv preprint arXiv:2303.08720},
year = {2023}
}