利用非对称训练的双分类器学习泛化性较弱的模式以改进测试时自适应
机器学习
2022-12-26 v1 人工智能
计算机视觉与模式识别
机器人学
摘要
深度神经网络通常无法泛化到其训练分布之外，特别是在训练期间仅存在单一数据域时。尽管测试时自适应在此设定下已取得令人鼓舞的结果，我们认为，为取得进一步改进，这些方法应与旨在学习更多样化模式集合的训练过程修改相结合。事实上，由于捷径学习现象，测试时自适应方法通常不得不依赖有限的表征：标准训练仅学到了可用预测模式的子集。在本文中，我们首先表明，在PACS基准上，现有训练时策略与测试时批归一化（一种简单的自适应方法）的联合使用并不总是比单独的测试时自适应有所改进。此外，在Office-Home上的实验表明，极少有训练时方法在标准训练基础上（无论有无测试时批归一化）有所改进。因此我们提出一种新方法，使用一对分类器与一个捷径模式规避损失，通过降低辅助分类器的泛化能力来缓解捷径学习行为，利用额外的捷径模式规避损失鼓励学习样本特定模式。主分类器正常训练，从而学到自然特征以及更复杂、泛化性较弱的特征。我们的实验表明，该方法在两项基准上均优于最先进结果，并且对测试时批归一化益处最大。
引用
@article{arxiv.2210.09834,
title = {Learning Less Generalizable Patterns with an Asymmetrically Trained Double Classifier for Better Test-Time Adaptation},
author = {Thomas Duboudin and Emmanuel Dellandréa and Corentin Abgrall and Gilles Hénaff and Liming Chen},
journal= {arXiv preprint arXiv:2210.09834},
year = {2022}
}