SODA：测试时数据适配器的鲁棒训练
机器学习
2023-10-18 v1 计算机视觉与模式识别
摘要
适配部署到测试分布的模型可缓解由分布偏移引起的性能退化。然而，隐私问题可能导致模型参数不可访问。一种有前景的方法是利用零阶优化（ZOO）训练数据适配器，使测试数据适配以拟合已部署模型。尽管如此，用 ZOO 训练的数据适配器通常因适配器可能导致数据特征损坏而带来有限改进。为解决此问题，我们在测试时数据适配背景下重审 ZOO。我们发现该问题直接源于用于优化数据适配器的梯度估计不可靠，这本质上是由分配给测试数据的伪标签不可靠所致。基于该观察，我们提出伪标签鲁棒数据适配（SODA）以提升数据适配性能。具体而言，SODA 利用高置信度预测标签作为可靠标签，通过 ZOO 优化数据适配器进行标签预测。对于低置信度预测的数据，SODA 鼓励适配器保留数据信息以减轻数据损坏。实证结果表明，在分布偏移存在且无需访问模型参数的情况下，SODA 能显著提升已部署模型性能。
引用
@article{arxiv.2310.11093,
title = {SODA: Robust Training of Test-Time Data Adaptors},
author = {Zige Wang and Yonggang Zhang and Zhen Fang and Long Lan and Wenjing Yang and Bo Han},
journal= {arXiv preprint arXiv:2310.11093},
year = {2023}
}