基于扰动一致性测试的测试时自适应方法
计算与语言
2023-04-26 v1
摘要
目前，预训练语言模型（PLMs）不能很好地应对分布偏移问题，导致在训练集上训练的模型在真实测试场景中失效。为解决该问题，测试时自适应（TTA）展现出巨大潜力，其在测试阶段更新模型参数以适应测试数据。现有 TTA 方法依赖于精心设计的辅助任务或基于伪标签的自训练策略。然而，这些方法在性能提升与计算成本之间未取得良好权衡。为深入理解这一困境，我们选取两种代表性 TTA 方法（即 Tent 和 OIL）进行探究，发现稳定预测是实现良好平衡的关键。据此，本文提出扰动一致性学习（PCL），一种简单的测试时自适应方法，促使模型对分布偏移样本做出稳定预测。在对抗鲁棒性与跨语言迁移上的大量实验表明，相较于强大的 PLM 主干网络与先前最先进的 TTA 方法，我们的方法能以更少的推理时间取得更高或相当的性能。
引用
@article{arxiv.2304.12764,
title = {Test-Time Adaptation with Perturbation Consistency Learning},
author = {Yi Su and Yixin Ji and Juntao Li and Hai Ye and Min Zhang},
journal= {arXiv preprint arXiv:2304.12764},
year = {2023}
}