中文

Pick up the PACE:基于集成伪标注的快速简单域适应方法

机器学习 2022-05-27 v1

摘要

域适应(DA)近年来因其在分布外标注数据上提升测试精度的潜力而受到深度学习研究者的广泛关注。大多数最先进的 DA 算法由于所需大批量大小而需要大量超参数调优且计算密集。在本工作中,我们提出一种快速简单的 DA 方法,包含三个阶段:(1) 通过协方差匹配进行域对齐,(2) 伪标注,以及 (3) 集成。我们称此方法为 PACE\textbf{PACE},即 P\textbf{P}seudo-labels(伪标注)、A\textbf{A}lignment of C\textbf{C}ovariances(协方差对齐)和 E\textbf{E}nsembles(集成)。PACE 训练于从现代预训练骨干网络集成提取的固定特征之上。PACE 在大多数基准适应任务上以 5 - 10 %\textbf{5 - 10 \%} 超越先前最先进水平,且无需训练神经网络。与最先进 DA 方法相比,PACE 将训练时间和超参数调优时间分别减少 82%82\%97%97\%。代码发布于:https://github.com/Chris210634/PACE-Domain-Adaptation

关键词

引用

@article{arxiv.2205.13508,
  title  = {Pick up the PACE: Fast and Simple Domain Adaptation via Ensemble Pseudo-Labeling},
  author = {Christopher Liao and Theodoros Tsiligkaridis and Brian Kulis},
  journal= {arXiv preprint arXiv:2205.13508},
  year   = {2022}
}