深度域适应的归纳偏置探析
机器学习
2021-09-17 v1 人工智能
摘要
域对齐目前是无监督域适应任务中最普遍的解决方案，且常被表述为目标域风险某些理论上限的最小化器。然而，后续研究揭示了理论与实践之间的严重脱节：我们巩固了这一分析，并确认在特征上施加域不变性既非获得低目标风险的必要条件，也非充分条件。我们转而认为，成功的深度域适应在很大程度上依赖于常见实践中的隐藏归纳偏置，例如模型预训练或编码器架构设计。我们在流行基准及我们自建的合成迁移上进行了多种消融实验，以说明它们在典型情境中的作用。为总结我们的分析，我们提出元学习参数化归纳偏置以解决特定迁移，并展示其相对于手工启发式方法的优越性能。
引用
@article{arxiv.2109.07920,
title = {On the inductive biases of deep domain adaptation},
author = {Rodrigue Siry and Louis Hémadou and Loïc Simon and Frédéric Jurie},
journal= {arXiv preprint arXiv:2109.07920},
year = {2021}
}
备注
10 pages, 8 Figures