中文

StyDeSty:用于单域泛化的最小-最大风格化与去风格化

计算机视觉与模式识别 2024-06-04 v1 机器学习

摘要

单域泛化(single DG)旨在仅从一个训练域学习能够泛化到未见域的鲁棒模型,这使得它成为一项极具雄心和挑战性的任务。最先进的方法大多依赖于数据增强,例如对抗性扰动和风格增强,以合成新数据从而提高鲁棒性。然而,它们很大程度上忽略了增强域之间的潜在一致性,这反过来导致在现实场景中结果不佳。在本文中,我们提出了一种简单而有效的方案,称为\emph{StyDeSty},以明确考虑数据增强过程中源域和伪域的对齐,使它们能够以自洽的方式相互交互,并进一步产生具有强大泛化能力的潜在域。StyDeSty的核心在于一个用于使用源域生成新颖风格化样本的\emph{风格化}模块,与一个用于将风格化和源域样本转换到潜在域以学习内容不变特征的\emph{去风格化}模块之间的交互。风格化和去风格化模块以对抗方式工作并相互增强。在推理过程中,去风格化模块将具有任意风格偏移的输入样本转换到潜在域,下游任务在该域中执行。具体来说,骨干网络中去风格化层的位置由专门的神经架构搜索(NAS)策略确定。我们在多个基准上评估了StyDeSty,并证明它产生了令人鼓舞的结果,在分类准确率上优于最先进方法高达{13.44%}。代码可在此处获取:https://github.com/Huage001/StyDeSty。

关键词

引用

@article{arxiv.2406.00275,
  title  = {StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization},
  author = {Songhua Liu and Xin Jin and Xingyi Yang and Jingwen Ye and Xinchao Wang},
  journal= {arXiv preprint arXiv:2406.00275},
  year   = {2024}
}

备注

Accepted at ICML 2024; Work in 2022 spring