通过解耦图像中的风格与虚假特征实现不变表示
计算机视觉与模式识别
2024-04-02 v2 人工智能
摘要
本文考虑在风格分布偏移和虚假特征同时存在且域标签缺失的设定下的分布外（OOD）泛化问题。这种设定在现实世界应用中频繁出现，但未被充分关注，因为以往的方法主要只处理这两个因素之一。关键挑战在于在缺乏域标签的情况下解耦风格和虚假特征。为了应对这一挑战，我们首先为图像生成过程提出一个结构因果模型（SCM），该模型同时捕捉了风格分布偏移和虚假特征。所提出的 SCM 使我们能够设计一个名为 IRSS 的新框架，该框架通过引入对抗神经网络和多环境优化，逐步将风格分布和虚假特征从图像中分离出来，从而实现 OOD 泛化。此外，除了图像及其对应的标签外，它不需要额外的监督（例如，域标签）。在基准数据集上的实验表明，IRSS 优于传统的 OOD 方法，并解决了不变风险最小化（IRM）退化问题，实现了在分布偏移下提取不变特征。
引用
@article{arxiv.2312.06226,
title = {Invariant Representation via Decoupling Style and Spurious Features from Images},
author = {Ruimeng Li and Yuanhao Pu and Zhaoyi Li and Hong Xie and Defu Lian},
journal= {arXiv preprint arXiv:2312.06226},
year = {2024}
}
备注
10 pages, 12 figures