视觉表征中风格与内容的简单解耦
机器学习
2023-06-01 v2 计算机视觉与模式识别
机器学习
摘要
学习具有可解释特征（即解耦表征）的视觉表征仍是一个具有挑战性的问题。现有方法取得了一定成功，但难以应用于 ImageNet 等大规模视觉数据集。在本工作中，我们提出一个简单后处理框架，用于解耦预训练视觉模型所学表征中的内容与风格。我们将预训练特征概率性地建模为潜在内容因子与风格因子的线性纠缠组合，并基于该概率模型开发了简单的解耦算法。我们证明了该方法可证明地解耦内容与风格特征，并实证验证了其有效性。当分布偏移由风格变化或风格相关的伪相关引起时，我们的后处理特征带来了显著的域泛化性能提升。
引用
@article{arxiv.2302.09795,
title = {Simple Disentanglement of Style and Content in Visual Representations},
author = {Lilian Ngweta and Subha Maity and Alex Gittens and Yuekai Sun and Mikhail Yurochkin},
journal= {arXiv preprint arXiv:2302.09795},
year = {2023}
}
备注
International Conference on Machine Learning (ICML) 2023