利用纹理共现与空间自相似性进行内容保留的图像翻译以实现纹理去偏与域适应
计算机视觉与模式识别
2023-01-04 v5
摘要
在具有纹理偏差的数据集上训练的模型通常在分布外样本上表现不佳，因为偏差表征被嵌入到了模型中。最近，各种图像翻译和去偏方法试图为下游任务解耦纹理偏差表征，但在不改变其他相关信息的情况下准确丢弃偏差特征仍然具有挑战性。在本文中，我们提出了一个新颖的框架，该框架利用图像翻译，使用源图像的内容和具有不同偏差属性的目标图像的纹理来生成额外的训练图像，以在目标任务上训练模型时显式地减轻纹理偏差。我们的模型通过纹理共现损失确保目标图像和生成图像之间的纹理相似性，同时通过空间自相似性损失保留源图像的内容细节。生成的和原始的训练图像被结合起来，以训练对不一致纹理偏差具有鲁棒性的改进的分类或分割模型。在五个已知纹理偏差的分类数据集和两个分割数据集上的评估证明了我们方法的实用性，并在所有情况下报告了相对于最新SOTA方法的显著改进。
引用
@article{arxiv.2110.07920,
title = {Content Preserving Image Translation with Texture Co-occurrence and Spatial Self-Similarity for Texture Debiasing and Domain Adaptation},
author = {Myeongkyun Kang and Dongkyu Won and Miguel Luna and Philip Chikontwe and Kyung Soo Hong and June Hong Ahn and Sang Hyun Park},
journal= {arXiv preprint arXiv:2110.07920},
year = {2023}
}