基于不一致性引导细节正则化的多表征学习用于掩码引导抠图
计算机视觉与模式识别
2024-03-29 v1
摘要
近年来，掩码引导抠图网络取得了显著改进，并在实际应用中展现出巨大潜力。然而，仅仅从合成且缺乏现实世界多样性的抠图数据中学习抠图表征，这些方法往往容易在错误区域过拟合低级细节，缺乏对具有复杂结构的物体以及阴影等现实场景的泛化能力，同时也会受到背景线条或纹理的干扰。为了应对这些挑战，本文提出了一种用于掩码引导抠图模型的新型辅助学习框架，除了抠图之外，还引入了三个辅助任务：语义分割、边缘检测和背景线条检测，以从不同类型的数据和标注中学习不同且有效的表征。我们的框架和模型引入了以下关键方面：（1）为了在现实场景下学习具有多样且复杂结构物体的现实自适应语义表征，我们在带有分割标注的更多样化现实数据上引入了额外的语义分割和边缘检测任务；（2）为了避免在低级细节上过拟合，我们提出了一个模块，利用学习到的分割和抠图表征之间的不一致性来正则化细节细化；（3）我们在辅助学习框架中提出了一项新颖的背景线条检测任务，以抑制背景线条或纹理的干扰。此外，我们提出了一个高质量的抠图基准 Plant-Mat，以评估抠图方法在复杂结构上的表现。大量的定量和定性结果表明，我们的方法优于最先进的掩码引导方法。
引用
@article{arxiv.2403.19213,
title = {Learning Multiple Representations with Inconsistency-Guided Detail Regularization for Mask-Guided Matting},
author = {Weihao Jiang and Zhaozhi Xie and Yuxiang Lu and Longjie Qi and Jingyong Cai and Hiroyuki Uchiyama and Bin Chen and Yue Ding and Hongtao Lu},
journal= {arXiv preprint arXiv:2403.19213},
year = {2024}
}