基于描述符的掩码图像修复与优化约束的无监督部件发现
计算机视觉与模式识别
2025-07-17 v1
摘要
部件级特征对于图像理解至关重要，但鲜有研究关注其因缺乏细粒度标签而受限。虽然无监督部件发现可消除对标签的依赖，但大多数方法无法在各种类别和情境下保持鲁棒性，这限制了其应用范围。为克服这一限制，我们提出了一种更有效的无监督部件发现范式，称为掩码部件自编码器（MPAE）。它首先从输入数据中学习部件描述符和特征图，并从被掩码处理的原图中生成局部特征。随后，基于局部特征与描述符之间的相似性，将掩码区域用所学的部件描述符填充。通过使用未掩码区域的外观特征引导，MPAE对被掩码的局部区域进行修复，使其更好地与实际部件形状对齐。最后，MPAE能够在复杂情境下鲁棒地发现与实际物体形状高度吻合的有意义部件。此外，提出了若干宽松但更有效的约束，使 MPAE 能够在无监督 manner 下识别各种情境和类别中的部件存在，从而为处理遮挡问题和探索跨类别的部件相似性提供了基础。大量实验表明，我们的方法在各种类别和情境下能够稳健地发现有意义的部件。项目代码已公开于 https://github.com/Jiahao-UTS/MPAE。
引用
@article{arxiv.2507.11985,
title = {Unsupervised Part Discovery via Descriptor-Based Masked Image Restoration with Optimized Constraints},
author = {Jiahao Xia and Yike Wu and Wenjian Huang and Jianguo Zhang and Jian Zhang},
journal= {arXiv preprint arXiv:2507.11985},
year = {2025}
}
备注
Accepted to ICCV 2025