基于字典的可解释与一致性对象解析框架
计算机视觉与模式识别
2025-02-28 v1
摘要
在本工作中，我们提出了 CoCal，一个基于字典式掩码变换器的可解释且一致的对象解析框架。CoCal 围绕对比组件和逻辑约束设计，重新思考了分割中现有的基于聚类的掩码变换器架构；具体而言，CoCal 利用一组字典组件，每个组件明确关联到一个特定的语义类。为推进这一概念，CoCal 引入了与语义层次对齐的字典组件分层表述。这是通过整合层内对比组件和层间逻辑约束实现的。具体而言，CoCal 在每个语义层级采用组件级对比算法，使同一类内的字典组件与不同类的字典组件进行对比。此外，CoCal 通过确保表示特定部分的字典组件比表示其他对象的字典组件更接近其对应对象的组件，来处理逻辑关切，这是通过层间对比学习目标实现的。为进一步增强逻辑关系建模，我们实现了一个受"分配给某部分的像素也应分配给其对应对象"这一原理启发的后处理函数。通过这些创新，CoCal 在 PartImageNet 和 Pascal-Part-108 上建立了新的最先进性能，在部分 mIoU 上分别以 2.08% 和 0.70% 的显著优势超越了先前方法。此外，CoCal 在这些基准测试中表现出显著的对象级指标提升，突显了其不仅能够在更细粒度上优化解析，还能提升整体分割质量的能力。
引用
@article{arxiv.2502.19540,
title = {Dictionary-based Framework for Interpretable and Consistent Object Parsing},
author = {Tiezheng Zhang and Qihang Yu and Alan Yuille and Ju He},
journal= {arXiv preprint arXiv:2502.19540},
year = {2025}
}