STRAP：基于点监督的结构化物体可供性分割
计算机视觉与模式识别
2023-04-18 v1
摘要
凭借显著的标注节省，点监督已被证明对众多2D和3D场景理解问题有效。这一成功主要归因于结构化的输出空间；即具有高空间亲和力的样本倾向于共享相同标签。秉持这一精神，我们研究基于点监督的可供性分割，该设定继承了一种未探索的双重亲和力——空间亲和力与标签亲和力。所谓标签亲和力，我们将可供性分割视为一个多标签预测问题：一个盘子既可以是被可握住的，也是可盛装的。所谓空间亲和力，我们指一种通用先验，即具有相似视觉特征的邻近像素应共享相同的点标注。为应对标签亲和力，我们设计了一个密集预测网络，通过在新域（即标签共现）中有效密集化标签来增强标签关系。为处理空间亲和力，我们利用Transformer骨干进行全局块交互并采用一种正则化损失。在实验中，我们在具有挑战性的CAD120数据集上对我们的方法进行了基准测试，显示出相对于先前方法的显著性能提升。
引用
@article{arxiv.2304.08492,
title = {STRAP: Structured Object Affordance Segmentation with Point Supervision},
author = {Leiyao Cui and Xiaoxue Chen and Hao Zhao and Guyue Zhou and Yixin Zhu},
journal= {arXiv preprint arXiv:2304.08492},
year = {2023}
}
备注
Code: https://github.com/LeiyaoCui/STRAP