PartGlot：基于语言指称游戏学习形状部件分割
计算机视觉与模式识别
2022-03-31 v2
摘要
我们提出了PartGlot，一种基于部件指称语言学习三维形状几何的语义部件分割的神经框架及相关架构。我们利用如下事实：对形状的语言描述可提供对其部件的先验——因为自然语言在演化中反映了人类对物体组合结构的感知，而这对其识别与使用至关重要。在训练时，我们使用ShapeGlot工作中为其指称游戏收集的几何/语言配对数据，其中说话者生成一段话语以从两个干扰项中区分目标形状，听者需根据该话语找出目标。我们的网络旨在解决该目标区分问题，精心引入了基于Transformer的注意力模块，使输出的注意力能精确高亮语言中描述的语义部件。此外，该网络在三维几何本身上无任何直接监督。令人惊讶的是，我们进一步证明所学部件信息可泛化至训练时未见的形状类别。我们的方法开启了仅从语言学习三维形状部件的可能性，无需大规模部件几何标注，从而便利了标注获取。
引用
@article{arxiv.2112.06390,
title = {PartGlot: Learning Shape Part Segmentation from Language Reference Games},
author = {Juil Koo and Ian Huang and Panos Achlioptas and Leonidas Guibas and Minhyuk Sung},
journal= {arXiv preprint arXiv:2112.06390},
year = {2022}
}
备注
CVPR 2022 (Oral)