生成式部分视觉-触觉融合物体聚类

由于触觉模态的引入能有效提升聚类性能，视觉-触觉融合感知用于物体聚类近期已取得显著进展。然而，由于数据采集过程中的遮挡与噪声，缺失数据（即部分数据）问题时有发生。现有多数部分多视图聚类方法因异质模态挑战未能很好解决该问题。直接套用这些方法不可避免地会带来负面效应并进一步损害性能。为应对上述挑战，我们提出一种用于物体聚类的生成式部分视觉-触觉融合（GPVTF）框架。具体而言，我们首先分别从部分视觉与触觉数据中提取部分视觉与触觉特征，并在模态特定特征子空间中编码所提取特征。随后构建条件跨模态聚类生成对抗网络（GAN），以一模态为条件合成另一模态，从而通过对抗学习补偿缺失样本并自然对齐视觉与触觉模态。最后，采用两个基于伪标签的 KL 散度损失来更新相应的模态特定编码器。在三个公开视觉-触觉数据集上的大量对比实验证明了我们方法的有效性。