从合成动物学习部件分割
计算机视觉与模式识别
2023-12-01 v1
摘要
语义部件分割提供了对对象精细且可解释的理解,从而惠及众多下游任务。然而,详尽标注的需求阻碍了其跨多样对象类型的应用。本文聚焦于从合成动物学习部件分割,利用 Skinned Multi-Animal Linear (SMAL) 模型来扩展由计算机辅助设计(CAD)动物模型生成的现有合成数据。与 CAD 模型相比,SMAL 模型生成的数据具有真实场景中观察到的更广姿态范围。因此,我们的第一个贡献是构建了一个具有更多姿态多样性的老虎与马的合成动物数据集,称为 Synthetic Animal Parts (SAP)。我们随后使用现有语义分割域适应方法,对从 SAP 到 PartImageNet 的合成到真实动物部件分割(称为 SynRealPart)进行基准测试,并作为我们的第二个贡献对其加以改进。具体而言,我们考察了三种合成到真实适应方法,但因两项任务间的固有差异观察到相对性能下降。为此,我们提出了一种简单而有效的方法,称为 Class-Balanced Fourier Data Mixing (CB-FDM)。Fourier Data Mixing 将合成图像与真实图像的频谱幅度对齐,从而使混合图像具有与真实图像更相似的频率内容。我们进一步使用 Class-Balanced Pseudo-Label Re-Weighting 来缓解类别分布不平衡。我们在 SynRealPart 上证明了 CB-FDM 相较先前方法的效能及显著性能提升。值得注意的是,我们的第三个贡献是揭示从合成老虎与马学习到的部件可迁移至 PartImageNet 中所有四足动物,进一步凸显了动物部件分割的效用与潜在应用。
引用
@article{arxiv.2311.18661,
title = {Learning Part Segmentation from Synthetic Animals},
author = {Jiawei Peng and Ju He and Prakhar Kaushik and Zihao Xiao and Jiteng Mu and Alan Yuille},
journal= {arXiv preprint arXiv:2311.18661},
year = {2023}
}