MM-PCQA：面向无参考点云质量评估的多模态学习
计算机视觉与模式识别
2023-04-25 v2 图像与视频处理
摘要
由于点云视觉应用日益增多且期望为用户提供高性价比和高质量的体验，点云的视觉质量受到极大重视。回顾点云质量评估（PCQA）方法的发展，视觉质量通常利用单模态信息进行评价，即或从 2D 投影中提取，或从 3D 点云中提取。2D 投影包含丰富的纹理与语义信息，但高度依赖视点；而 3D 点云对几何失真更敏感且视点不变。因此，为兼顾点云与投影图像模态的优势，我们提出一种以多模态方式进行的新型无参考点云质量评估（NR-PCQA）指标。具体而言，我们将点云拆分为子模型以表示局部几何失真（如点位移与下采样）。随后将 point clouds 渲染为 2D 图像投影以提取纹理特征。为此，子模型与投影图像分别使用基于点与基于图像的神经网络进行编码。最后，采用对称跨模态注意力融合多模态质量感知信息。实验结果表明，我们的方法优于所有对比的最先进方法，并大幅领先于此前的 NR-PCQA 方法，凸显了所提方法的有效性。代码见 https://github.com/zzc-1998/MM-PCQA。
引用
@article{arxiv.2209.00244,
title = {MM-PCQA: Multi-Modal Learning for No-reference Point Cloud Quality Assessment},
author = {Zicheng Zhang and Wei Sun and Xiongkuo Min and Quan Zhou and Jun He and Qiyuan Wang and Guangtao Zhai},
journal= {arXiv preprint arXiv:2209.00244},
year = {2023}
}