基于多视图融合的对抗性预训练无参考点云质量评估
计算机视觉与模式识别
2024-03-28 v3 多媒体
摘要
无参考点云质量评估(NR-PCQA)旨在自动评估失真点云的感知质量，由于深度神经网络的应用，已取得显著进展。然而，基于学习的NR-PCQA方法受限于标注数据的稀缺，通常在泛化性方面表现次佳。为解决此问题，我们提出一种针对PCQA的新型对抗性预训练框架(CoPA)，使预训练模型能够从无标签数据中学习质量感知表征。为获得表征空间中的锚点，我们将具有不同失真的点云投影到图像，并随机混合其局部图像块，以形成包含多种失真的混合图像。利用生成的锚点，我们通过质量感知对比损失约束预训练过程，遵循感知质量与内容及失真密切相关的原则。此外，在模型微调阶段，我们提出了语义引导的多视图融合模块，以有效整合来自不同视角的投影图像特征。大量实验表明，我们的方法在主流基准数据集上优于最新的PCQA方法。进一步的调查表明，CoPA也能为现有的基于学习的PCQA模型提供益处。
引用
@article{arxiv.2403.10066,
title = {Contrastive Pre-Training with Multi-View Fusion for No-Reference Point Cloud Quality Assessment},
author = {Ziyu Shan and Yujie Zhang and Qi Yang and Haichen Yang and Yiling Xu and Jenq-Neng Hwang and Xiaozhong Xu and Shan Liu},
journal= {arXiv preprint arXiv:2403.10066},
year = {2024}
}