从移动相机视频评估点云：一种无参考指标
计算机视觉与模式识别
2023-12-07 v3 图像与视频处理
摘要
点云是三维（3D）内容最广泛使用的数字表示格式之一，其视觉质量可能在制作过程中的噪声与几何偏移失真，以及传输过程中的压缩与下采样失真下受损。为应对点云质量评估（PCQA）的挑战，已提出许多 PCQA 方法通过评估渲染的静态 2D 投影来评价点云的视觉质量水平。尽管此类基于投影的 PCQA 方法借助成熟的图像质量评估（IQA）方法取得了有竞争力的性能，它们忽视了 3D 模型也以动态观看方式被感知，其中视点根据渲染设备的反馈持续改变。因此，本文中我们从移动相机视频评估点云，并探索利用视频质量评估（VQA）方法处理 PCQA 任务的途径。首先，我们通过在若干圆形路径上绕点云旋转相机生成所捕获的视频。然后，我们分别使用可训练的 2D-CNN 与预训练的 3D-CNN 模型从所选关键帧和视频片段中提取空间与时间质量感知特征。最后，点云的视觉质量由视频质量值表示。实验结果表明，所提方法能有效预测点云的视觉质量水平，甚至可与全参考（FR）PCQA 方法竞争。消融研究进一步验证了所提框架的合理性，并确认了通过动态观看方式提取的质量感知特征所作的贡献。代码见 https://github.com/zzc-1998/VQA_PC。
引用
@article{arxiv.2208.14085,
title = {Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric},
author = {Zicheng Zhang and Wei Sun and Yucheng Zhu and Xiongkuo Min and Wei Wu and Ying Chen and Guangtao Zhai},
journal= {arXiv preprint arXiv:2208.14085},
year = {2023}
}