面向无参考点云质量评估的自监督掩码自编码器 PAME
计算机视觉与模式识别
2024-03-18 v1 多媒体
摘要
无参考点云质量评估(NR-PCQA)旨在自动预测无参考情况下的点云感知质量，由于深度学习模型的应用，已取得显著进展。然而，这些数据驱动的模型受限于标注数据的稀缺，在跨数据集评估时表现不佳。为此，我们提出一种自监督预训练框架，使用掩码自编码器(PAME)帮助模型在无标签情况下学习有用的表征。具体而言，在将点云投影到图像后，PAME采用双分支自编码器，将被掩码化的图像块从失真图像中重建到原始图像块。如此，两个分支可分别从投影后的图像中学习内容感知特征和失真感知特征。在模型微调阶段，所学习的内容感知特征用作指导，融合来自不同视角提取的点云质量特征。大量实验表明，在感知准确性和泛化性方面，我们的方法在主流基准数据集上优于最新的NR-PCQA方法。
引用
@article{arxiv.2403.10061,
title = {PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment},
author = {Ziyu Shan and Yujie Zhang and Qi Yang and Haichen Yang and Yiling Xu and Shan Liu},
journal= {arXiv preprint arXiv:2403.10061},
year = {2024}
}