通过互信息最小化学习解耦表示以实现感知点云质量评估
计算机视觉与模式识别
2024-11-13 v1
摘要
无参考点云质量评估（NR-PCQA）旨在不依赖原始高质量点云作为参考的情况下，客观评估点云的人类感知质量。随着虚拟现实（VR）和增强现实（AR）等沉浸式媒体应用的快速发展，它变得越来越重要。然而，当前的NR-PCQA模型试图在单一网络中不加区分地学习点云内容和失真表示，忽略了它们对质量信息的不同贡献。为了解决这个问题，我们提出了DisPA，一个用于NR-PCQA的新型解耦表示学习框架。该框架训练一个双分支解耦网络，以最小化点云内容和失真表示之间的互信息（MI）。具体来说，为了完全解耦表示，两个分支采用了不同的理念：内容感知编码器通过掩码自编码策略进行预训练，这可以使编码器从失真点云的渲染图像中捕获语义信息；失真感知编码器以迷你块图作为输入，这迫使编码器关注低级别的失真模式。此外，我们利用一个MI估计器来估计实际MI的紧上界，并进一步最小化它以实现显式的表示解耦。大量的实验结果表明，DisPA在多个PCQA数据集上优于最先进的方法。
引用
@article{arxiv.2411.07936,
title = {Learning Disentangled Representations for Perceptual Point Cloud Quality Assessment via Mutual Information Minimization},
author = {Ziyu Shan and Yujie Zhang and Yipeng Liu and Yiling Xu},
journal= {arXiv preprint arXiv:2411.07936},
year = {2024}
}