NVS-SQA：探索无参考的神经合成场景的自监督质量表示学习
计算机视觉与模式识别
2025-10-28 v3 人工智能
人机交互
多媒体
图像与视频处理
摘要
神经视角合成（NVS），如NeRF和3D高斯泼溅，能够从稀疏视角有效创建逼真场景，通常通过PSNR、SSIM和LPIPS等质量评估方法进行评价。然而，这些将合成视图与参考视图进行比较的全参考方法可能无法完全捕捉神经合成场景（NSS）的感知质量，特别是由于密集参考视图的有限可用性。此外，获取人类感知标签的挑战阻碍了大规模标记数据集的创建，可能导致模型过拟合和泛化能力降低。为了解决这些问题，我们提出了NVS-SQA，一种通过自监督学习无参考质量表示的方法，不依赖人类标签。传统的自监督学习主要依赖于“相同实例，相似表示”的假设和大量数据集。然而，鉴于这些条件在NSS质量评估中不适用，我们采用启发式线索和质量分数作为学习目标，并采用专门的对比对准备过程来提高学习的有效性和效率。结果表明，NVS-SQA以较大优势优于17种无参考方法（即，在SRCC上平均比第二名高109.5%，在PLCC上高98.6%，在KRCC上高91.5%），甚至在所有评估指标上超过16种全参考方法（即，在SRCC上比第二名高22.9%，在PLCC上高19.1%，在KRCC上高18.6%）。
引用
@article{arxiv.2501.06488,
title = {NVS-SQA: Exploring Self-Supervised Quality Representation Learning for Neurally Synthesized Scenes without References},
author = {Qiang Qu and Yiran Shen and Xiaoming Chen and Yuk Ying Chung and Weidong Cai and Tongliang Liu},
journal= {arXiv preprint arXiv:2501.06488},
year = {2025}
}
备注
Accepted by TPAMI