面向新视角合成的非对齐参考图像质量评估
计算机视觉与模式识别
2025-11-12 v1
摘要
在缺乏像素级对齐真实参考基准的情况下，评估新视角合成（NVS）图像的感知质量仍是关键挑战。全参考图像质量评估（FR-IQA）方法在错位情况下失效，而无参考图像质量评估（NR-IQA）方法在泛化性方面难以满足。本文提出一种针对 NVS 的非对齐参考（NAR-IQA）框架，假设参考视图共享部分场景内容但缺乏像素级对齐。我们构建了包含合成失真的大规模图像数据集，聚焦于时间区域感兴趣部位（TROI），以训练 NAR-IQA 模型。该模型基于对比学习框架，集成 LoRA 增强的 DINOv2 嵌入，并受现有 IQA 方法监督。我们仅在合成生成的失真上进行训练，刻意避免对特定真实 NVS 样本的过拟合，从而提升模型的泛化能力。我们的模型在对齐和非对齐参考基准上均优于最先进的 FR-IQA、NR-IQA 和 NAR-IQA 方法，取得稳健的性能。我们还开展了一项新颖的用户研究，收集关于在 NVS 中观看非对齐参考时的主观偏好数据。我们发现，所提出的质量预测模型与收集的主观评分之间存在强烈相关性。关于数据集和代码，请访问我们的项目页面：https://stootaghaj.github.io/nova-project/
引用
@article{arxiv.2511.08155,
title = {Non-Aligned Reference Image Quality Assessment for Novel View Synthesis},
author = {Abhijay Ghildyal and Rajesh Sureddi and Nabajeet Barman and Saman Zadtootaghaj and Alan Bovik},
journal= {arXiv preprint arXiv:2511.08155},
year = {2025}
}