中文

欣赏视角:面向新视角合成的任务感知评估框架

计算机视觉与模式识别 2025-11-18 v1

摘要

新视角合成(NVS)的目标是生成给定内容从未见视角的真实图像。但我们如何才能信任所生成的图像真正反映了预期的变换?评估其可靠性仍是主要挑战。虽然近期生成模型,特别是基于扩散的方法,显著提升了 NVS 的质量,但现有的评估指标难以判断所生成的图像是否既真实又忠实于源视图和预期视角变换。标准指标,如像素级相似性和分布基准措施,常常误排序错误结果,因为未能捕捉源图像、视角变化与生成输出之间细致的关系。我们提出一种任务感知评估框架,利用来自强大 NVS 基础模型 Zero123 的特征,结合轻量调优步骤以增强判别能力。利用这些特征,我们引入两种互补的评估指标:基于参考的得分 DPRISMD_{\text{PRISM}} 和无参考得分 MMDPRISM\text{MMD}_{\text{PRISM}}。两者均可可靠识别错误的生成结果并根据人类偏好研究对模型进行排序,弥补了 NVS 评估中的根本性空白。我们的框架提供了一种原则且实用的合成质量评估方法,为更可靠的新视角合成进程提供了可能。为进一步支持这一目标,我们将参考无关指标应用于六种 NVS 方法,基于三大基准:Toys4K、Google Scanned Objects (GSO) 和 OmniObject3D,其中 MMDPRISM\text{MMD}_{\text{PRISM}} 产生清晰稳定的排序,得分越低的模型始终表现越强。

关键词

引用

@article{arxiv.2511.12675,
  title  = {Appreciate the View: A Task-Aware Evaluation Framework for Novel View Synthesis},
  author = {Saar Stern and Ido Sobol and Or Litany},
  journal= {arXiv preprint arXiv:2511.12675},
  year   = {2025}
}

备注

3DV 2026. Project page: https://saarst.github.io/appreciate-the-view-website