GANs-NQM：一种基于生成对抗网络的 RGB-D 合成视图无参考质量评估指标
多媒体
2019-03-29 v1 计算机视觉与模式识别
摘要
本文提出了一种基于生成对抗网络（Generative Adversarial Networks, GANs）的 RGB-D（RGB plus image-depth）合成图像无参考（No-Reference, NR）质量指标，称为 GANs-NQM。由于 RGB-D 合成过程中对去遮挡区域的修复失败，捕捉非均匀分布的局部失真并学习其对感知质量的影响，对客观质量指标而言是一项具有挑战性的任务。在我们的研究中，基于 GANs 的特性，我们提出了：i) 一种针对 RGB-D 合成图像的新型 GANs 训练策略，该策略使用现有的大规模计算机视觉数据集而非 RGB-D 数据集；ii) 一种基于训练后的判别器的无参考质量指标，通过学习“失真词袋”（Bag of Distortion Word, BDW）码本和局部失真区域选择器来实现；iii) 一种作为副产品的孔洞填充修复器（即训练后的 GANs 的生成器），用于修复 RGB-D 去遮挡区域。根据在 IRCCyN/IVC DIBR 数据库上的实验结果，所提出的模型优于 state-of-the-art 质量指标，此外，它在实际场景中更具适用性。相应的上下文修复器与其他修复算法相比也展现出了诱人的结果。
关键词
引用
@article{arxiv.1903.12088,
title = {GANs-NQM: A Generative Adversarial Networks based No Reference Quality Assessment Metric for RGB-D Synthesized Views},
author = {Suiyi Ling and Jing Li and Junle Wang and Patrick Le Callet},
journal= {arXiv preprint arXiv:1903.12088},
year = {2019}
}