基于几何的360°显示球面恰可察觉失真建模
图像与视频处理
2023-06-06 v3
摘要
360°视频因能为用户提供逼真且沉浸式的体验而受到广泛关注。迄今为止，如何准确建模用户在360°显示上的感知仍是一个具有挑战性的问题。在本文中，我们利用360°投影与显示的视觉特性，将流行的恰可察觉差分（just noticeable difference, JND）模型扩展为球面JND（SJND）。首先，我们通过联合考虑空间对比敏感度、亮度自适应与纹理掩蔽效应，提出了一种定量的2D-JND模型。特别地，我们的模型引入了基于熵的区域分类，并对不同类型区域采用不同参数以获得更好的建模性能。其次，我们通过联合利用360°显示中的纬度投影与视场角，将2D-JND模型扩展为SJND。通过此操作，SJND同时反映了人类视觉系统与360°显示的特性。第三，我们的SJND模型在主观测试中更符合用户感知，并且在360°视频压缩中以更少码率展现出对失真的更大容忍度。为进一步检验我们SJND模型的有效性，我们将其嵌入通用视频编码（Versatile Video Coding, VVC）压缩中。与现有最优方法相比，我们的SJND-VVC框架在视觉质量损失可忽略的情况下显著降低了码率。
引用
@article{arxiv.2303.03703,
title = {Geometry-based spherical JND modeling for 360$^\circ$ display},
author = {Hongan Wei and Jiaqi Liu and Bo Chen and Liqun Lin and Weiling Chen and Tiesong Zhao},
journal= {arXiv preprint arXiv:2303.03703},
year = {2023}
}