基于自动加权层表示的视点合成失真估计用于三维视频编码
图像与视频处理
2022-01-10 v1 计算机视觉与模式识别
摘要
近年来，人们研究了多种视点合成失真估计模型，以更好地服务于三维视频编码。然而，这些模型难以定量建模不同层级深度变化、纹理退化与视点合成失真（VSD）之间的关系，而该关系对率失真优化与码率分配至关重要。本文提出了一种基于自动加权层表示的视点合成失真估计模型。首先，根据深度变化层级及其相关的纹理退化定义子视点合成失真（S-VSD）。随后，一组理论推导表明 VSD 可近似分解为各 S-VSD 与其相应权重之积。为获取 S-VSD，提出了一种基于层的 S-VSD 表示，其中所有具有相同深度变化层级的像素以一层来表示，从而在层级别实现高效的 S-VSD 计算。同时，学习一个非线性映射函数以精确表示 VSD 与 S-VSD 之间的关系，在 VSD 估计过程中自动为 S-VSD 提供权重。为学习该函数，构建了包含 VSD 及其相应 S-VSD 的数据集。实验结果表明，一旦获得相关的 S-VSD，利用非线性映射函数学习到的权重即可准确估计 VSD。所提方法在精度与效率上均优于相关的先进方法。所提方法的数据集与源代码将发布于 https://github.com/jianjin008/。
引用
@article{arxiv.2201.02420,
title = {Auto-Weighted Layer Representation Based View Synthesis Distortion Estimation for 3-D Video Coding},
author = {Jian Jin and Xingxing Zhang and Lili Meng and Weisi Lin and Jie Liang and Huaxiang Zhang and Yao Zhao},
journal= {arXiv preprint arXiv:2201.02420},
year = {2022}
}