PIM：基于感知重要性图的视频编码
图像与视频处理
2023-04-11 v2
摘要
人类感知是有损视频压缩的核心，过去二十年间已开发出众多用于感知质量评估与改善的方法。在感知质量的判定中，视频的不同时空区域对人类观看者的相对重要性各不相同。然而，由于推断甚至收集此类细粒度信息极具挑战性，除低级启发式方法外，它们通常未在压缩过程中被使用。我们提出了一个框架，以促进对压缩视频中细粒度主观重要性的研究，随后我们利用该框架来改进现有视频编解码器（x264）的率失真性能。本工作的贡献有三方面：（1）我们引入了一个网络工具，通过让用户在编码视频上交互式地绘制时空图，实现细粒度感知重要性的可扩展收集；（2）我们使用该工具收集了一个包含 178 个视频的数据集，共计 14443 帧带有视频上人工标注的时空重要性图；（3）我们使用精心整理的数据集训练了一个轻量级机器学习模型，该模型能够预测这些时空重要性区域。我们通过一项主观研究表明，在考虑重要性图的情况下对数据集中的视频进行编码，可以在相同比特率下获得更高的感知质量，基于重要性图编码的视频被选中的频率是基线视频的 。类似地，我们展示了对于测试集中的 18 个视频，由我们模型预测的重要性图能带来更高感知质量的视频，在相同比特率下被选中的频率是基线视频的 。
引用
@article{arxiv.2212.10674,
title = {PIM: Video Coding using Perceptual Importance Maps},
author = {Evgenya Pergament and Pulkit Tandon and Oren Rippel and Lubomir Bourdev and Alexander G. Anderson and Bruno Olshausen and Tsachy Weissman and Sachin Katti and Kedar Tatwawadi},
journal= {arXiv preprint arXiv:2212.10674},
year = {2023}
}