FloLPIPS：一种用于帧插值的定制视频质量指标
图像与视频处理
2023-06-23 v2 计算机视觉与模式识别
摘要
视频帧插值（VFI）是许多视频处理应用中的有用工具。近年来，它也被应用于视频压缩领域，以增强传统视频编解码器与基于学习的压缩架构。尽管近年来对改进帧插值算法的关注不断增加，插值内容的感知质量评估仍是一个开放的研究领域。在本文中，我们提出一种用于 VFI 的定制全参考视频质量指标 FloLPIPS，其构建于流行的感知图像质量指标 LPIPS 之上，LPIPS 在提取的图像特征空间中捕捉感知退化。为提升 LPIPS 评估插值内容的性能，我们通过使用时间失真（借助光流比较）对特征差异图加权，重新设计了其空间特征聚合步骤。在包含 180 个具有各类帧插值伪影的测试序列的 BVI-VFI 数据库上评估，FloLPIPS 相较于 12 个流行质量评估器在与主观真值的相关性上表现出更优（具统计显著性）的性能。为促进 VFI 质量评估的进一步研究，我们的代码公开于 https://danier97.github.io/FloLPIPS。
引用
@article{arxiv.2207.08119,
title = {FloLPIPS: A Bespoke Video Quality Metric for Frame Interpoation},
author = {Duolikun Danier and Fan Zhang and David Bull},
journal= {arXiv preprint arXiv:2207.08119},
year = {2023}
}