细节之中藏魔鬼:面向视频修复的诊断性评估基准
计算机视觉与模式识别
2022-04-26 v2
摘要
近期的视频修复工作在定量评估方面显著增加,但用于衡量性能的视频和掩码内容却相对较少受到关注。尽管诸如相机和背景场景运动等属性会固有地改变任务难度并以不同方式影响方法,现有的评估方案未能对它们加以控制,从而极少提供关于修复失败模式的洞见。为弥补这一差距,我们提出了景观视频修复诊断性评估(DEVIL)基准,其包含两项贡献:(i)一个根据若干关键修复失败模式标注的视频与掩码新数据集,以及(ii)一种评估方案,该方案对以固定内容属性为特征的数据库切片进行采样,并根据重建、真实感和时间一致性质量对每个切片评分。通过揭示由输入内容的特定特征所引起的性能系统性变化,我们这一具有挑战性的基准能够实现针对视频修复方法更具洞察力的分析,并作为该领域一种宝贵的诊断工具。我们的代码和数据可在 https://github.com/MichiganCOG/devil 获取。
引用
@article{arxiv.2105.05332,
title = {The DEVIL is in the Details: A Diagnostic Evaluation Benchmark for Video Inpainting},
author = {Ryan Szeto and Jason J. Corso},
journal= {arXiv preprint arXiv:2105.05332},
year = {2022}
}
备注
Accepted to CVPR 2022