VADER:视频对齐、差分与检索
计算机视觉与模式识别
2023-03-28 v2
摘要
我们提出 VADER,一种时空匹配、对齐与变化摘要方法,用于帮助打击通过被操纵视频传播的错误信息。VADER 使用鲁棒视觉描述子并在自适应分块视频内容上进行可扩展搜索,将部分视频片段与候选视频进行匹配和粗对齐。随后一个基于 transformer 的对齐模块细化查询片段在匹配视频中的时间定位。一个时空比较模块识别对齐内容间的操纵区域,且对任意由残余时间未对齐或内容非编辑性变化所产生的伪影具有不变性。将视频鲁棒地匹配到可信来源,能够对视频来源得出结论,从而对所见内容做出知情的信任决策。
引用
@article{arxiv.2303.13193,
title = {VADER: Video Alignment Differencing and Retrieval},
author = {Alexander Black and Simon Jenni and Tu Bui and Md. Mehrab Tanjim and Stefano Petrangeli and Ritwik Sinha and Viswanathan Swaminathan and John Collomosse},
journal= {arXiv preprint arXiv:2303.13193},
year = {2023}
}