基于短期和长期注意力融合的视频镜像检测
计算机视觉与模式识别
2024-07-12 v1
摘要
检测来自静态图像的镜像技术在近年来取得了快速发展。然而，这些方法仅针对单张输入图像进行镜像检测。从视频中检测镜像需要进一步考虑帧之间的时间一致性。我们观察到，人类仅凭一两帧的外观特征（如形状、颜色）即可识别出可能是镜像的候选区域。然而，要确保该候选区域确实是镜像（而非图片或窗户），往往需要观察更多帧以获得全局视角。上述观察激发了我们通过融合从短期注意力模块中提取的外观特征与从长期注意力模块中提取的上下文信息来检测镜像的想法。为评估性能，我们构建了一个包含 19,255 帧的 281 个视频的具有挑战性的基准数据集。实验结果表明，我们的方法在该基准数据集上实现了最先进的性能。
引用
@article{arxiv.2407.07999,
title = {Fusion of Short-term and Long-term Attention for Video Mirror Detection},
author = {Mingchen Xu and Jing Wu and Yukun Lai and Ze Ji},
journal= {arXiv preprint arXiv:2407.07999},
year = {2024}
}