基于偏移非局部搜索的时空注意力
计算机视觉与模式识别
2023-12-05 v2 机器学习
摘要
由于物体在各帧间的运动,高效计算视频的注意力图具有挑战性。虽然标准的非局部搜索在每个查询点周围的小窗口内质量较高,但窗口尺寸小无法适应运动。用于长距离运动的方法使用辅助网络预测从各查询位置偏移的最相似键坐标。然而,即使对于大规模网络,准确预测该偏移流场仍然困难。微小的空间误差会显著影响注意力模块的质量。本文提出一种搜索策略,将非局部搜索的质量与预测偏移的范围相结合。该方法名为偏移非局部搜索(Shifted Non-Local Search),在预测偏移周围执行小型网格搜索以纠正微小空间误差。我们的方法的原地计算消耗的内存比先前工作少10倍,且速度快3倍以上。实验上,纠正微小空间误差将视频帧对齐质量提升了超过3 dB PSNR。我们的搜索改进了现有的时空注意力模块,以整体运行时间增加7.5%的代价使视频去噪结果提升0.30 dB PSNR。我们将时空注意力模块集成到类UNet架构中,在视频去噪上取得了最先进(state-of-the-art)的结果。
引用
@article{arxiv.2309.16849,
title = {Space-Time Attention with Shifted Non-Local Search},
author = {Kent Gauen and Stanley Chan},
journal= {arXiv preprint arXiv:2309.16849},
year = {2023}
}
备注
15 pages, 12 figures