基于块的随机注意力机制用于图像编辑
计算机视觉与模式识别
2024-05-24 v4
摘要
近年来，注意力机制在深度学习中变得至关重要。这些非局部操作类似于图像处理中传统的基于块的方法，是对局部卷积的补充。然而，计算完整的注意力矩阵是一个代价高昂的步骤，具有巨大的内存和计算负担。这些限制制约了网络架构与性能，尤其是对于高分辨率图像的情况。我们提出了一种基于随机算法 PatchMatch 的高效注意力层，该算法用于确定近似最近邻。我们将所提出的层称为“基于块的随机注意力层”（PSAL）。此外，我们提出了基于块聚合的不同方法，以确保 PSAL 的可微性，从而允许包含我们层的任何网络进行端到端训练。PSAL 内存占用小，因此可扩展到高分辨率图像。它在不牺牲最近邻的空间精度和全局性的情况下保持这一占用，这意味着它可以轻松插入深度架构的任何层级，甚至较浅的层级。我们在多个图像编辑任务上展示了 PSAL 的实用性，例如图像修复、引导图像上色和单图像超分辨率。我们的代码可在 https://github.com/ncherel/psal 获取。
引用
@article{arxiv.2202.03163,
title = {Patch-Based Stochastic Attention for Image Editing},
author = {Nicolas Cherel and Andrés Almansa and Yann Gousseau and Alasdair Newson},
journal= {arXiv preprint arXiv:2202.03163},
year = {2024}
}
备注
17 pages, 12 figures. Accepted version for publication in Computer Vision and Image Understanding (CVIU)