CoordGate：卷积神经网络中空间变化卷积的高效计算
计算机视觉与模式识别
2024-01-10 v1 图像与视频处理
摘要
光学成像系统由于点扩散函数（PSF）的存在，其分辨率本质上受到限制，该函数对图像施加一种静态但空间变化的卷积。这种退化可以通过卷积神经网络（CNN），特别是去模糊技术来解决。然而，当前的解决方案在高效计算空间变化卷积方面面临一定的局限性。本文提出了 CoordGate，一种新颖的轻量级模块，它利用乘法门控和坐标编码网络，在 CNN 中实现空间变化卷积的高效计算。CoordGate 允许根据滤波器的空间位置对其进行选择性放大或衰减，有效地起到了类似局部连接神经网络的作用。CoordGate 解决方案的有效性在 U-Net 的背景下得到验证，并应用于具有挑战性的图像去模糊问题。实验结果表明，CoordGate 优于传统方法，为各种计算机视觉应用中的 CNN 提供了一种更稳健且具有空间感知能力的解决方案。
引用
@article{arxiv.2401.04680,
title = {CoordGate: Efficiently Computing Spatially-Varying Convolutions in Convolutional Neural Networks},
author = {Sunny Howard and Peter Norreys and Andreas Döpp},
journal= {arXiv preprint arXiv:2401.04680},
year = {2024}
}