梯度残差连接

现有研究将函数梯度的属性与函数近似难度联系起来。受这些见解启发，我们研究如何利用梯度信息来提高神经网络对高频函数的近似能力，我们提出一种基于梯度的残差连接作为标准残差网络中用于跳过连接的恒等连接的补充。我们提供简单的理论直觉，说明为何梯度信息有助于区分输入并提高对快速变化函数的近似。在一个以高频正弦函数为真实目标的合成回归任务中，我们发现常规残差连接难以捕获高频模式。相比之下，我们的梯度残差显著改进了近似质量。随后，我们引入标准残差和梯度残差的凸组合，使网络能够灵活控制其对梯度信息依赖程度。经过在消融研究中验证我们方法的设计选择后，我们进一步在单张图像超分辨率任务中验证了该方法的实用性，该任务中底层函数可能具有高频特性。最后，在图像分类和分割等标准任务中，我们的方法表现出与标准残差网络相当的性能，表明其广泛的实用性。