深度连续网络
计算机视觉与模式识别
2024-02-05 v1
摘要
卷积神经网络（CNN）和生物视觉的计算模型共享一些基本原理，这开辟了新的研究途径。然而，传统的 CNN 架构基于空间和深度上的离散表示，这无法适应生物复杂性的某些方面，例如连续变化的感受野大小和神经元响应的动态特性，从而阻碍了富有成效的跨领域研究。在此，我们提出了深度连续网络（DCN），它将空间连续滤波器与神经常微分方程（neural ODEs）的连续深度框架相结合。这使我们能够在训练期间学习滤波器的空间支撑，并对特征图的连续演化进行建模，从而将 DCN 与生物模型紧密联系起来。我们证明 DCN 具有通用性，并且高度适用于标准的图像分类和重建问题，在这些问题中，它们提高了参数和数据效率，并允许进行元参数化。我们阐述了 DCN 学习到的尺度分布的生物合理性，并探索了它们在一个受神经科学启发的模式补全任务中的性能。最后，我们通过改变输入对比度来研究 DCN 的一种高效实现方式。
引用
@article{arxiv.2402.01557,
title = {Deep Continuous Networks},
author = {Nergis Tomen and Silvia L. Pintea and Jan C. van Gemert},
journal= {arXiv preprint arXiv:2402.01557},
year = {2024}
}
备注
Presented at ICML 2021