用于不变多模态 Halle Berry 神经元的深度稀疏编码
计算机视觉与模式识别
2018-06-14 v2
摘要
深度前馈卷积神经网络（CNN）已几乎遍及所有机器学习和计算机视觉挑战；然而，CNN 的进展可以说已到达工程饱和点，增量式创新仅带来微小的性能提升。尽管有证据表明在狭义定义的任务上物体分类已达到人类水平，但对于通用应用，生物视觉系统远优于任何计算机。研究表明，前馈深度神经网络中存在许多对哺乳动物视觉至关重要的缺失组件。大脑并非仅以前馈方式工作，而是所有神经元彼此竞争；神经元以自下而上和自上而下的方式整合信息，并在建模过程中纳入期望与反馈。此外，我们的视觉皮层与顶叶协同工作，整合来自多种模态的感官信息。在我们的工作中，我们试图通过引入受生物学启发的稀疏性、自上而下反馈和侧抑制概念来改进标准前馈深度学习模型。我们将我们的模型定义为使用分层结构的稀疏编码问题。我们求解该稀疏编码问题，并附加一个自上而下反馈误差来驱动神经网络的动力学。在构建和观察我们模型的行为时，我们惊奇地发现自然涌现了模仿人脑中“Halle Berry 神经元”的多模态不变神经元。此外，我们对多模态信号的稀疏表示在常见视觉和机器学习任务中展现出优于标准前馈联合嵌入的定性与定量表现。
引用
@article{arxiv.1711.07998,
title = {Deep Sparse Coding for Invariant Multimodal Halle Berry Neurons},
author = {Edward Kim and Darryl Hannan and Garrett Kenyon},
journal= {arXiv preprint arXiv:1711.07998},
year = {2018}
}