人工库尔曼振荡神经元

在神经科学和人工智能领域，长期以来已知“绑定”（binding）现象导致神经元间的竞争学习，其中表征在深层网络中被压缩，以表示更抽象的概念。近期还假设，动态（时空）表征在神经科学和人工智能中发挥重要作用。基于这些想法，我们引入人工库尔曼振荡神经元（Artificial Kuramoto Oscillatory Neurons, AKOrN）作为阈值单元的动力学替代方案，可与任意连接设计兼容，如完全连接、卷积或注意力机制。我们的泛化库尔曼更新通过神经元的同步动力学将其绑定在一起。我们展示，这一想法在广泛的任务范围内提供了性能提升，包括无监督目标发现、对抗鲁棒性、校准不确定性量化以及推理。我们认为，这些实证结果表明，我们必须重新思考神经表征最基本层面的假设，特别是显示出动态表征的重要性。代码：https://github.com/autonomousvision/akorn 项目页面：https://takerum.github.io/akorn_project_page/。