基于谐振器网络的神经形态视觉场景理解
计算机视觉与模式识别
2024-06-28 v4 人工智能
神经与进化计算
图像与视频处理
摘要
通过推断生成模型的配置来分析视觉场景，被广泛认为是场景理解中最灵活且最具泛化能力的方法。然而，一个主要问题是推断过程的计算挑战，涉及在物体身份与姿态之间进行的组合搜索。在此我们提出一种神经形态解决方案，利用三个关键概念：(1) 基于复值向量的向量符号架构(VSA)的计算框架；(2) 设计分层谐振器网络(HRN)以分解视觉场景中平移与旋转的非交换变换；(3) 设计多房室脉冲相量神经元模型，用于在神经形态硬件上实现复值谐振器网络。VSA框架使用向量绑定操作形成生成图像模型，其中绑定作为几何变换的等变操作。因此，场景可描述为向量乘积之和，随后可由谐振器网络高效分解以推断物体及其姿态。HRN具有分区架构，其中向量绑定在一个分区内对水平和垂直平移等变，在另一分区内对旋转和缩放等变。该脉冲神经元模型允许将谐振器网络映射到高效低功耗的神经形态硬件上。我们的方法在由经历刚性几何变换与颜色变化的简单2D形状组成的合成场景上得到验证。一篇配套论文展示了相同方法在机器视觉与机器人学真实应用场景中的表现。
引用
@article{arxiv.2208.12880,
title = {Neuromorphic Visual Scene Understanding with Resonator Networks},
author = {Alpha Renner and Lazar Supic and Andreea Danielescu and Giacomo Indiveri and Bruno A. Olshausen and Yulia Sandamirskaya and Friedrich T. Sommer and E. Paxon Frady},
journal= {arXiv preprint arXiv:2208.12880},
year = {2024}
}
备注
23 pages, 8 figures, minor revisions and extended supplementary material