稀疏特征共振网络的广义多目标分类与跟踪

在视觉场景理解任务中，捕捉不变性和等变性结构至关重要。虽然神经网络通常被训练以实现平移等变性，但这往往以牺牲对等变信息（例如，精确对象位置）的获取为代价。此外，通过监督学习，等变性并非自然保证，许多体系结构对训练期间未遇到的输入变换无法很好地推广。在本工作中，我们采用基于分析-合成和因式分解的方法，使用共振网络。生成模型描述了包含MNIST数字及其变换（如颜色和位置）的简单场景的构建。共振网络对生成模型进行逆向计算，提供有关特定对象的不变和等变信息。从训练数据中学习的稀疏特征作为一组基，为表示对象的可变形状提供灵活性，使共振网络能够处理来自测试集的以前未见过的数字形状。模块化结构提供一个包含对象形状信息的形状模块，其中已分解平移信息，允许简单的分类器对居中数字进行操作。分类层仅在居中数据上进行训练，所需的训练数据大大减少，整个网络能够在无数据增强的情况下识别任意平移的对象。共振网络的自然注意力机制也允许对包含多个对象的场景进行分析，其中网络动力学选择并居中一次只有一个对象。进一步，特定对象的具体位置信息可从平移模块中提取，我们展示了共振网络可被设计为以像素级精度跟踪多个移动对象。