拓扑VAE学习等变胶囊

本工作旨在桥接神经网络中拓扑组织与等变性的概念。为此，我们引入拓扑VAE：一种高效训练具有拓扑组织潜变量的深度生成模型的新方法。我们展示该模型确实在MNIST上根据其显著特征（如数字类别、宽度与风格）组织其激活。此外，通过随时间拓扑组织（即时间相干性），我们演示如何针对观测到的变换输入序列鼓励预定义的潜空间变换算子——一种无监督学习等变性的原始形式。我们证明该模型直接从序列中成功学习到一组近似等变特征（即“胶囊”），并在相应变换的测试序列上取得更高的似然。等变性通过测量推断网络与序列变换的近似交换性来定量验证。最后，我们展示对复杂变换的近似等变性，扩展了现有群等变神经网络的能力。