解释等变表示

潜在表示被广泛用于下游任务，例如深度学习模型的可视化、插值或特征提取。不变和等变神经网络是用于强制归纳偏置的强大且成熟的模型。在本文中，我们证明，在使用潜在表示时，也必须考虑等变模型所施加的归纳偏置。我们展示了不考虑归纳偏置如何导致下游任务性能下降，反之，如何通过使用潜在表示的投影来有效地考虑归纳偏置。我们提出了选择此类投影的原则，并在两个常见示例中展示了使用这些原则的影响：首先，我们研究了一个为分子图生成训练的置换等变变分自编码器；在这里，我们展示了可以设计出在所得不变表示中不造成信息损失的不变投影。接下来，我们研究了一个用于图像分类的旋转等变表示。在这里，我们说明了如何使用随机不变投影来获得具有高度保留信息的不变表示。在这两种情况下，对不变潜在表示的分析都证明优于其等变对应物。最后，我们说明了本文为等变神经网络记录的现象在标准神经网络中也有对应物，其中不变性是通过数据增强来鼓励的。因此，尽管等变模型的经验丰富的开发者可能知道这些模糊性，但我们让更广泛的社区既能了解这些知识，也能获得处理这些模糊性的有效工具。