用于集合建模的可交换神经 ODE
机器学习
2020-08-07 v1 机器学习
摘要
对由一组向量构成的实例（如点云）进行推理，需要考量元素间集合内的依赖特征。然而，由于此类实例是无序的，当输入顺序被置换时，元素特征应保持不变。这一性质，即置换等变性，对大多数神经架构而言是一项具有挑战性的约束。尽管近期工作提出了全局池化与基于注意力的解决方案，这些方法在实际捕捉内部依赖关系的方式上可能受限。本工作中我们提出一种更通用的表述，通过常微分方程 (ODE) 实现置换等变性。我们提出的模块，可交换神经 ODE (ExNODE)，可无缝应用于判别与生成任务。我们还将集合建模扩展到时间维度，并提出了一种基于 VAE 的时间集合建模模型。大量实验证明了我们的方法相对于强基线的高效性。
引用
@article{arxiv.2008.02676,
title = {Exchangeable Neural ODE for Set Modeling},
author = {Yang Li and Haidong Yi and Christopher M. Bender and Siyuan Shan and Junier B. Oliva},
journal= {arXiv preprint arXiv:2008.02676},
year = {2020}
}