基于近似隐式微分的多重集等变集合预测
机器学习
2022-02-07 v2 机器学习
摘要
深度学习中大多数集合预测模型使用集合等变操作，但它们实际上处理的是多重集。我们证明集合等变函数无法表示多重集上的某些函数，因此引入更合适的多重集等变概念。我们确认现有的深度集合预测网络（DSPN）可以是多重集等变的而不受集合等变的阻碍，并通过近似隐式微分对其改进，从而在更快且节省内存的同时实现更好的优化。在一系列玩具实验中，我们表明多重集等变的视角是有益的，且我们对 DSPN 的改动在多数情况下取得了更好的结果。在 CLEVR 物体属性预测上，由于隐式微分带来的优势，我们在最严格评估指标之一上将最先进的 Slot Attention 从 8% 大幅改进至 77%。
引用
@article{arxiv.2111.12193,
title = {Multiset-Equivariant Set Prediction with Approximate Implicit Differentiation},
author = {Yan Zhang and David W. Zhang and Simon Lacoste-Julien and Gertjan J. Burghouts and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2111.12193},
year = {2022}
}
备注
Published at International Conference on Learning Representations (ICLR) 2022