通过置换对抗网络学习集合上的函数
机器学习
2020-01-13 v2 机器学习
摘要
在本文中，我们考虑学习集合上的函数的问题，即对于输入集合元素的置换保持不变性的函数。现有的对单个元素嵌入进行池化的方法对于困难函数可能 necessitate 极大的嵌入维度。我们通过允许标准神经网络（如 LSTM）简洁地刻画集合上的函数来应对这一挑战。然而，为了确保相对于集合元素置换的不变性，我们提出了一种称为 SPAN 的新颖架构，它同时学习该函数以及每个输入集合的对抗性或最坏情况置换。该学习问题归结为一个极小极大优化问题，通过一种简单的交替块坐标下降技术求解。我们在多种集合学习任务上进行了广泛实验，并证明 SPAN 学习到近乎置换不变的函数，同时在测试数据上保持准确率。在取自统计学、图函数与线性代数领域的多种任务上，我们表明我们的方法可以显著优于 DeepSets 和 Janossy Pooling 等最先进方法。最后，我们展示了一个案例研究，说明学习集合函数如何帮助提取推荐系统的强大特征，并表明该方法在真实世界推荐系统上比精心手工调优的特征准确率高出多达 2%。
引用
@article{arxiv.1907.05638,
title = {Learning Functions over Sets via Permutation Adversarial Networks},
author = {Chirag Pabbaraju and Prateek Jain},
journal= {arXiv preprint arXiv:1907.05638},
year = {2020}
}