最优子集预言机下的神经集合函数学习
机器学习
2023-05-24 v4
摘要
在许多应用中，如产品推荐和 AI 辅助药物发现中的化合物筛选，学习神经集合函数变得越来越重要。现有工作大多研究在函数值预言机下的集合函数学习方法，然而这需要昂贵的监督信号。这使得在仅有最优子集（OS）预言机下的弱监督应用中不切实际，而对此的研究却被惊人地忽视了。在这项工作中，我们提出了一个原则性且实用的极大似然学习框架，称为 EquiVSet，它同时满足在 OS 预言机下学习集合函数的以下需求：i) 被建模的集合质量函数的置换不变性；ii) 允许变化的基集；iii) 最小先验；以及 iv) 可扩展性。我们框架的主要组成部分包括：集合质量函数的基于能量处理、处理置换不变性的 DeepSet 风格架构、平均场变分推断及其摊销变体。得益于这些先进架构的优雅结合，在三个真实世界应用（包括 Amazon 产品推荐、集合异常检测和用于虚拟筛选的化合物筛选）上的实证研究表明，EquiVSet 大幅优于基线方法。
引用
@article{arxiv.2203.01693,
title = {Learning Neural Set Functions Under the Optimal Subset Oracle},
author = {Zijing Ou and Tingyang Xu and Qinliang Su and Yingzhen Li and Peilin Zhao and Yatao Bian},
journal= {arXiv preprint arXiv:2203.01693},
year = {2023}
}