基于Transformer的条件集合生成
计算机视觉与模式识别
2020-07-02 v2 机器学习
摘要
集合是唯一元素的无序集合——然而许多生成集合的机器学习模型施加了隐式或显式的排序。由于模型性能可能依赖于排序的选择，任何特定的排序都可能导致次优结果。一种替代方案是使用置换等变的集合生成器，其不指定排序。此类生成器的一个例子是DeepSet Prediction Network (DSPN)。我们引入了Transformer Set Prediction Network (TSPN)，一种基于transformer的灵活置换等变集合预测模型，它建立在DSPN之上，并在预测集合元素的质量及其预测大小的准确性方面优于DSPN。我们在MNIST-as-point-clouds (SET-MNIST)上测试了我们的模型用于点云生成，并在CLEVR上用于目标检测。
引用
@article{arxiv.2006.16841,
title = {Conditional Set Generation with Transformers},
author = {Adam R Kosiorek and Hyunjik Kim and Danilo J Rezende},
journal= {arXiv preprint arXiv:2006.16841},
year = {2020}
}
备注
6 pages, 6 figures, ICML 2020 Workshop on Object-Oriented Learning