DEformer：一种顺序无关的分布估计 Transformer
机器学习
2021-07-13 v2
摘要
顺序无关自回归分布（密度）估计（OADE），即特征可按任意顺序出现的自回归分布估计，是生成式机器学习中的一个挑战性问题。先前关于 OADE 的工作通过将每个特征分配到输入向量中一个不同的固定位置来编码特征身份。因此，为这些输入构建的架构必须有策略地掩码输入或模型权重，以学习各种条件分布，从而以顺序无关的方式推断数据集的完整联合分布。在本文中，我们提出了一种编码特征身份的替代方法，将每个特征的身份与其值一同包含在输入中。这种特征身份编码策略使得为序列数据设计的神经架构无需修改即可应用于 OADE 任务。作为概念验证，我们表明在此输入上训练的 Transformer（我们称之为“DEformer”，即分布估计 Transformer）能够有效建模 binarized-MNIST，在保持完全顺序无关的同时，逼近固定顺序自回归分布估计算法的性能。此外，我们发现 DEformer 在建模表格数据集时超越了近期基于流的架构的性能。
引用
@article{arxiv.2106.06989,
title = {The DEformer: An Order-Agnostic Distribution Estimating Transformer},
author = {Michael A. Alcorn and Anh Nguyen},
journal= {arXiv preprint arXiv:2106.06989},
year = {2021}
}
备注
Poster at the Third Workshop on Invertible Neural Networks, Normalizing Flows, and Explicit Likelihood Models (ICML 2021)