TraDE：用于密度估计的 Transformer
机器学习
2020-10-16 v2 机器学习
摘要
我们提出 TraDE，一种基于自注意力的自回归密度估计架构，可处理连续与离散值数据。我们的模型使用带惩罚的最大似然目标进行训练，这确保了密度估计的样本与训练数据分布相似。自注意力的使用意味着模型在自回归过程中无需保留超出每个协变量所需的条件充分统计量。在标准表格与图像数据基准上，TraDE 比归一化流估计器和循环自回归模型等现有方法产生了显著更好的密度估计。然而，在留出数据上的对数似然仅部分反映了这些估计在真实世界应用中的有用程度。为了系统评估密度估计器，我们提出了一套任务，例如使用生成样本进行回归、分布外检测以及对训练数据中噪声的鲁棒性，并证明 TraDE 在这些场景中表现良好。
引用
@article{arxiv.2004.02441,
title = {TraDE: Transformers for Density Estimation},
author = {Rasool Fakoor and Pratik Chaudhari and Jonas Mueller and Alexander J. Smola},
journal= {arXiv preprint arXiv:2004.02441},
year = {2020}
}