AriEL：用于句子生成的体素编码

将离散数据序列映射到连续空间中的一点，使得通过随机采样检索这些序列变得困难。将输入映射到一个体积会使在测试时检索更为容易，这正是基于变分自编码器（Variational Autoencoder, VAE）的一类方法所遵循的策略。然而，它们同时在优化预测与表示平滑性，迫使二者之间权衡。我们通过在连续空间中均匀采样来生成句子，改进了深度学习中一些标准方法的性能。为此我们提出 AriEL，其在连续空间中构造体积，而无需通过损失函数鼓励体积的创建。我们首先在一个玩具语法上基准测试，该语法可自动评估模型所学及生成的语言。然后，我们在真实人类对话数据集上基准测试。我们的结果表明，对存储信息的随机访问得到显著改善，且我们的方法 AriEL 能够通过随机采样潜空间生成更广泛的正确语言。对于玩具数据集，VAE 性能次之；而对于真实数据集，AE 与 Transformer 次之。这部分支持了将信息编码为体积而非点可带来随机采样下所学信息检索改进的假设。这可带来更好的生成器，我们也讨论了潜在的缺点。