上下文数值预测的实证探究
计算与语言
2020-11-17 v1 机器学习
摘要
我们对连续文本中上下文数值预测进行了大规模实证探究。具体地，我们考虑两项任务：（1）掩码数值预测——预测句中缺失的数值；（2）数值异常检测——检测句中错误数值。我们尝试将上下文编码器与实数轴上的输出分布进行新颖组合。具体而言，我们引入一套输出分布参数化方法，其融入潜变量以增加表达能力并更好拟合连续文本中数值的自然分布，并将其与基于循环和基于transformer的编码器架构相结合。我们在金融与科学领域两个数值数据集上评估这些模型。我们的发现表明，融入离散潜变量并允许多模态的输出分布在所有数据集上优于简单的基于流的对应方法， yielding更准确的数值预测与异常检测。我们还表明，我们的模型有效利用了文本上下文，并受益于通用无监督预训练。
引用
@article{arxiv.2011.07961,
title = {An Empirical Investigation of Contextualized Number Prediction},
author = {Daniel Spokoyny and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:2011.07961},
year = {2020}
}