接下来是什么？针对人类生成可变性的神经文本生成器不确定性评估
计算与语言
2023-10-23 v2 人工智能
机器学习
摘要
在自然语言生成(NLG)任务中，对于任意输入，多个交际目标是合理的，且任何目标都可以通过多种词汇或生成方式表达出来。我们刻画了人类生成在四种NLG任务中于词汇、句法和语义上的可变程度，并将人类生成可变性关联到偶然不确定性或数据不确定性。随后我们考察由生成系统预测概率分布和解码算法所塑造的输出字符串空间，以探查其不确定性。对于每个测试输入，我们度量生成器对人类生成可变性的校准程度。遵循这一实例级方法，我们分析了NLG模型与解码策略，表明用多个样本且在可能时用多个参考来探查生成器，提供了理解模型不确定性表示所需的细节水平。代码见 https://github.com/dmg-illc/nlg-uncertainty-probes。
引用
@article{arxiv.2305.11707,
title = {What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability},
author = {Mario Giulianelli and Joris Baan and Wilker Aziz and Raquel Fernández and Barbara Plank},
journal= {arXiv preprint arXiv:2305.11707},
year = {2023}
}
备注
Camera ready version for EMNLP 2023