校准你的听者！面向语用说话者的鲁棒基于通信的训练
计算与语言
2021-10-12 v1 人工智能
机器学习
多智能体系统
摘要
为了成为良好的对话伙伴，自然语言处理（NLP）系统应当被训练以产生语境有用的话语。先前的研究探索了使用基于通信的目标来训练 NLP 系统，其中以一个神经听者作为通信伙伴。然而，这些系统通常遭受语义漂移（semantic drift）问题，即习得的语言与自然语言严重偏离。我们提出一种方法，利用神经听者群体来正则化说话者训练。我们首先表明，语言漂移源于神经听者较差的不确定性校准，使其对新颖句子做出高置信度预测。我们探索了基于集成（ensemble）和基于 dropout 的听者群体，发现前者能带来更好的不确定性量化。我们在指称游戏上评估了两种基于群体的目标，并表明具有更好校准的集成方法使说话者能够生成语用话语，同时扩展到大型词汇表并泛化到新游戏和新听者。
引用
@article{arxiv.2110.05422,
title = {Calibrate your listeners! Robust communication-based training for pragmatic speakers},
author = {Rose E. Wang and Julia White and Jesse Mu and Noah D. Goodman},
journal= {arXiv preprint arXiv:2110.05422},
year = {2021}
}
备注
Findings of EMNLP 2021 Code: https://github.com/rosewang2008/calibrate_your_listeners