一种用于语言建模的认知正则化器
计算与语言
2021-06-11 v3
摘要
均匀信息密度（UID）假说认为，最优行为的说话者倾向于将信息均匀分布于语言信号之中，该假说作为对某些句法、形态与韵律选择的解释，在心理语言学领域获得了关注。在本工作中，我们探讨是否可将 UID 假说操作化为统计语言建模的归纳偏置。具体而言，我们在训练语言模型的标准 MLE 目标上增加了一个编码 UID 的正则化器。在跨越五个语系的十种语言的实验中，我们发现使用 UID 正则化能持续提升语言模型的困惑度，且在训练数据有限时效果更明显。此外，通过对生成序列的分析，我们发现 UID 正则化的语言模型具有其他可取性质，例如生成文本的词汇多样性更高。我们的结果不仅表明 UID 是语言建模的一种合理归纳偏置，也使用现代 NLP 工具为 UID 假说提供了另一种验证。
引用
@article{arxiv.2105.07144,
title = {A Cognitive Regularizer for Language Modeling},
author = {Jason Wei and Clara Meister and Ryan Cotterell},
journal= {arXiv preprint arXiv:2105.07144},
year = {2021}
}
备注
ACL 2021 Camera-ready (fixed ordering of affiliation emojis)