基于 RNN 的交互智能体连续句子嵌入的语言覆盖与泛化
计算与语言
2019-11-06 v1 机器学习
摘要
使用循环神经网络（RNNs）的连续句子嵌入，将变长句子编码为固定维向量，常是应用于对话生成等语言任务的架构的主要构建模块。尽管已知这些嵌入能够以纯数据驱动的方式学习语言的某些结构（例如语法），但关于客观评估它们覆盖整个语言空间以及泛化到训练数据语言偏置之外句子的能力的工作极少。利用手动设计的上下文无关文法（CFG）生成与真实三维室内场景内容相关的大规模句子数据集，我们评估了最常见的基于 RNN 的连续句子嵌入的语言覆盖与泛化能力。我们还提出一种基于算术编码的新嵌入方法 AriEL，它非数据驱动，并能将 CFG 中的任何句子高效地编码到连续空间。我们发现基于 RNN 的嵌入欠拟合训练数据，且仅覆盖 CFG 所定义语言的一小部分。它们也未能学习底层 CFG 并泛化到来自同一 CFG 的无偏句子。我们发现 AriEL 提供了一个有启发性的基线。
引用
@article{arxiv.1911.02002,
title = {Language coverage and generalization in RNN-based continuous sentence embeddings for interacting agents},
author = {Luca Celotti and Simon Brodeur and Jean Rouat},
journal= {arXiv preprint arXiv:1911.02002},
year = {2019}
}