Goldilocks 原则：使用显式记忆表示阅读儿童书籍
计算与语言
2016-04-04 v4
摘要
我们引入了一项新的测试，用于检验语言模型在儿童书籍中对意义的捕获程度。与标准的语言建模基准不同，该测试将预测句法功能词的任务与预测承载更多语义内容的低频词的任务区分开来。我们比较了一系列最先进的模型，每个模型都采用了不同的方式来编码之前阅读过的内容。我们表明，在预测语义内容词方面，存储长期上下文显式表示的模型优于最先进的神经语言模型，尽管对于句法功能词并未观察到这一优势。有趣的是，我们发现编码在单个记忆表示中的文本数量对性能有很大影响：在单个词和完整句子之间存在一个不太大也不太小的最佳区间，使得文本中最有意义的信息能够被有效地保留和召回。此外，对此类基于窗口的记忆的注意力可以通过自监督进行有效训练。随后，我们通过将此原则应用于 CNN QA 基准来评估其普适性，该基准涉及在新闻文章的释义摘要中识别命名实体，并取得了最先进的性能。
引用
@article{arxiv.1511.02301,
title = {The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations},
author = {Felix Hill and Antoine Bordes and Sumit Chopra and Jason Weston},
journal= {arXiv preprint arXiv:1511.02301},
year = {2016}
}