高效且可解释的实体追踪神经模型

一个自然语言模型要理解一部小说（如《指环王》）需要什么？除其他外，这样的模型必须能够：(a) 在文本中引入新角色（实体）时识别并记录它们及其属性；(b) 识别先前引入角色的后续指代并更新其属性。这种实体追踪问题对于语言理解至关重要，因而对 NLP 中诸如问答、摘要等广泛的下游应用十分有用。在本论文中，我们关注促进实体追踪模型使用的两个关键问题：(i) 将实体追踪模型扩展到长文档（如小说）；(ii) 将实体追踪整合进语言模型。近来将语言技术应用于长文档已引起关注，但计算限制是当前方法扩展的重要瓶颈。本论文认为，通过计算高效的实体追踪模型可借由从预训练语言模型导出的丰富、固定维向量表示来表征实体，并利用实体的短暂性来开发。我们也主张将实体追踪整合进语言模型，因为这将允许：(i) 鉴于当前预训练语言模型在 NLP 应用中的普遍使用而获得更广泛的应用；(ii) 更易采用，因为替换一个新的预训练语言模型远比集成一个独立的实体追踪模型容易。