文本的包容性概念

自然语言处理 (NLP) 研究人员基于书面文本开发语法、意义和通信模型。由于任务和数据差异，不同研究中被视为文本的内容可能存在很大差异。目前缺乏一个系统捕捉这些差异的概念框架。我们认为，明确文本的概念对于可复现和可泛化的 NLP 至关重要。为实现这一目标，我们提出通用术语来讨论文本数据的生成与转换，并引入了一个包含文本源中可用且可用于 NLP 建模的语言和非语言元素的两层分类法。我们应用该分类法调查了将文本概念扩展至保守的以语言为中心观点之外的现有工作。我们概述了 NLP 中新兴的文本包容性方法的关键期望与挑战，并建议将社区层面的报告作为巩固讨论的关键下一步。