基于局部语法的歧义消除

许多单词在词性（POS）方面存在歧义。然而，当单词出现在文本中时，这种歧义通常大大减少。消除 POS 歧义涉及使用上下文来减少单词关联的词性数量，这是词性标记的主要挑战之一。POS 标记的 problème 经常出现在自然语言处理中，例如拼写纠正、语法或风格检查、表达识别、语音合成、文本语料库分析等。因此，词性标记系统是许多自然语言处理系统的初始组件。近期许多词性标记系统在文本词性歧义或无法找到唯一正确解时会产生多个解决方案。这些贡献旨在实现零沉默率：单词的正确标记永远不会被丢弃。针对唯一标记每个单词的系统而言，这一目标不现实。本文涉及实现零沉默率目标的词性消歧方法，并介绍其在 Silberztein 的 INTEX 系统（1993）中的实现。我们在此提供该方法的形式描述。我们说明，要在此框架下验证局部消歧语法，仅考虑 transducer 路径是不够的：必须考虑它们之间的相互作用。类似地，如果使用多个 transducer 的组合，结果不能通过单独考虑每个 transducer 来预测。此外，检查 INTEX 初始标记文本时，消歧规则的想法会自然浮现，但语法直觉可能不准确，往往是由于意想不到的构造或歧义。若目标是实现零沉默率，局部语法必须仔细测试。在此需要详细的规格说明来描述语法在应用到文本后会产生什么结果。