日期与地址的神经标准化器

各类文档呈现出多种多样的日期和地址格式，在某些情况下，日期可以完全以全拼形式书写，甚至使用不同类型的分隔符。由于街道、社区、城市和州之间互换的可能性更大，地址的模式紊乱程度甚至更高。在自然语言处理语境下，此类问题通常由 ReGex 或 DateParser 等刚性工具处理，只要预期的输入已预先配置，这些工具就是高效的。当这些算法遇到未预期的格式时，就会产生错误和不需要的输出。为了规避这一挑战，我们提出了一种基于最先进深度神经网络 T5 的解决方案，在某些情况下能以 90% 以上的准确率处理未经预先配置的日期和地址格式。借助该模型，我们的提议为日期和地址的标准化任务带来了泛化能力。我们还使用模拟文本中可能出现的错误的含噪数据来处理该问题。