标点恢复在无监督情况下提升结构理解能力

自回归和掩码语言建模等无监督学习目标在生成预训练表示方面占据了重要地位，这些表示被用于从自然语言理解到对话任务的各种下游应用。然而，尽管近期大型语言模型具有令人印象深刻的生成能力，但它们在捕捉文本内的句法或语义结构方面的能力仍然滞后。我们假设，机器在语言表现与语言能力之间的不匹配，归因于通过当前流行的预训练目标对语言结构知识的学习不足。以英语为例，我们展示了将标点恢复作为学习目标可以提升命名实体识别、开放信息抽取、分块和词性标注等结构相关任务的性能。在 18 项实验中的 16 项以及 7 项任务中的 6 项中，标点恢复带来了 $\blacktriangle$$\geq2\%$p 的性能提升。我们的结果表明，标点恢复是一种有效的学习目标，可以提升结构理解能力，并在基础规模模型中产生更鲁棒的结构感知自然语言表示。