基于增强主题一致性的预训练Transformer上层Transformer神经文本分割
计算与语言
2021-10-15 v1
摘要
本文提出一种称为Transformer的Transformer上层Transformer框架以执行神经文本分割。它包含两个组件：使用预训练Transformer的底层句子编码器，以及基于句子嵌入的、Transformer架构的上层分割模型。底层组件将在大规模外部语料上通过单句与句对监督NLP任务学到的预训练知识迁移，以对文档的句子嵌入建模。给定句子嵌入后，上层Transformer被训练以恢复分割边界及每句的主题标签。借助多任务损失与预训练知识，Transformer能更好地捕捉同一片段内的语义一致性。实验表明：（1）Transformer在常用语义一致性度量上超越最先进（SOTA）文本分割模型；（2）多数情况下，单句与句对预训练知识均有助于模型性能；（3）在特定语言上预训练的底层句子编码器比在特定领域上预训练的性能更优。
引用
@article{arxiv.2110.07160,
title = {Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence},
author = {Kelvin Lo and Yuan Jin and Weicong Tan and Ming Liu and Lan Du and Wray Buntine},
journal= {arXiv preprint arXiv:2110.07160},
year = {2021}
}