面向对话理解的结构化预训练
计算与语言
2021-05-25 v1 人工智能
摘要
预训练语言模型（PrLMs）因具备从自监督预训练中习得通用语言表示的强大能力而展现出优越性能。然而，即便借助强大的 PrLMs，仍难以从由说话人感知话语间关联所丰富的对话文本中有效捕获任务相关知识。本工作中，我们提出 SPIDER（Structural Pre-traIned DialoguE Reader，结构化预训练对话阅读器）以捕获对话专属特征。为模拟类对话特征，我们在原始语言模型目标之外提出两个训练目标：1）话语顺序还原，预测对话上下文中被置换话语的顺序；2）句子骨架正则化，正则化模型以改进所总结主谓宾三元组的事实正确性。在广泛使用对话基准上的实验结果验证了新引入自监督任务的有效性。
引用
@article{arxiv.2105.10956,
title = {Structural Pre-training for Dialogue Comprehension},
author = {Zhuosheng Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:2105.10956},
year = {2021}
}
备注
Accepted by ACL-IJCNLP 2021 main conference