通过叙述学习：用于零样本对话理解的叙述式预训练
计算与语言
2022-03-22 v1
摘要
理解一段对话要求模型捕捉话语中多样的关键信息，这些信息或分散于不同轮次，或隐含于对话之中。因此，对话理解需要释义、摘要和常识推理等多样能力。为预训练一个零样本对话理解模型的目标，我们开发了一种新颖的叙事引导预训练策略，通过对对话输入中的关键信息进行叙述来学习。然而，用于此种预训练策略的对话-叙事平行语料目前尚不可用。为此，我们首先通过自动对齐电影字幕与其剧情简介构建了一个对话-叙事平行语料。然后我们在该数据上预训练一个 BART 模型，并评估其在四个需要理解的基于对话的任务上的表现。实验结果表明，我们的模型不仅取得了优越的零样本性能，还展现出更强的细粒度对话理解能力。数据和代码可在 https://github.com/zhaochaocs/Diana 获取。
引用
@article{arxiv.2203.10249,
title = {Learning-by-Narrating: Narrative Pre-Training for Zero-Shot Dialogue Comprehension},
author = {Chao Zhao and Wenlin Yao and Dian Yu and Kaiqiang Song and Dong Yu and Jianshu Chen},
journal= {arXiv preprint arXiv:2203.10249},
year = {2022}
}
备注
Accepted at ACL 2022