MPC-BERT：一种用于多方对话理解预训练语言模型
计算与语言
2021-06-04 v1
摘要
近年来，多种用于多方对话（MPC）的神经模型在受话人识别、说话人识别和回复预测等多种任务上取得了令人印象深刻的改进。然而，这些现有的MPC方法通常单独表示对话参与者和话语，忽略了MPC中固有的复杂结构，该结构可能提供关键的对话参与者和话语语义，并会增强对话理解过程。为此，我们提出MPC-BERT，一种用于MPC理解的预训练模型，其在一个统一模型中通过若干精心设计的自监督任务来学习谁对谁说了什么。具体而言，这些任务可大致分为（1）对话参与者结构建模，包括回复话语识别、相同说话人搜索和指针一致性区分，以及（2）话语语义建模，包括掩码共享话语恢复和共享节点检测。我们在三个下游任务上评估MPC-BERT，包括受话人识别、说话人识别和回复选择。实验结果表明，MPC-BERT以较大优势优于先前方法，并在两个基准的所有三个下游任务上实现了新的最先进（state-of-the-art）性能。
引用
@article{arxiv.2106.01541,
title = {MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding},
author = {Jia-Chen Gu and Chongyang Tao and Zhen-Hua Ling and Can Xu and Xiubo Geng and Daxin Jiang},
journal= {arXiv preprint arXiv:2106.01541},
year = {2021}
}
备注
Accepted by ACL 2021