DSBERT：基于BERT的无监督对话结构学习
计算与语言
2021-11-10 v1 人工智能
摘要
无监督对话结构学习是自然语言处理中一项重要且有意义的任务。提取出的对话结构与过程有助于分析人类对话，并在对话系统的设计与评估中发挥关键作用。传统对话系统需要专家手动设计对话结构，成本很高。而通过无监督对话结构学习，可以自动获得对话结构，降低开发者构建对话流程的成本。学习到的对话结构可用于促进下游任务系统的对话生成，并提升对话机器人回复的逻辑性与一致性。本文提出一种基于BERT的无监督对话结构学习算法 DSBERT（Dialogue Structure BERT）。与之前的 SOTA 模型 VRNN 和 SVRNN 不同，我们结合 BERT 与 AutoEncoder，能够有效融合上下文信息。为了更好地防止模型陷入局部最优解并使对话状态分布更均匀合理，我们还提出了三种可用于对话结构学习的平衡损失函数。实验结果表明，DSBERT 能生成更贴近真实结构的对话结构，可区分不同语义的句子并将其映射到不同隐状态。
引用
@article{arxiv.2111.04933,
title = {DSBERT:Unsupervised Dialogue Structure learning with BERT},
author = {Bingkun Chen and Shaobing Dai and Shenghua Zheng and Lei Liao and Yang Li},
journal= {arXiv preprint arXiv:2111.04933},
year = {2021}
}