何种因素助 Transformer 识别对话结构？上下文、标点与标签在对话行为识别中的重要性
计算与语言
2021-07-07 v1
摘要
对话行为可解释为对话的原子单元，比话语更细粒度，以特定交际功能为特征。将对话转录文本结构化为对话行为序列的能力——包括分段的对话行为识别——对于理解对话至关重要。我们将两种预训练 transformer 模型 XLNet 与 Longformer 应用于英语中的该任务，并在 Switchboard Dialog Act 与 Meeting Recorder Dialog Act 语料库上取得强劲结果，对话行为分割错误率（DSER）分别为 8.4% 与 14.2%。为理解影响对话行为识别的关键因素，我们在不同条件下训练的模型间进行比较分析。我们发现，纳入更宽泛的对话上下文有助于消歧许多对话行为类别，尤其是训练数据中不常见的那些。转录文本中标点的存在对模型性能有巨大影响，详细分析揭示了在无标点时观察到的特定分割模式。最后，我们发现标签集的具体性不影响对话行为分割性能。这些发现对高度依赖可用高质量分段的口语理解应用具有显著实际意义。
引用
@article{arxiv.2107.02294,
title = {What Helps Transformers Recognize Conversational Structure? Importance of Context, Punctuation, and Labels in Dialog Act Recognition},
author = {Piotr Żelasko and Raghavendra Pappagari and Najim Dehak},
journal= {arXiv preprint arXiv:2107.02294},
year = {2021}
}
备注
Accepted for publication in Transactions of the Association of Computational Linguistics. This is a pre-MIT Press publication version and it is subject to change