“不，他们并没有”：预训练语言模型中的对话回应动态
计算与语言
2022-10-07 v1
摘要
语言能力的核心组成部分之一是能够识别话语中的相关成分并作出恰当回复。本文考察预训练语言模型在此类对话回应敏感性上的程度，开展一系列实验，特别关注对涉及议题性（at-issueness）与省略（ellipsis）现象的动力学敏感性。我们发现模型对嵌入从句的特殊作用表现出明确敏感性，且普遍偏好针对先前话语主句内容的回应。然而，结果表明在捕捉针对议题性与非议题性内容的全部动力学范围方面，趋势混杂且总体偏弱。此外，模型在掌握支配省略的动力学上存在根本局限，且回应选择显示出明显受表层因素干扰，其影响压倒了原则性话语约束的作用。
引用
@article{arxiv.2210.02526,
title = {"No, they did not": Dialogue response dynamics in pre-trained language models},
author = {Sanghee J. Kim and Lang Yu and Allyson Ettinger},
journal= {arXiv preprint arXiv:2210.02526},
year = {2022}
}
备注
12 pages, 8 figures, COLING 2022, see https://github.com/sangheek16/dialogue-response-dynamics for codes and material