细调语言模型中回声语与填充词的表示研究

回声语和填充词是对话中的重要语言表达，但在现代基于Transformer的语言模型（LMs）中常被视为需要跳过的'噪声'。在此，我们使用三种细调策略在英语和日语的三种对话语料库上研究它们在LMs中的表示，这些语料库同时保留并标注了回声语和填充词。这使我们能够研究细调如何帮助LMs学习这些表示。我们首先对学习到的回声语和填充词表示进行聚类分析，发现细调模型的表示中轮廓系数（silhouette scores）有所提高，这表明细调使LMs能够区分不同回声语和填充词使用中的细微语义变化。我们还采用自然语言生成指标和定性分析来验证细调LMs产生的语句与人类产生的语句更为接近。我们的发现表明将通用LMs转变为能够更充分地生成类人语言的对话LMs的潜力。