通过对比式大语言模型精细调优对齐 backchannel 与对话上下文表示

Backchannel（如"yeah"、"mhm"、"right"等）是简短的、非干扰性的反馈信号，其词汇形式与韵律共同传递着实践意义。虽然先前的计算研究主要聚焦于预测backchannel的时机，但词韵形式与意义之间的关系仍鲜有探索。我们提出了一个两个阶段的框架：首先，在对话 transcript 上精细调优大语言模型以获得丰富的上下文表示；其次，学习对话上下文与backchannel 实现之间的联合嵌入空间。我们通过三元相似性判断（韵律相似性与跨词汇相似性）以及上下文-backchannel 适合性任务评估对齐效果。我们的结果表明，所学到的投影显著优于先前方法，在上下文-backchannel 检索方面表现更佳。此外，它们揭示了backchannel形式对扩展对话上下文高度敏感，并且所学嵌入与人类判断的对齐性更好于原始WavLM特征。