想象即所需！用于抽象序列建模的弯曲对比学习及其在长短时对话规划中的应用
计算与语言
2023-06-28 v2
摘要
受时空曲率（Einstein, 1921）启发，我们引入弯曲对比学习（CCL），一种用于学习多轮对话中话语对之间相对轮次距离的表示学习技术。所得的双编码器模型可通过将目标话语和相应回复候选投影至潜空间，以零样本方式引导 transformer 作为回复排序模型朝向某一目标。此处余弦相似度指示候选话语相对于对应目标的距离/可达性。此外，我们探究这些前向蕴含的语言表示如何能通过蕴含强度（即由其个体成员（分别编码）的余弦相似度）作为弯曲空间中的涌现属性来用于评估序列的可能性。这些非局部属性使我们能够想象对话中未来模式的可能性，具体是通过在给定对话上下文下对多轮之外的未来目标话语进行排序/识别。作为我们分析的一部分，我们研究了使对话可规划或不可规划的特征，并发现 DailyDialog（Li et al., 2017）数据集中的对话具有多轮规划能力（超过 3 轮达 61.56%）的强证据。最后，我们展示了由于我们的相对论方法，在序列建模任务中如何实现比先前工作更高的效率，其中推理期间仅需对最后的话语进行编码和计算。
引用
@article{arxiv.2211.07591,
title = {Imagination is All You Need! Curved Contrastive Learning for Abstract Sequence Modeling Utilized on Long Short-Term Dialogue Planning},
author = {Justus-Jonas Erker and Stefan Schaffer and Gerasimos Spanakis},
journal= {arXiv preprint arXiv:2211.07591},
year = {2023}
}
备注
Accepted in ACL 2023 Findings