TaskDiff：一种面向任务型对话的相似度度量
计算与语言
2023-10-26 v2 人工智能
摘要
对话式数字助手的普及使得大量对话数据得以可用，这些数据可用于改善用户体验与个性化回复生成。使用 ChatGPT 等流行大语言模型构建此类助手，还需额外重视提示工程与评估方法。文本相似度度量是此类分析与评估的关键要素。尽管文献中已提出许多相似度度量，但由于未利用独特的对话特征，它们对任务型对话并不奏效。为弥补这一不足，我们提出 TaskDiff，一种利用不同对话组件（话语、意图与槽位）及其分布来计算相似度的新型对话相似度度量。在基准数据集上对 TaskDiff 的广泛实验评估表明，其性能优于其它相关方法且鲁棒性更强。
引用
@article{arxiv.2310.15298,
title = {TaskDiff: A Similarity Metric for Task-Oriented Conversations},
author = {Ankita Bhaumik and Praveen Venkateswaran and Yara Rizk and Vatche Isahagian},
journal= {arXiv preprint arXiv:2310.15298},
year = {2023}
}
备注
Accepted to the main conference at EMNLP 2023