图遇见大模型：一种用于鲁棒对话理解的协同过滤新方法
人工智能
2023-06-21 v3 信息检索
机器学习
摘要
诸如 Alexa 的对话式 AI 系统需要理解有缺陷的查询，以确保鲁棒的对话理解并减少用户摩擦。这些有缺陷的查询通常源于用户歧义、错误，或自动语音识别（ASR）与自然语言理解（NLU）中的误差。个性化查询重写是一种通过考虑用户个体行为与偏好来减少查询缺陷的方法。它通常依赖于该用户与对话式 AI 过往成功交互的索引。然而，用户历史中未出现过的交互为个性化查询重写带来了额外挑战。本文提出我们的“协同查询重写”方法，专门解决重写用户历史中此前未观察到的新用户交互这一任务。该方法构建历史用户-实体交互的“用户反馈交互图”（FIG），并利用多跳图遍历来丰富每个用户的索引，以覆盖未来未出现的缺陷查询。丰富后的用户索引称为协同用户索引，包含数百条额外条目。为抵消索引扩大带来的精度下降，我们在 L1 检索模型中增加额外的 transformer 层，并将基于图的特征与护栏特征纳入 L2 排序模型。由于用户索引可预计算，我们进一步研究利用大语言模型（LLM）来增强 FIG，用于视频/音乐领域的用户-实体链接预测。具体而言，本文研究了 Dolly-V2 7B 模型。我们发现，经微调的 Dolly-V2 生成增强的用户索引显著提升了未来未出现用户交互的覆盖率，从而相较于仅使用图遍历的方法提高了在未见查询上的 QR 性能。
引用
@article{arxiv.2305.14449,
title = {Graph Meets LLM: A Novel Approach to Collaborative Filtering for Robust Conversational Understanding},
author = {Zheng Chen and Ziyan Jiang and Fan Yang and Eunah Cho and Xing Fan and Xiaojiang Huang and Yanbin Lu and Aram Galstyan},
journal= {arXiv preprint arXiv:2305.14449},
year = {2023}
}