通过归一化上下文潜在交互进行对话代理的上下文检索
计算与语言
2025-03-25 v1 人工智能
信息检索
机器学习
摘要
利用人工智能（尤其是深度学习）的对话代理正在学术研究和实际应用中兴起。然而，这些应用仍面临挑战，包括不尊重知识和事实、未根据用户偏好进行个性化、以及训练和推理过程中对计算资源的巨大需求。最近的研究工作集中在从各个方面应对这些挑战，包括向对话代理补充各种类型的辅助信息。然而，现有方法仍无法有效且高效地利用这些辅助补充中的相关信息，以进一步释放对话代理及其所用语言模型的能力。在本文中，我们提出了一种新颖方法PK-NCLI，该方法能够通过低层归一化上下文潜在交互学习人物角色、聊天历史和知识背景之间的相关性，从而准确高效地识别相关辅助信息，以提高对话响应的质量。我们的实验结果表明，PK-NCLI在困惑度、知识基础和训练效率方面分别比最先进方法PK-FoCus提高了47.80%/30.61%/24.14%，并保持了相同水平的人物角色基础性能。我们还详细分析了不同因素（包括语言模型选择和训练权重的权衡）如何影响PK-NCLI的性能。
引用
@article{arxiv.2312.00774,
title = {Context Retrieval via Normalized Contextual Latent Interaction for Conversational Agent},
author = {Junfeng Liu and Zhuocheng Mei and Kewen Peng and Ranga Raju Vatsavai},
journal= {arXiv preprint arXiv:2312.00774},
year = {2025}
}
备注
2023 IEEE International Conference on Data Mining Workshops (ICDMW)