基于人类反馈的多智能体强化学习进行多模态查询建议
信息检索
2024-02-12 v2
摘要
在快速发展的信息检索领域，搜索引擎致力于为用户提供更加个性化和相关的结果。查询建议系统通过协助用户构建有效的查询，在实现这一目标中发挥着至关重要的作用。然而，现有的查询建议系统主要依赖文本输入，这可能限制了用户在图像查询时的搜索体验。在本文中，我们引入了一项新颖的多模态查询建议（MMQS）任务，旨在基于用户查询图像生成查询建议，以提高搜索结果的目的性和多样性。我们提出了 RL4Sugg 框架，利用大语言模型（LLMs）结合基于人类反馈的多智能体强化学习来优化生成过程。通过全面的实验，我们验证了 RL4Sugg 的有效性，证明其相比现有最佳方法提升了 18%。此外，MMQS 已应用于现实世界的搜索引擎产品中，带来了用户参与度的提升。我们的研究推进了查询建议系统的发展，并为多模态信息检索提供了新的视角。
引用
@article{arxiv.2402.04867,
title = {Multimodal Query Suggestion with Multi-Agent Reinforcement Learning from Human Feedback},
author = {Zheng Wang and Bingzheng Gan and Wei Shi},
journal= {arXiv preprint arXiv:2402.04867},
year = {2024}
}
备注
This paper has been accepted by WWW 2024