质量优先于点击：面向冷启动电商查询建议的内在质量驱动的迭代强化学习
计算与语言
2026-03-25 v1
摘要
现有对话系统依赖查询建议(QS)来提升用户参与度。最近的研究通常采用大型语言模型配合点击-through率(CTR)模型，但由于对有效CTR模型训练依赖大量在线点击数据，在冷启动场景中效果不佳。为弥合这一差距，我们提出Cold-EQS，一个面向冷启动电商查询建议的迭代强化学习框架。具体而言，我们利用可答性、事实性和信息增益作为奖励，不断优化所建议查询的质量。为持续优化我们的QS模型，我们估计分组候选查询的不确定性，以从在线用户查询中挑选出缺乏点击信号的硬性和模糊样本。此外，我们提供了一个包含16,949个在线用户查询的EQS-Benchmark，用于离线训练和评估。广泛的离线和在线实验一致显示，在线和离线效果之间存在强正相关。离线和在线实验结果均证明了Cold-EQS的优越性，实现了显著的+6.81%在线聊天UV提升。
关键词
引用
@article{arxiv.2603.22922,
title = {Quality Over Clicks: Intrinsic Quality-Driven Iterative Reinforcement Learning for Cold-Start E-Commerce Query Suggestion},
author = {Qi Sun and Kejun Xiao and Huaipeng Zhao and Tao Luo and Xiaoyi Zeng},
journal= {arXiv preprint arXiv:2603.22922},
year = {2026}
}
备注
Submitted to ACL 2026 Industry Track