基于日志棋盘数据的提示优化

我们研究如何使用用户反馈（如点击）来优化用于生成个性化句子的大型语言模型(LLM)管道中的提示。粗略的方法会估计提示空间中的政策梯度，导致动作空间大导致的方差问题，或由于奖励预测不准确导致的偏差问题。为规避这些挑战，我们提出了一种基于核的方法的离策略梯度方法，通过利用生成句子之间的相似性来估计政策梯度，显著降低方差的同时抑制偏差。我们在全新的基准套件上进行的实证结果表明，所提出的方法在生成电影推荐的个性化描述方面有效，特别是在候选提示数量较大时效果更为突出。