基于 T5 的高效课程推荐：排序与摘要

本文实现并评估了一个用于课程推荐系统的两阶段检索管线，该系统为技能-职业对排序课程。生产中的推荐系统 BrightFit 提供了来自多个来源的课程推荐。部分课程描述较长且噪声较大，而在在线系统中检索和排序必须具有高度的效率。我们开发了一个两步检索管线，使用在 MSMARCO 上微调的 RankT5 作为重排序器。我们比较了两种摘要器用于课程描述：一种是为该任务微调的 LongT5 模型，另一种是带有情境学习的生成式大语言模型 (Vicuna)。我们实验性地对量化以减少排序模型的大小并提高推理速度。我们在两个新标注的数据集上对所得的排序器进行评估：分别进行 A/B 测试和用户问卷调查。在两个标注数据集上，我们提出的两阶段排序结合自动摘要相对于生产中的 (BM25) 排序器实现了显著的改进：在两个数据集上 nDCG@10 分数分别从 0.482 提升至 0.684 和从 0.447 提升至 0.844。我们还通过使用量化版的 RankT5 实现了 40% 的速度提升。对来自 29 名受访者的问卷确认了排序质量的提升，但 A/B 测试未能证实这一点。在 A/B 测试中，BM25 排序的点击-through rate 高于所提出的两阶段检索方法。我们得出结论，针对在线课程推荐，T5 基于的重排序和摘要比单步词典检索能够获得更好的效果，并且量化对 RankT5 有显著影响。在在线评估中，但其他因素（如速度和检索结果的可解释性）以及个人偏好仍发挥作用。