基于融合的评论项检索中自监督对比 BERT 微调
信息检索
2023-08-03 v1 计算与语言
机器学习
摘要
随着自然语言接口使用户能够表达日益复杂的自然语言查询，用户评论内容也呈并行爆发式增长，使用户能更好地找到如餐厅、书籍或电影等匹配这些表达性查询的项。尽管神经信息检索（IR）方法在查询与文档匹配上提供了最先进的结果，它们尚未被扩展至评论项检索（Reviewed-Item Retrieval, RIR）任务，该任务需将查询-评论得分聚合（或融合）为项级得分以排序。在缺乏标注 RIR 数据集的情况下，我们通过利用自监督方法对查询与评论的 BERT 嵌入进行对比学习，将神经 IR 方法扩展至 RIR。具体而言，对比学习需选择正样本与负样本，而我们的项-评论数据的独特两级结构结合元数据为我们提供了丰富的样本选择结构。对于晚期融合（Late Fusion）场景中的对比学习，我们研究了来自同一项及/或具有相同评分的正评论样本的使用、通过选取同一锚定项中最不相似评论作为难正样本的选择，以及通过选取不同项中最相似评论作为难负样本的选择。我们还探索了锚点子采样与元数据增强。对于更端到端的早期融合（Early Fusion）方法，我们引入了对比项嵌入学习以将评论融合为单项嵌入。实验结果表明，用于神经 RIR 的晚期融合对比学习优于所有其他对比 IR 配置、神经 IR 及稀疏检索基线，从而展示了在神经 RIR 方法中利用两级结构的威力，以及通过晚期融合方法保留个体评论内容细微差别的重要性。
引用
@article{arxiv.2308.00762,
title = {Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval},
author = {Mohammad Mahdi Abdollah Pour and Parsa Farinneya and Armin Toroghi and Anton Korikov and Ali Pesaranghader and Touqir Sajed and Manasa Bharadwaj and Borislav Mavrin and Scott Sanner},
journal= {arXiv preprint arXiv:2308.00762},
year = {2023}
}