面向社区问答任务的排序学习中的特征工程
机器学习
2023-09-15 v1 人工智能
信息检索
摘要
社区问答（CQA）论坛是基于互联网的平台，用户就某主题提问，其他专家用户尝试提供解答。许多 CQA 论坛如 Quora、Stackoverflow、Yahoo!Answer、StackExchange 存在大量用户生成数据。这些数据被用于自动 CQA 排序系统，其中向用户的查询呈现相似的问题（与答案）。本工作中，我们实证考察了该领域的几个方面。首先，除 TF-IDF、BM25 等传统特征外，我们引入了一种基于 BERT 的特征来捕捉问题与答案之间的语义相似度。其次，多数现有研究仅关注从问题部分提取的特征；从答案提取的特征尚未被广泛探索。我们以线性方式组合了两类特征。第三，使用我们提出的概念，我们用不同的排序学习算法进行了实证考察，其中部分算法此前未在 CQA 领域使用。在三个标准 CQA 数据集上，我们提出的框架达到了最先进（SOTA）性能。我们还分析了所考察特征的重要性。本工作有望指导实践者为该 CQA 检索任务选择更好的特征集。
引用
@article{arxiv.2309.07610,
title = {Feature Engineering in Learning-to-Rank for Community Question Answering Task},
author = {Nafis Sajid and Md Rashidul Hasan and Muhammad Ibrahim},
journal= {arXiv preprint arXiv:2309.07610},
year = {2023}
}
备注
20 pages