基于电商基准数据集的常识知识显著性评估
计算与语言
2023-01-30 v2 人工智能
信息检索
机器学习
摘要
在电商中，常识知识（CSK）的显著性有益于产品搜索与推荐等广泛应用。例如，当用户在电商中搜索“running”时，他们希望找到与跑步高度相关的产品，如“running shoes”而非“shoes”。然而，许多现有的 CSK 集合仅按置信度分数对陈述排序，且没有关于哪些陈述从人类视角看是显著的信息。在这项工作中，我们定义了有监督显著性评估任务，即给定一个 CSK 三元组，模型需要学习该三元组是否显著。除 formulation 新任务外，我们还发布了一个电商显著性评估基准数据集（BSEE），希望促进常识知识显著性评估的相关研究。我们在该数据集上使用若干代表性基线模型进行了实验。实验结果表明显著性评估是一项具有挑战性的任务，模型在我们的评估集上表现不佳。我们进一步提出了一种简单但有效的方法 PMI-tuning，显示出解决这一新问题的潜力。代码见 \url{https://github.com/OpenBGBenchmark/OpenBG-CSK}。
引用
@article{arxiv.2205.10843,
title = {Commonsense Knowledge Salience Evaluation with a Benchmark Dataset in E-commerce},
author = {Yincen Qu and Ningyu Zhang and Hui Chen and Zelin Dai and Zezhong Xu and Chengming Wang and Xiaoyu Wang and Qiang Chen and Huajun Chen},
journal= {arXiv preprint arXiv:2205.10843},
year = {2023}
}
备注
Accepted to EMNLP 2022 (Findings)