中文

开启市场:跨市场多语言问答基准

计算与语言 2024-09-25 v1

摘要

用户会在电子商务平台上发布大量与产品相关的问题,这会影响他们的购买决策。产品相关问答(PQA)涉及利用产品相关资源来提供针对用户问题的精确响应。我们提出了一种新的任务——多语言跨市场基于产品的问答(MCPQA),并将该任务定义为:在主市场中提供产品相关问题的答案,同时利用来自另一个资源丰富的辅助市场的信息,并在多语言环境下进行。我们引入了一个大型数据集,包含来自17个市场、11种语言的700万个以上问题。我们对数据集的Electronics类别进行自动翻译,命名为McMarket。我们关注两个子任务:基于评论的答案生成和产品相关问题排序。对于每个子任务,我们使用LLM对McMarket的子集进行标注,并通过人类评估来评估注释质量。我们随后对数据集进行实验基准测试,使用从传统词典模型到大语言模型(LLM)的模型,分别在McMarket和相应LLM子集上进行单市场和跨市场场景中进行实验。结果表明,纳入跨市场信息在两个任务中均显著提升了性能。

关键词

引用

@article{arxiv.2409.16025,
  title  = {Unlocking Markets: A Multilingual Benchmark to Cross-Market Question Answering},
  author = {Yifei Yuan and Yang Deng and Anders Søgaard and Mohammad Aliannejadi},
  journal= {arXiv preprint arXiv:2409.16025},
  year   = {2024}
}

备注

EMNLP 2024