LLM-Ensemble：一种用于电商商品属性值提取的最优大语言模型集成方法
信息检索
2024-06-21 v2 人工智能
计算与语言
摘要
商品属性值提取是自然语言处理（NLP）和当代电商行业的关键组成部分。提供精确的商品属性值对于确保高质量推荐和提升客户满意度至关重要。近期涌现的大语言模型（LLM）在众多属性提取任务中展现了最先进（SOTA）的性能，且无需特定领域的训练数据。然而，由于数据、架构和超参数的多样性，不同的 LLM 表现出各异的优缺点。这种差异使得它们具有互补性，没有任何单个 LLM 能全面优于其他模型。考虑到 LLM 多样化的优缺点，开发一种利用其互补潜力的集成方法变得必要。在本文中，我们提出了一种名为 LLM-ensemble 的新算法，用于集成不同 LLM 的输出以进行属性值提取。我们迭代地学习不同 LLM 的权重，通过加权聚合标签来预测最终的属性值。我们提出的方法不仅在理论上被证明是最优的，而且确保了计算高效、快速收敛和安全部署。我们在 Walmart 的内部数据上，使用包括 Llama2-13B、Llama2-70B、PaLM-2、GPT-3.5 和 GPT-4 在内的多种最先进 LLM 进行了广泛实验。离线指标表明，LLM-ensemble 方法在 Walmart 内部数据集上的表现优于所有最先进的单一 LLM。该方法已部署于多个生产模型中，带来了商品交易总额（GMV）、点击率（CTR）、转化率（CVR）和加入购物车率（ATC）的提升。
引用
@article{arxiv.2403.00863,
title = {LLM-Ensemble: Optimal Large Language Model Ensemble Method for E-commerce Product Attribute Value Extraction},
author = {Chenhao Fang and Xiaohan Li and Zezhong Fan and Jianpeng Xu and Kaushiki Nag and Evren Korpeoglu and Sushant Kumar and Kannan Achan},
journal= {arXiv preprint arXiv:2403.00863},
year = {2024}
}
备注
SIGIR 2024 industry track