EcomGPT：通过任务链任务指令微调大语言模型用于电子商务
计算与语言
2023-08-29 v2
摘要
近来，以 ChatGPT 为代表的指令遵循大语言模型（LLM）在通用自然语言处理（NLP）任务中展现出卓越性能。然而，电子商务数据的独特特性对通用 LLM 提出了重大挑战。一个专为电子商务场景定制、具备强大跨数据集/任务泛化能力的 LLM 是迫切需要的。为解决此问题，本工作中我们提出了首个电子商务指令数据集 EcomInstruct，共包含 250 万条指令数据。EcomInstruct 通过基于电子商务基础数据类型（如商品信息、用户评论）构建原子任务，扩大了数据规模与任务多样性。原子任务被定义为隐式参与解决最终任务的中间任务，我们也称之为任务链（Chain-of-Task）任务。我们通过使用 EcomInstruct 训练骨干模型 BLOOMZ 开发了不同参数规模的 EcomGPT。受益于从任务链任务中获得的基础语义理解能力，EcomGPT 展现出优异的零样本泛化能力。大量实验和人工评估表明，在电子商务任务的跨数据集/任务泛化上，EcomGPT 优于 ChatGPT。
引用
@article{arxiv.2308.06966,
title = {EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce},
author = {Yangning Li and Shirong Ma and Xiaobin Wang and Shen Huang and Chengyue Jiang and Hai-Tao Zheng and Pengjun Xie and Fei Huang and Yong Jiang},
journal= {arXiv preprint arXiv:2308.06966},
year = {2023}
}
备注
Initial version of EcomGPT