中文

EC-Guide:面向指令调优与量化的全方位电商指南

计算与语言 2024-08-07 v1

摘要

大型语言模型 (LLM) 因其在各领域提供具有成本效益的解决方案,尤其在指令调优和量化方面取得进展,受到广泛关注。电商领域因其复杂的任务和大量的产品-用户交互,成为 LLM 的潜在应用领域。然而,领域特定的概念和知识对将通用 LLM 适用于电商提出了重大挑战。为此,我们开发了 EC-Guide \href{https://github.com/fzp0424/EC-Guide-KDDUP-2024},为 LLM 的指令调优和量化提供全方位电商指南。我们还在推理过程中 heuristics 方式集成了链式思维 (Chain-of-Thought, CoT),以提升算术性能。我们的方案在 Amazon KDD Cup'24 \href{https://www.aicrowd.com/challenges/amazon-kdd-cup-2024-multi-task-online-shopping-challenge-for-llms} 的第 2 轨和第 5 轨中分别获得第 2 名和第 5 名。此外,本方案具有模型无关性,能够有效扩展至更大规模的系统。

关键词

引用

@article{arxiv.2408.02970,
  title  = {EC-Guide: A Comprehensive E-Commerce Guide for Instruction Tuning and Quantization},
  author = {Zhaopeng Feng and Zijie Meng and Zuozhu Liu},
  journal= {arXiv preprint arXiv:2408.02970},
  year   = {2024}
}