PUMGPT：面向商品理解的大型视觉-语言模型
计算机视觉与模式识别
2024-06-18 v2 计算与语言
摘要
电子商务平台受益于准确的商品理解，以提升用户体验与运营效率。传统方法常聚焦于属性抽取或分类等孤立任务，对演化任务的适应性差，且因来自互联网的噪声数据而面临可用性挑战。当前大型视觉语言模型（LVLM）缺乏领域特定的微调，因此在精度与指令遵循上有所不足。为解决这些问题，我们提出 PumGPT，首个面向多模态商品理解任务、专为电子商务设计的 LVLM。我们从 AliExpress 收集并整理了一百余万商品的 dataset，利用通用幻觉检测框架过滤掉不可推断属性，得到 663k 高质量数据样本。PumGPT 聚焦于五项关键任务，旨在优化电子商务平台与零售商的 workflow。我们还引入了 PumBench，一个评估 LVLM 商品理解的基准。我们的实验表明 PumGPT 在商品理解任务上优于其他五个开源 LVLM 与 GPT-4V。我们还进行了广泛的分析实验以深入探究 PumGPT 的优越性，论证了电子商务领域对专用模型的必要性。
引用
@article{arxiv.2308.09568,
title = {PUMGPT: A Large Vision-Language Model for Product Understanding},
author = {Wei Xue and Zongyi Guo and Baoliang Cui and Zheng Xing and Xiaoyi Zeng and Xiufei Wang and Shuhui Wu and Weiming Lu},
journal= {arXiv preprint arXiv:2308.09568},
year = {2024}
}