更深入了解您的需求:利用类比推理增强的大语言模型实现对营销商需求的结构化理解
计算与语言
2024-06-13 v3 人工智能
摘要
本文探索了一种新的用户定位方法,非专业营销商仅需提供自然语言形式的需求即可选择目标用户。该问题的关键在于如何将自然语言转化为实用的结构化逻辑语言,即实现对营销商需求的结构化理解。在实际场景中,非专业营销商的需求往往是抽象且多样的。考虑到大语言模型(LLMs)令人印象深刻的自然语言处理能力,我们尝试利用 LLMs 解决这一问题。为了激发 LLMs 的推理能力,思维链(CoT)提示方法被广泛使用,但现有方法在我们的场景中仍存在局限:(1) 以往方法要么使用简单的“让我们一步步思考”咒语,要么在演示中提供固定示例而未考虑提示与具体问题之间的兼容性,导致当营销商需求抽象多样时 LLMs 效果不佳。(2) 以往方法通常在闭源模型或过大的模型中实现,不适合工业实际场景。基于此,我们提出了 ARALLM(即类比推理增强的大语言模型),包含两个模块:基于类比推理的提示和推理增强的多任务模型蒸馏。部分数据和代码可在 https://github.com/alipay/Analogic-Reasoning-Augmented-Large-Language-Model 找到。
引用
@article{arxiv.2401.04319,
title = {Know Your Needs Better: Towards Structured Understanding of Marketer Demands with Analogical Reasoning Augmented LLMs},
author = {Junjie Wang and Dan Yang and Binbin Hu and Yue Shen and Wen Zhang and Jinjie Gu},
journal= {arXiv preprint arXiv:2401.04319},
year = {2024}
}
备注
Accepted by KDD 2024