面向预测客户购买行为的开源 LLM 指令微调
信息检索
2025-02-25 v1 人工智能
摘要
本研究评估了各种预测模型，包括概率基线、CNN、LSTM 和微调后的大型语言模型（LLM），在从金融交易数据预测商户类别方面的性能。该研究利用来自银行 A 的数据进行训练，使用来自银行 B 的数据进行测试，展示了使用经客户数据转换为自然语言格式后微调的 Mistral Instruct 模型具有卓越的预测能力。本研究的方法涉及通过 LoRA（Large Language Models 的低秩适配）对 Mistral 进行指令微调，以将其广泛的预训练知识适应金融交易的特定领域。Mistral 模型显著优于传统的序列模型，在银行交易数据的三个关键商户类别（杂货、服装和加油站）中实现更高的 F1 分数，这对于精准营销活动至关重要。这种性能提升归因于模型增强的语义理解和适应性，使其能够更好地处理少数类并以更高的准确率预测交易类别。这些发现凸显了大型语言模型在预测人类行为方面的潜力。
引用
@article{arxiv.2502.15724,
title = {Instruction-Based Fine-tuning of Open-Source LLMs for Predicting Customer Purchase Behaviors},
author = {Halil Ibrahim Ergul and Selim Balcisoy and Burcin Bozkaya},
journal= {arXiv preprint arXiv:2502.15724},
year = {2025}
}