用于规模化定制营销内容生成与评估的大语言模型
计算与语言
2025-06-24 v1
摘要
站点营销是电子商务的关键环节，使企业能够通过外部平台触达客户并驱动流量导入零售网站。然而，当前大多数站点营销内容过于笼统、模板化，且与着陆页对齐度不足，限制了其效果。为此，我们提出MarketingFM，一个检索增强系统，集成多数据源以生成面向关键词的广告文案，最小化人工干预。我们通过离线人类与自动评估以及大规模线上A/B测试验证MarketingFM。实验表明，关键词导向的广告文案相较于模板文案，可实现点击率提升最高达9%、展示量增加12%、每次展示成本降低0.38%，显著提升广告排序效果和成本效益。尽管取得这些收益，人工审核生成广告仍成本高昂。为此，我们提出AutoEval-Main，一个结合规则基指标与LLM-as-a-Judge技术的自动评估系统，确保内容符合营销原则。在大规模人类标注实验中，AutoEval-Main与人类审核者的一致性达到89.57%。基于此，我们提出AutoEval-Update，一个高效的LLM-人类协作框架，用于动态细化评估提示并适应不断变化的评估标准。该框架通过精选代表性广告进行人类审核，并利用批评性LLM生成对齐报告，以减少人工工作量。实验表明，批评性LLM提出的改进建议具有实质性意义，提升了LLM-人类一致性。尽管如此，人工监督仍是设置阈值和验证改进建议部署的关键。
引用
@article{arxiv.2506.17863,
title = {LLMs for Customized Marketing Content Generation and Evaluation at Scale},
author = {Haoran Liu and Amir Tahmasbi and Ehtesham Sam Haque and Purak Jain},
journal= {arXiv preprint arXiv:2506.17863},
year = {2025}
}
备注
KDD LLM4ECommerce Workshop 2025