面向搜索引擎广告的文本质量统一基准评估——AdTEC
计算与语言
2025-04-29 v2
摘要
随着基于自然语言生成技术自动创建广告文本流畅度的提高，对这些创意质量的真实世界验证需求日益增长。我们提出 AdTEC (Ad Text Evaluation Benchmark by CyberAgent)，这是第一个用于评估广告文本从多个实际广告运营角度的公共基准。我们的贡献包括：(i)定义了评估广告文本质量的五个任务，构建基于广告代理商实际运营经验的日文数据集，这些数据集通常仅保存在内部。(ii)验证了现有预训练语言模型(PLMs)和人类评估者在数据集上的性能。(iii)分析了基准的特征并提出挑战。结果表明，尽管 PLMs 在几个任务上已达到实际使用水平，但人类在某些领域仍优于人类，表明该领域仍有显著的提升空间。
引用
@article{arxiv.2408.05906,
title = {AdTEC: A Unified Benchmark for Evaluating Text Quality in Search Engine Advertising},
author = {Peinan Zhang and Yusuke Sakai and Masato Mita and Hiroki Ouchi and Taro Watanabe},
journal= {arXiv preprint arXiv:2408.05906},
year = {2025}
}
备注
Accepted to NAACL 2025