面向广告文本生成的忠实数据集构建：FaithCAMERA

在广告文本生成（Ad Text Generation, ATG）中，理想的广告文本应同时忠实且信息丰富，即它应忠实于输入文档，同时包含能吸引潜在客户的重要信息。现有评估数据集CAMERA（arXiv:2309.12030）适用于评估信息丰富性，其参考广告文本由广告创作者创建。然而，这些参考文本常包含不忠实于输入的信息，这是推动ATG研究的一个显著障碍。本研究与内部广告创作者合作，细化了CAMERA的参考文本，构建了一个新的ATG评估数据集称为FaithCAMERA，确保其忠实性。使用FaithCAMERA，我们可以评估现有方法在保持忠实性的同时，生成信息丰富的广告文本的能力。我们的实验表明，移除包含不忠实实体的训练数据可在实体层面提高忠实性和信息丰富性，但在句子层面会降低两者。这一结果表明，未来的ATG研究不仅要规模化训练数据，还要确保其忠实性。我们的数据集将公开发布。