大语言模型中的文本美学
计算与语言
2024-11-06 v1 人工智能
机器学习
摘要
图像美学是图像生成领域的重要指标。然而，文本美学尚未得到充分探索。随着大语言模型（LLM）的广泛应用，前期工作主要聚焦于内容的正确性和回复的有用性。尽管如此，提供具有文本美学的回复也是LLM的重要因素，可以提供更整洁的布局并确保内容更大的一致性和连贯性。本工作中，我们引入了一个美学润色流水线，并帮助构建了一个名为TexAes的文本美学数据集。我们提出了一种基于直接偏好优化的文本美学驱动微调方法TAPO，该方法利用文本美学而不损害内容正确性。此外，我们开发了两种基于文本和图像分析的文本美学评估方法。实验表明，使用文本美学数据和采用TAPO微调方法不仅提升了美学评分，还提升了在AlpacalEval和Anera-hard等通用评估数据集上的性能。
引用
@article{arxiv.2411.02930,
title = {Textual Aesthetics in Large Language Models},
author = {Lingjie Jiang and Shaohan Huang and Xun Wu and Furu Wei},
journal= {arXiv preprint arXiv:2411.02930},
year = {2024}
}