ChatGPT 与人工撰写文本：关于可控文本摘要与句子风格迁移的洞察
计算与语言
2024-12-11 v2 人工智能
机器学习
摘要
像 ChatGPT 这样的大规模语言模型已获得媒体的显著关注，并以其从简短自然语言提示生成连贯文本的卓越能力令公众惊叹。在本文中，我们旨在对 ChatGPT 在两项可控生成任务中的表现进行系统考察，涉及 ChatGPT 使其输出适应不同目标受众（专家 vs. 外行）和写作风格（正式 vs. 非正式）的能力。此外，我们评估了生成文本的忠实度，并将该模型的性能与人工撰写的文本进行比较。我们的发现表明，人类产生的风格差异显著大于 ChatGPT 所展现的差异，且生成的文本在若干特征（如词类分布）上偏离人类样本。此外，我们观察到 ChatGPT 在使文本适应特定风格时有时会引入事实错误 or 幻觉。
引用
@article{arxiv.2306.07799,
title = {ChatGPT vs Human-authored Text: Insights into Controllable Text Summarization and Sentence Style Transfer},
author = {Dongqi Liu and Vera Demberg},
journal= {arXiv preprint arXiv:2306.07799},
year = {2024}
}
备注
ACL-SRW 2023