AI 写作可以被挽救吗？通过编辑缓解特异性并改善写作过程中的人机对齐
计算与语言
2025-03-05 v5 计算机与社会
人机交互
摘要
基于 LLM 的应用正在帮助人们写作，LLM 生成的文本也正进入社交媒体、新闻业和我们的课堂。然而，LLM 生成文本与人类撰写文本之间的差异仍不清晰。为了探索这一点，我们聘请了专业作家来编辑若干创意领域的段落。我们首先发现这些作家对 LLM 生成文本中不受欢迎的特异性达成共识，并将其形式化为一个七类分类法（例如陈词滥调、不必要的铺陈）。其次，我们构建了 LAMP 语料库：1,057 个由专业作家根据我们的分类法编辑的 LLM 生成段落。对 LAMP 的分析表明，我们研究中使用的 LLM（GPT4o、Claude-3.5-Sonnet、Llama-3.1-70b）在写作质量上均未胜过彼此，揭示了跨模型家族的共性局限。第三，基于自动编辑的现有工作，我们评估了改进 LLM 生成文本的方法。一项大规模偏好标注证实，尽管专家在很大程度上偏好由其他专家编辑的文本，但自动编辑方法在改善 LLM 生成文本与人类撰写文本之间的对齐方面显示出潜力。
引用
@article{arxiv.2409.14509,
title = {Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits},
author = {Tuhin Chakrabarty and Philippe Laban and Chien-Sheng Wu},
journal= {arXiv preprint arXiv:2409.14509},
year = {2025}
}
备注
ACM CHI 2025