中文

LLM 绩述:通过盲目同行评审反馈提升创意写作

计算与语言 2026-01-14 v1 人工智能 多智能体系统

摘要

大型语言模型(LLM)在创意生成方面常常表现不佳,通过交互改进推理的多智能体框架反而可能因引发内容同质化而阻碍创造力。我们引入 LLM Review,一种受同行评审启发的框架,实施盲目同行评审:智能体在独立修订的同时交换有针对性的反馈,从而保留创意轨迹的多样性。为实现严格评估,我们提出 SciFi-100,一个科幻写作数据集,采用统一框架结合 LLM 评判评分、人工标注和基于规则的新颖度指标。实验表明,LLM Review 在所有多智能体基线任务上均显著优于表现,更小的模型在我们的框架下甚至可以超越更大的单智能体模型,这表明交互结构可能替代模型规模的提升。

关键词

引用

@article{arxiv.2601.08003,
  title  = {LLM Review: Enhancing Creative Writing via Blind Peer Review Feedback},
  author = {Weiyue Li and Mingxiao Song and Zhenda Shen and Dachuan Zhao and Yunfan Long and Yi Li and Yongce Li and Ruyi Yang and Mengyu Wang},
  journal= {arXiv preprint arXiv:2601.08003},
  year   = {2026}
}