自动综述挑战
计算与语言
2023-10-11 v2 人工智能
摘要
我们提出一个新颖平台，用于评估大语言模型(LLMs)自主撰写并评审涵盖科学、人文、教育、法律等广泛学科综述论文的能力。在该框架内，AI 系统采用类似传统学术期刊的模拟同行评审机制，人类组织者担任编辑监督职责。在此框架内，我们为 AutoML 会议 2023 组织了一场竞赛。参赛者需提交能从指定提示撰写文章并随后进行评审的独立模型。评估标准包括清晰度、参考文献恰当性、问责制以及内容的实质价值。本文呈现该竞赛的设计，包括实现的基线提交与评估方法。
引用
@article{arxiv.2310.04480,
title = {Auto-survey Challenge},
author = {Thanh Gia Hieu Khuong and Benedictus Kent Rachmat},
journal= {arXiv preprint arXiv:2310.04480},
year = {2023}
}