好主意还是坏主意，LLM的表示可以告诉我们
计算与语言
2024-09-24 v1 人工智能
摘要
在不断扩大的学术研究领域，想法的不断涌现为研究人员带来了显著挑战：如何 discern 有价值的想法与次要想法。高效评估这些想法潜力的能力对于科学进步和论文评审至关重要。本 work 我们聚焦于想法评估，即利用大语言模型的知识来评估科学想法的价值。首先，我们调查了现有的文本评估 research，定义了对想法进行量化评估的问题。其次，我们构建并发布了一个来自近四千篇完整论文的基准数据集，旨在训练和评估不同方法在此任务上的性能。最后，我们通过采用大语言模型特定层的表示，建立了一个量化想法价值的 framework。实验结果表明，我们的方法预测的分数与人类的判断相当一致。我们的发现表明，大语言模型的表示相较于其生成输出，在量化想法价值方面拥有更大的潜力，为自动化想法评估 process 指出了一条有前景的道路。
引用
@article{arxiv.2409.13712,
title = {Good Idea or Not, Representation of LLM Could Tell},
author = {Yi Xu and Bo Xue and Shuqian Sheng and Cheng Deng and Jiaxin Ding and Zanwei Shen and Luoyi Fu and Xinbing Wang and Chenghu Zhou},
journal= {arXiv preprint arXiv:2409.13712},
year = {2024}
}