LLM 是否能帮助发现有关 LLM 的洞见？对前沿 LLM 文献的大规模、演化分析
计算与语言
2025-05-27 v3 人工智能
机器学习
摘要
LLM 研究的激增使得对其发现结果的综合具有挑战性。对实验结果的文献分析可揭示跨研究的重要趋势，但手动数据提取耗时的本质限制了其应用。我们的研究提出了一种半自动的文献分析方法，通过 LLM 加速数据提取。它自动识别相关的 arXiv 论文，提取实验结果和相关属性，并将其组织到结构化数据集 LLMEvalDB 中。随后我们对前沿 LLM 进行自动化文献分析，将论文调查和数据提取 effort 减少了超过 93%。我们通过展示 LLMEvalDB 再现了最近一次对链路思（CoT）推理的手动分析的关键发现，也揭示了超出它的新见解，例如在上下文示例在编码与多模态任务中受益，但在数学推理任务中相对于零-shot CoT 仅提供有限的收益。我们的可自动更新的数据集通过提取新的评估研究作为新数据可用来持续跟踪目标模型。通过 LLMEvalDB 和实证分析，我们在 LLM 方面提供了见解，同时促进了其行为的持续文献分析。
引用
@article{arxiv.2502.18791,
title = {Can LLMs Help Uncover Insights about LLMs? A Large-Scale, Evolving Literature Analysis of Frontier LLMs},
author = {Jungsoo Park and Junmo Kang and Gabriel Stanovsky and Alan Ritter},
journal= {arXiv preprint arXiv:2502.18791},
year = {2025}
}
备注
ACL 2025 main conference