Savaal：用于增强人类学习的可扩展概念驱动问卷生成
计算与语言
2025-06-02 v2
摘要
通过问答评估和增强人类学习在关键，但自动化这一过程仍具有挑战性。虽然大型语言模型(LLM)在摘要和查询响应方面表现出色，但其生成对学习者有意义问题的能力尚未得到充分探索。在本工作中，我们提出Savaal，这是一个可扩展的问卷生成系统，具有三个目标：(i) 可扩展性，使其能够从数百页文本生成问卷；(ii) 理解深度，产生超越事实记忆的问卷，以测试概念推理；(iii) 域独立性，自动在 diverse knowledge areas 跨越 diverse knowledge areas 自动生成问卷。与提供大型文档作为上下文不同，Savaal通过三阶段处理管道来提高结果。在76名人类专家对71篇论文和博士论文的评估中显示，Savaal生成的问卷在测试理解深度方面比直接提示的LLM基线高出6.5倍（针对论文）和1.5倍（针对论文）。值得注意的是，随着文档长度的增加，Savaal在更高问卷质量和更低成本方面的优势变得更为显著。
引用
@article{arxiv.2502.12476,
title = {CoCo-CoLa: Evaluating and Improving Language Adherence in Multilingual LLMs},
author = {Elnaz Rahmati and Alireza S. Ziabari and Morteza Dehghani},
journal= {arXiv preprint arXiv:2502.12476},
year = {2025}
}
备注
26 pages, 7 figures