基于LLM的文本简化及其对用户理解与认知负荷的影响
计算与语言
2025-05-06 v1
摘要
网络上的信息，如科学出版物和维基百科，常常超出用户的阅读水平。为了帮助解决这个问题，我们使用了一种自我优化方法来开发LLM的最小有损文本简化能力。为了验证我们的方法，我们进行了一项随机研究，涉及4563名参与者和31篇跨越6个广泛学科领域的文本：PubMed（生物医学科学文章）、生物学、法律、金融、文学/哲学和航空航天/计算机科学。参与者被随机分配阅读某个学科领域的原文或简化文本，并回答测试他们对文本理解程度的多项选择题（MCQs）。参与者还被要求提供定性反馈，例如任务难度。我们的结果表明，阅读简化文本的参与者比阅读原文的参与者正确回答了更多的MCQs（绝对增加3.9%，p<0.05）。这一增益在PubMed领域最为显著（14.6%），而在金融（5.5%）、航空航天/计算机科学（3.8%）和法律（3.5%）领域观察到较为温和的增益。值得注意的是，无论参与者在回答MCQs时能否回看文本，结果都是稳健的。在参与者不能回看文本的情况下，原始文本和简化文本设置的绝对准确率均下降了约9%，但约4%的整体提升仍然存在。最后，基于简化的NASA任务负荷指数，阅读简化文本的参与者自我报告的感知易用性更高（5点量表上的绝对变化为0.33，p<0.05）。这项随机研究涉及的参与者数量比先前的工作多一个数量级，证明了LLMs使复杂信息更易于理解的潜力。我们的工作旨在使更广泛的受众能够更好地学习和利用网络上的专业知识，提高信息的可及性。
引用
@article{arxiv.2505.01980,
title = {LLM-based Text Simplification and its Effect on User Comprehension and Cognitive Load},
author = {Theo Guidroz and Diego Ardila and Jimmy Li and Adam Mansour and Paul Jhun and Nina Gonzalez and Xiang Ji and Mike Sanchez and Sujay Kakarmath and Mathias MJ Bellaiche and Miguel Ángel Garrido and Faruk Ahmed and Divyansh Choudhary and Jay Hartford and Chenwei Xu and Henry Javier Serrano Echeverria and Yifan Wang and Jeff Shaffer and Eric and Cao and Yossi Matias and Avinatan Hassidim and Dale R Webster and Yun Liu and Sho Fujiwara and Peggy Bui and Quang Duong},
journal= {arXiv preprint arXiv:2505.01980},
year = {2025}
}