“你能看见我思考吗？”将 LLM 反馈 grounded 在按键和修订模式中
人机交互
2025-08-20 v1
摘要
随着大型语言模型（LLM）日益增多地帮助评估学生写作，研究人员开始质疑这些模型是否具有认知 grounding，即它们是否仅仅关注最终产品，还是关注其撰写过程。本研究探索了将写作过程数据（具体为按键日志和带时间戳的快照）纳入 LLM 生成反馈中的影响。我们对 52 篇学生作文进行消融研究，比较仅使用最终作文（C1）和同时包含按键日志和带时间戳快照的反馈（C2）之间的差异。虽然评分标准几乎没有变化，但 C2 生成的反馈在结构评估和更注重过程的论证方面显著优于 C1。
关键词
引用
@article{arxiv.2508.13543,
title = {"Can You See Me Think?" Grounding LLM Feedback in Keystrokes and Revision Patterns},
author = {Samra Zafar and Shifa Yousaf and Muhammad Shaheer Minhas},
journal= {arXiv preprint arXiv:2508.13543},
year = {2025}
}
备注
15 pages, 4 figures, 6 tables, Submitted to IJCNLP-AACL 2025