在 HCI 中报告和审阅 LLM 集成系统: 挑战与考量
人机交互
2026-02-06 v1
摘要
HCI 学者在报告和审阅涉及 LLM 集成系统的论文时应考虑什么?我们对 18 位 LLM 集成系统论文作者进行访谈，了解其撰写和审阅经历。我们发现，由于 LLM 行为的不确定性以及围绕人工智能的夸大宣扬，作者与审稿人之间建立信任的规范似乎被削弱了。作者认为审稿人对报告 LLM 集成系统的论文施加了独特不苛容且不一致的标准，通过添加技术评估、正当化使用方式以及淡化 LLM 的存在来缓解不信任。作者的观点挑战了对报告所有提示并使用开放模型的概括性指令，认为提示报告是情境依赖的，并且即使面对伦理关切，也正当化了使用专有模型。最后，一些同行评审中的紧张关系似乎源于 HCI 社区与 ML/NLP 社区在规范和价值观之间冲突，特别是关于何为贡献以及何为适当技术严谨性。基于我们的发现和来自六位专家 HCI 研究者的额外反馈，我们为作者、审稿人以及 HCI 社区在报告和审阅涉及 LLM 集成系统的论文时提供了一套指南和考量。
引用
@article{arxiv.2602.05128,
title = {Reporting and Reviewing LLM-Integrated Systems in HCI: Challenges and Considerations},
author = {Karla Felix Navarro and Eugene Syriani and Ian Arawjo},
journal= {arXiv preprint arXiv:2602.05128},
year = {2026}
}
备注
18 pages, 1 figure, 2 tables. For proposed reporting guidelines, see https://ianarawjo.github.io/Guidelines-for-Reporting-LLM-Integrated-Systems-in-HCI/