评估机器专长：研究生如何发展框架来评估GenAI内容
人机交互
2025-04-28 v1 人工智能
摘要
本文考察了研究生如何发展框架来评估与大型语言模型(LLM)的web基互动中机器生成的专长。通过结合调查、LLM互动记录和对14名研究生的深入访谈，我们识别出这些新兴专业人士评估和参与AI生成内容的模式。我们的发现表明，学生构建的评估框架受到三个主要因素的影响：专业身份、验证能力和系统导航经验。与此不同，学生并非单纯接受或拒绝LLM的输出，而是在保护其专业身份核心领域的同时，委托其他领域——经理人保留概念性工作，设计师保护创意过程，程序员维持对核心技术专长的控制。这些评估框架进一步受到学生验证不同类型内容的能力以及他们导航复杂系统的经验的影响。这项研究为web科学贡献了，突显了人类与AI生成内容互动的新兴模式，并为平台如何更好地支持用户发展有效的框架以评估AI中介web环境中机器生成专长信号提供了建议。
引用
@article{arxiv.2504.17964,
title = {Evaluating Machine Expertise: How Graduate Students Develop Frameworks for Assessing GenAI Content},
author = {Celia Chen and Alex Leitch},
journal= {arXiv preprint arXiv:2504.17964},
year = {2025}
}
备注
Under review at ACM Web Science Conference 2025's Human-GenAI Interactions Workshop, 4 pages