教育对提示工程的影响：来自记者的实证研究
人机交互
2024-09-20 v1
摘要
大型语言模型（LLM）日益被用于日常工作中。本文分析了在提示工程方面进行培训是否能改善用户与LLM之间的交互方式。为此，我们进行了一次实验，要求记者在接受培训前后分别撰写简短文本，然后分析培训对三个维度的影响：（1）记者在与LLM交互时的用户体验；（2）文本的准确性（由领域专家评估）；（3）读者感知，如清晰度、参与度以及其他文本质量维度（由非专家读者评估）。我们的结果显示：（1）我们的培训提高了记者被感知为专业的程度，但也降低了LLM使用被感知为有帮助的程度。（2）在准确性方面的影响因任务难度而异。（3）培训对读者感知的影响在不同的文本质量维度上呈现出混合情况。
引用
@article{arxiv.2409.12320,
title = {The Effect of Education in Prompt Engineering: Evidence from Journalists},
author = {Amirsiavosh Bashardoust and Yuanjun Feng and Dominique Geissler and Stefan Feuerriegel and Yash Raj Shrestha},
journal= {arXiv preprint arXiv:2409.12320},
year = {2024}
}