终端用户对个性化内容分类器的编写：示例标注、规则编写与LLM提示的比较
人机交互
2025-06-13 v2
摘要
供非专业人员创建个人分类器的现有工具通常假设用户有积极性，并在一个漫长且不间断的会话中工作。然而，用户倾向于随意使用社交媒体，即在持续日常的基础上进行许多短暂的会话。为了使此类用户更容易创建用于内容管理的个人分类器，工具应支持快速初始化和迭代细化。在本工作中，我们比较了终端用户构建个人内容分类器的三种策略——（1）示例标注、（2）规则编写和（3）大型语言模型（LLM）提示。在一项包含37名非程序员的实验中，要求他们创建个性化审核过滤器，我们发现尽管LLM提示的性能更好，但参与者在不同情境下偏好不同的初始化策略。然而，所有策略在迭代细化方面都面临挑战。为了克服在迭代其提示时的挑战，参与者甚至采用了混合方法，例如将示例作为上下文示例提供，或编写类似规则的提示。
引用
@article{arxiv.2409.03247,
title = {End User Authoring of Personalized Content Classifiers: Comparing Example Labeling, Rule Writing, and LLM Prompting},
author = {Leijie Wang and Kathryn Yurechko and Pranati Dani and Quan Ze Chen and Amy X. Zhang},
journal= {arXiv preprint arXiv:2409.03247},
year = {2025}
}
备注
Accepted by CHI'25