Parachute：交互式人-语言模型协同写作系统评估框架
人机交互
2023-03-28 v2 人工智能
计算与语言
摘要
语言模型（LMs）的一系列进展引发了人们利用 LMs 构建协同写作系统的浓厚兴趣，其中人类与 LMs 交互式地共同贡献于一个共享的写作产物。然而，目前缺乏在交互式环境中评估协同写作系统的研究。我们提出了一种以人为中心的评估框架 Parachute，用于交互式协同写作系统。Parachute 展示了一种对交互评估的整合视角，其中每个评估方面由分类的实用指标组成。此外，我们以一个用例展示 Parachute，说明如何使用 Parachute 评估和比较协同写作系统。
引用
@article{arxiv.2303.06333,
title = {Parachute: Evaluating Interactive Human-LM Co-writing Systems},
author = {Hua Shen and Tongshuang Wu},
journal= {arXiv preprint arXiv:2303.06333},
year = {2023}
}
备注
Accepted by CHI'23 In2Writing Workshop