ScatterShot：面向文本变换的交互式上下文示例筛选
人机交互
2023-02-16 v1 计算与语言
摘要
GPT-3 等 LLM 的上下文学习能力使标注者能以少量示例将 LLM 定制至其特定任务。然而，用户在编写示例时往往仅纳入最明显的模式，导致欠规范的上下文函数在不所见用例上表现不佳。此外，即便对已知模式，也难以知晓何时已包含“足够”示例。本工作中，我们提出 ScatterShot，一个用于构建高质量上下文学习演示集的交互式系统。ScatterShot 以主动学习方式将未标注数据迭代切片为任务特定模式，从未充分探索或尚未饱和的切片中采样信息量丰富的输入，并借助 LLM 与当前示例集帮助用户更高效标注。在两种文本扰动场景的仿真研究中，ScatterShot 采样相较随机采样将所得少样本函数提升 4–5 个百分点，且随示例增加方差更小。在用户研究中，ScatterShot 极大帮助用户覆盖输入空间中的不同模式并更高效标注上下文示例，带来更好的上下文学习与更少的用户负担。
引用
@article{arxiv.2302.07346,
title = {ScatterShot: Interactive In-context Example Curation for Text Transformation},
author = {Tongshuang Wu and Hua Shen and Daniel S. Weld and Jeffrey Heer and Marco Tulio Ribeiro},
journal= {arXiv preprint arXiv:2302.07346},
year = {2023}
}
备注
IUI 2023: 28th International Conference on Intelligent User Interfaces