模型在环：用生成式标注助手辅助众包工人
计算与语言
2022-05-18 v3
摘要
在动态对抗数据收集（DADC）中，人类标注员的任务是寻找模型难以正确预测的样本。已有研究表明，在 DADC 收集的训练数据上训练出的模型在对抗和域外设置中更具鲁棒性，且人类更难欺骗。然而，DADC 比传统数据收集更耗时，因此每个标注样本的成本更高。在本研究中，我们探讨能否在不增加额外成本的情况下保持 DADC 的优势。为此，我们引入了生成式标注助手（GAA），这是一种生成器在环模型，可提供实时建议供标注员批准、修改或完全拒绝。我们在二十种实验设置下收集了训练数据集，并针对抽取式问答（QA）任务，对标准数据收集和对抗数据收集下的该方法进行了详细分析。我们证明，GAA 带来了显著的效率提升，标注速度提高 30% 以上，同时模型被欺骗率提高了 5 倍以上。此外，我们发现，与对抗数据收集相比，使用 GAA 辅助的训练数据能在多种问答任务中带来更高的下游模型性能。
引用
@article{arxiv.2112.09062,
title = {Models in the Loop: Aiding Crowdworkers with Generative Annotation Assistants},
author = {Max Bartolo and Tristan Thrush and Sebastian Riedel and Pontus Stenetorp and Robin Jia and Douwe Kiela},
journal= {arXiv preprint arXiv:2112.09062},
year = {2022}
}