泛在系统用户数据标注的挑战：第一届 ARDUOUS 工作坊的成果
计算机与社会
2018-03-16 v1 人机交互
摘要
标记用户数据是普适系统设计与评估的核心部分，这些系统旨在通过情境感知推理来支持用户。无论是在知识驱动应用中通过定义合适的情境模型，还是在数据驱动模型中通过为学习任务准备训练数据，这对于系统识别情境并对其进行推理的设计和训练都是必不可少的。因此，标注的质量会对衍生系统的性能产生重大影响。标记对于验证和量化应用程序的性能也至关重要。特别是，比较评估需要基于高质量且一致的标注生成基准数据集。随着普适系统越来越依赖大型数据集来设计和测试用户活动模型，数据标记过程正成为社区关注的主要问题。在这项工作中，我们对与用户数据标注相关的挑战以及应对这些挑战的可能策略进行了定性和定量分析。该分析基于在第一届泛在系统用户数据标注国际工作坊期间收集的数据，包括在讲座、海报展示、现场标注环节和讨论环节中收集的头脑风暴以及标注和问卷数据。
关键词
引用
@article{arxiv.1803.05843,
title = {Challenges in Annotation of useR Data for UbiquitOUs Systems: Results from the 1st ARDUOUS Workshop},
author = {Kristina Yordanova and Adeline Paiement and Max Schröder and Emma Tonkin and Przemyslaw Woznowski and Carl Magnus Olsson and Joseph Rafferty and Timo Sztyler},
journal= {arXiv preprint arXiv:1803.05843},
year = {2018}
}