HEMVIP：并行人工评估多视频
人机交互
2021-10-22 v3
摘要
在许多研究领域，例如动作与手势生成，仅靠客观度量无法准确反映感知质量或恰当性等关键刺激特征。相反，评估这些方面的黄金标准是通过用户研究，尤其是对视频刺激的主观评价。常见的评估范式要么呈现单个刺激让用户在李克特量表上打分，要么要求用户以成对方式比较并评价视频。然而，随着待比较条件数量的增加，此类评估所需的时间和资源扩展性很差。基于用于评估多媒体编解码器质量的标准，本文引入了一种并行精细评分多个可比视频的框架。该方法本质上一次性分析了所有条件对。我们的贡献是：1）提出了一个称为 HEMVIP 的框架，用于多视频刺激的并行精细评估；2）一项验证研究，确认使用该工具获得的结果与先前采用常规多重成对比较的研究结果高度一致。
引用
@article{arxiv.2101.11898,
title = {HEMVIP: Human Evaluation of Multiple Videos in Parallel},
author = {Patrik Jonell and Youngwoo Yoon and Pieter Wolfert and Taras Kucherenko and Gustav Eje Henter},
journal= {arXiv preprint arXiv:2101.11898},
year = {2021}
}
备注
6 pages, 1 figures. Proceedings of the 22th ACM International Conference on Multimodal Interaction. 2021. Montreal, Canada