MarkupLens：在专业视频标注中平衡计算机视觉辅助与控制
人机交互
2025-11-20 v2
摘要
基于视频的设计 (VBD) 将视频作为分析用户交互、原型制作及生成设计洞察的主要媒介。然而，当前的 VBD 工作流程受限于耗时的、一致性不强的手动标注，这些标注碎片化注意力并延迟洞察。计算机视觉 (CV) 驱动的自动标注提供了减少手动工作量并支持更高层次解释的机会。本文通过考察不同水平的自动化支持如何塑造 VBD 中用户体验，来探讨人类与人工智能在视频分析中的协作方式。我们开发了 MarkupLens 这一 CV 辅助标注平台，并针对一个城市级 VBD 案例，对36名设计师进行了在众被设计的眼动追踪研究。我们比较了三种自动化水平：无支持、部分支持和完全支持，发现更高的自动化水平可提高标注质量、降低认知负荷，更有趣的是，丰富了反思过程。我们对自动化水平的洞察为超越 VBD 任务的可调 autonomy 与混合主导系统设计提供了指导。
引用
@article{arxiv.2403.05201,
title = {MarkupLens: Balancing Computer Vision Assistance and Control in Professional Video Annotation for Video-Based Design Tasks},
author = {Tianhao He and Evangelos Niforatos and Gerd Kortuem},
journal= {arXiv preprint arXiv:2403.05201},
year = {2025}
}