Video2Action: 减少应用教程视频动作标注中的人工交互
人机交互
2023-08-08 v1
摘要
移动应用的教程视频已成为用户学习陌生应用功能的一种流行且引人入胜的方式。为使视频对用户可用,视频创作者始终需要对视频中的动作进行标注,包括执行了什么动作以及在何处点击。然而,这一过程耗时且费力。本文引入一种轻量级方法Video2Action,利用图像处理和深度学习方法从视频中自动生成动作场景并预测动作位置。自动化实验证明了Video2Action从视频中获取动作的良好性能,用户研究表明我们所生成的动作提示在辅助视频创作者进行动作标注方面具有实用性。
引用
@article{arxiv.2308.03252,
title = {Video2Action: Reducing Human Interactions in Action Annotation of App Tutorial Videos},
author = {Sidong Feng and Chunyang Chen and Zhenchang Xing},
journal= {arXiv preprint arXiv:2308.03252},
year = {2023}
}