NarrationBot 与 InfoBot：一种用于自动视频描述的混合系统
人机交互
2022-01-12 v2 计算机视觉与模式识别
机器学习
摘要
视频无障碍对于盲人和低视力用户在教育、就业和娱乐中的公平参与至关重要。尽管已有专业和业余的服务与工具，大多数人工作出的描述成本高且耗时。此外，人工作出描述的速度无法匹配视频制作的速度。为克服视频无障碍方面日益扩大的差距，我们开发了一个由两种工具组成的混合系统，以 1) 自动生成视频描述，以及 2) 针对用户对视频的查询提供答案或额外描述。一项有 26 名盲人和低视力个体参与的混合方法研究结果表明，当两种工具协同使用时，我们的系统显著提升了用户对所选视频的理解与享受程度。此外，参与者报告称，在观看自动生成描述与人工修订后的自动生成描述时，其理解视频的能力无显著差异。我们的结果展示了用户对该系统的热情及其在提供定制化视频访问方面的前景。我们讨论了当前工作的局限性，并对自动视频描述工具的未来发展提出建议。
引用
@article{arxiv.2111.03994,
title = {NarrationBot and InfoBot: A Hybrid System for Automated Video Description},
author = {Shasta Ihorn and Yue-Ting Siu and Aditya Bodi and Lothar Narins and Jose M. Castanon and Yash Kant and Abhishek Das and Ilmi Yoon and Pooyan Fazli},
journal= {arXiv preprint arXiv:2111.03994},
year = {2022}
}
备注
arXiv admin note: This article has been withdrawn by arXiv administration due to an unresolvable authorship dispute