通过多模态界面与交通监控摄像头进行自然交互
人机交互
2021-03-09 v1
摘要
人机界面在现代软件系统的可用性与命令可解释性方面一直发挥着基础作用。随着人工智能概念的爆发，此类界面已开始弥合用户与系统本身之间的鸿沟，并进一步演化为自适应用户界面（AUI）。元界面是朝向用户更近一步的发展，其目标是在环境交互空间中支持人类活动；通过这种方式，用户可以控制周边空间并与之交互。本工作旨在提出一种元用户界面，其利用 Put That There 范式，通过自然语言与手势实现用户的快速交互。应用场景为视频监控控制室，其中动作与反应的速度对城市安全及驾驶员与行人安全至关重要。交互面向三种环境：第一种是控制室本身，操作员可通过语音命令与手势组织现场摄像头相关监视器的视图，并将音频传输至耳机或控制室扬声器。第二种涉及视频控制，以便来回切换至显示特定事件的场景，或对任意摄像头进行缩放；第三种允许操作员在需要时向特定街道派遣救援车辆。手势数据通过 Microsoft Kinect 2 获取，其捕捉指向与手势，使用户能够进行多模态交互，从而提升交互的自然性；相关模块将运动信息映射至特定指令，并由语音命令辅助其执行。
引用
@article{arxiv.2103.01518,
title = {Natural interaction with traffic control cameras through multimodal interfaces},
author = {Marco Grazioso and Alessandro Sebastian Podda and Silvio Barra and Francesco Cutugno},
journal= {arXiv preprint arXiv:2103.01518},
year = {2021}
}