寻找更佳适配?一种适应个体驾驶员的增量学习多模态对象引用框架
人机交互
2024-02-08 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
汽车行业向自动化和半自动化车辆的快速发展使得传统的车辆交互方式(如触摸和语音命令系统)已不足以应对日益增多的非驾驶相关任务,例如引用车外物体。因此,研究已转向手势输入(如手、注视和头部姿势手势)作为驾驶过程中更合适的交互模式。然而,由于驾驶的动态性和个体差异,驾驶员的手势输入表现存在显著差异。虽然理论上,这种固有的变异性可以通过大规模数据驱动的机器学习模型来调节,但主流方法倾向于使用受限的、单实例训练的模型进行对象引用。这些模型在持续适应个体驾驶员的不同行为和驾驶场景多样性方面能力有限。为了解决这个问题,我们提出了\textit{IcRegress},一种新颖的基于回归的增量学习方法,该方法适应于从事驾驶和对象引用双重任务的驾驶员的行为变化和独特特征。我们提出了一种更个性化和适应性强的多模态手势界面解决方案,采用持续终身学习来增强驾驶员的体验、安全性和便利性。我们的方法使用车外对象引用用例进行了评估,突出了增量学习模型相比单一训练模型在各种驾驶员特征(如用手习惯、驾驶经验和多种驾驶条件)上的优越性。最后,为了促进可重复性、简化部署并推动进一步研究,我们将我们的方法作为开源框架提供,网址为 \url{https://github.com/amrgomaaelhady/IcRegress}。
引用
@article{arxiv.2401.16123,
title = {Looking for a better fit? An Incremental Learning Multimodal Object Referencing Framework adapting to Individual Drivers},
author = {Amr Gomaa and Guillermo Reyes and Michael Feld and Antonio Krüger},
journal= {arXiv preprint arXiv:2401.16123},
year = {2024}
}
备注
Accepted for publication in the Proceedings of the 29th International Conference on Intelligent User Interfaces (IUI'24), March 18--21, 2024, in Greenville, SC, USA