ML-PersRef：一种基于机器学习的个性化多模态融合方法用于从行驶车辆中指代车外物体
人机交互
2021-11-04 v1 计算机视觉与模式识别
摘要
过去几十年中，现代车辆加装数百个传感器使其能力呈指数级增长。这使得超越传统基于触摸与语音指令的车辆交互新方法成为可能，例如情绪识别、头部转动、视线注视与指向手势。尽管视线与指向手势此前已用于指代车内与车外物体，但这些手势的多模态交互与融合迄今尚未被广泛研究。我们提出一种新颖的基于学习的多模态融合方法，用于在模拟环境中保持长驾驶路线时指代车外物体。所提出的多模态方法在多方面与条件下优于单模态方法。此外，我们还展示了在完成指代任务时利用用户间行为差异的可能方式，以实现面向每位驾驶员的自适应个性化系统。我们提出一种基于迁移学习概念的个性化技术，用于极小规模数据以增强预测并适应个体化的指代行为。我们的代码公开于 https://github.com/amr-gomaa/ML-PersRef。
引用
@article{arxiv.2111.02327,
title = {ML-PersRef: A Machine Learning-based Personalized Multimodal Fusion Approach for Referencing Outside Objects From a Moving Vehicle},
author = {Amr Gomaa and Guillermo Reyes and Michael Feld},
journal= {arXiv preprint arXiv:2111.02327},
year = {2021}
}