内外观察：面向驾驶员安全评估与智能车辆决策的多模态人工智能系统

‘内外观察’（looking-in-looking-out, LILO）框架已为智能车辆应用提供了解决方案，能够理解车辆外部场景和驾驶员状态，从而改善安全 outcomes。例如在智能气囊部署、自动驾驶控制转换中的接管时间预测，以及驾驶员注意力监控等方面都有实际应用。本研究提出了该框架的一种增强方案，主张将音频模态作为额外信息源用于理解驾驶员状态，在不断演变的自动化环境中，还可用于理解乘客及车辆外部人员。我们通过融合音频信号，将 LILO 扩展为内外聆听框架（looking-and-listening inside-and-outside, L-LIO），以通过多模态传感器融合增强驾驶员状态评估和环境理解。我们评估了三个案例，其中音频提升了车辆安全性：针对驾驶员语音进行监督学习，以分类潜在 impairment 状态（如酒后驾驶），收集和分析乘客自然语言指令（如“在那座红色建筑物后转向”），以展示语言如何通过音频对齐指令数据与规划系统交互；以及视觉系统的局限性，音频可消除外部代理的指引与手势的歧义。数据集包括来自真实环境中车内及车外音频样本的定制收集。试点研究表明，音频在安全相关见解方面尤其有价值，尤其是在声音对安全决策至关重要或视觉信号单独不足以提供足够信息的细粒度或情境丰富的场景中。挑战包括环境噪声干扰、隐私考量以及跨人类主体的鲁棒性，这些都激励着进一步的工作，以提升在动态真实情境中的可靠性。L-LIO 通过音频与视觉感知的多模态融合，增强了驾驶员和场景理解，为安全干预提供了新的路径。