HomeEmergency——利用音频寻找并响应家庭中的紧急情况
机器人学
2025-04-29 v1 人工智能
摘要
在美国每年因意外家中死亡超过 128,000 例。我们的工作旨在使家庭机器人能够响应家中紧急情景，预防伤害和死亡。我们引入了一个基于 ThreeDWorld 模拟器构建的家庭紧急情况新数据集。数据集中的每个情景都以瞬时或周期性声音开头，这种声音可能并非紧急情况。代理人必须使用先前的观察结果，以及来自模拟器的音频信号和图像，来判断是否存在紧急情况。除了我们新的数据集，我们present了一种模块化的方法，用于localize和识别潜在的家庭紧急情况。我们的method的基础是一种新型概率动态场景图 (P-DSG)，其中我们的关键洞察是，代表代理人的图节点可以用概率边表示。这种边经过贝叶斯推断细化后，可有效且高效地localize场景中的代理人。我们还利用多模态视觉语言模型 (VLM)作为我们method的一个组成部分，确定物体特征（例如易燃性）并识别紧急情况。我们展示了一个演示，显示我们的方法在消费者机器人上完成我们任务的真实世界版本，显示了我们任务和方法的可转移性。我们的数据集将在本论文发表后公开。
引用
@article{arxiv.2504.01089,
title = {HomeEmergency -- Using Audio to Find and Respond to Emergencies in the Home},
author = {James F. Mullen and Dhruva Kumar and Xuewei Qi and Rajasimman Madhivanan and Arnie Sen and Dinesh Manocha and Richard Kim},
journal= {arXiv preprint arXiv:2504.01089},
year = {2025}
}