Sonicverse：面向具身家用智能体看听感知的多感官仿真平台
机器人学
2023-09-19 v2 计算机视觉与模式识别
人机交互
摘要
近年来，在仿真中开发具身智能体已成为一个关键研究课题。各类仿真器中已开发出令人振奋的新任务、新算法和新基准。然而，它们大多假设智能体在静默环境中是“聋”的，而人类是通过多种感官来感知世界的。我们提出 Sonicverse，一个集成了音视频仿真的多感官仿真平台，用于训练既能看又能听的家用智能体。Sonicverse 在三维环境中实时建模逼真的连续音频渲染。配合一种新颖的音视频 VR 接口（允许人类通过音频与智能体交互），Sonicverse 支持一系列需要音视频感知的具身 AI 任务。特别地，针对语义音视频导航，我们还提出了一种新多任务学习模型，取得了最先进的性能。此外，我们通过仿真到真实的迁移展示了 Sonicverse 的逼真性，这是其他仿真器未能实现的：在 Sonicverse 中训练的智能体能够在真实环境中成功执行音视频导航。Sonicverse 可在 https://github.com/StanfordVL/Sonicverse 获取。
引用
@article{arxiv.2306.00923,
title = {Sonicverse: A Multisensory Simulation Platform for Embodied Household Agents that See and Hear},
author = {Ruohan Gao and Hao Li and Gokul Dharan and Zhuzhu Wang and Chengshu Li and Fei Xia and Silvio Savarese and Li Fei-Fei and Jiajun Wu},
journal= {arXiv preprint arXiv:2306.00923},
year = {2023}
}
备注
In ICRA 2023. Project page: https://ai.stanford.edu/~rhgao/sonicverse/. Code: https://github.com/StanfordVL/sonicverse. Gao and Li contributed equally to this work and are in alphabetical order