多模态模型在 varied home 环境中的鲁棒性测试——面向助理式机器人

助理式机器人代理的开发正在推进，但底层模型往往 operates in virtual settings that do not reflect real-world complexity。对于助理式护理机器人在多样化环境中有效工作，其模型必须具备鲁棒性并能整合多种模态。考虑到在光线昏暗的房间中需要帮助照顾者，或在新安装的玻璃门前导航的情形。仅依赖视觉输入的模型在光线不足时可能会失败，而仅使用深度信息的模型则可能避开该门。这表明需要能够处理各种感知输入的模型。我们正在对 AI2Thor 虚拟环境中的最先进机器人模型进行评估。我们引入干扰因素，如调暗灯光和镜像墙，来评估其对运动、视觉和物体识别等模态的影响。我们的目标是为 Geriatronics 社区收集输入，以理解和建模护理从业者所面临的挑战。