自主智能体能否从听觉中获益
机器学习
2019-05-13 v1 人工智能
声音
机器学习
摘要
深度强化学习中从状态到动作的映射主要基于视觉信息。处理视觉信息的常用方法是从图像中提取像素并将其用作强化学习智能体的状态表示。但是，任何仅依赖视觉的智能体都会因无法感知听觉线索而存在缺陷。动物利用听觉能够感知超出其视觉范围的目标。在这项工作中，我们提出将音频作为对纯视觉状态表示的补充信息。我们在 ViZDoom 环境中评估了这种多模态设置对到达目标任务的影响。结果表明，当视觉信息辅以音频特征时，智能体的行为得到改善。
引用
@article{arxiv.1905.04192,
title = {Do Autonomous Agents Benefit from Hearing?},
author = {Abraham Woubie and Anssi Kanervisto and Janne Karttunen and Ville Hautamaki},
journal= {arXiv preprint arXiv:1905.04192},
year = {2019}
}