利用真实而丰富的 3D 环境构建可泛化智能体
机器学习
2018-04-10 v2 人工智能
摘要
教智能体在未见过的 3D 环境中导航是一项具有挑战性的任务，即便在模拟环境中亦然。为泛化到未见环境，智能体需对低级变化（如颜色、纹理、物体改变）以及高级变化（如环境布局改变）具有鲁棒性。为改善整体泛化能力，必须通过不同层级的数据增强步骤将环境中的各类变化纳入考量。为此，我们提出 House3D，一个丰富、可扩展且高效的环境，包含基于 SUNCG 数据集（Song 等）的 45,622 个人类设计的视觉逼真房屋 3D 场景，从单间工作室到多层住宅，配备多样且完全标注的 3D 物体、纹理与场景布局。House3D 的多样性为场景级增强打开了大门，而其富含标注的特性使我们能够注入像素级与任务级增强，如域随机化（Toubin 等）与多任务训练。使用 House3D 中房屋的子集，我们表明，经不同层级增强扩充训练的强化学习智能体在未见环境中的导航成功率比以原始 RGB 输入为基线的模型高出逾 8%。House3D 公开于 http://github.com/facebookresearch/House3D。
引用
@article{arxiv.1801.02209,
title = {Building Generalizable Agents with a Realistic and Rich 3D Environment},
author = {Yi Wu and Yuxin Wu and Georgia Gkioxari and Yuandong Tian},
journal= {arXiv preprint arXiv:1801.02209},
year = {2018}
}
备注
updated with improved content and more experinemnts