面向可复现且可访问的机器人智能体评估的集成基准测试与设计
机器人学
2020-09-10 v1 机器学习
摘要
随着机器人技术日趋成熟且复杂度不断提升，机器人自主性研究的可复现性比以往任何时候都更为必要。与其他科学相比，自主性基准测试面临特定挑战，例如软件栈的复杂性、硬件的变异性以及对数据驱动技术的依赖等。在本文中，我们描述了一种可复现机器人研究的新理念，其将开发与基准测试相集成，从而使可复现性在研究/开发过程之初即“按设计”获得。我们首先给出实现该目标的整体概念性目标，随后给出一个我们已构建的具体实例：DUCKIENet。该装置的核心组件之一是 Duckietown Autolab，这是一个可远程访问的标准化装置，其本身也相对低成本且可复现。在评估智能体时，对接口的仔细定义使用户能够在基于仿真、日志或远程自动化硬件装置的本地与远程评估之间作出选择。我们通过分析使用该基础设施所进行实验的重复性来验证该系统，并表明在不同机器人硬件与不同远程实验室之间方差较低。
引用
@article{arxiv.2009.04362,
title = {Integrated Benchmarking and Design for Reproducible and Accessible Evaluation of Robotic Agents},
author = {Jacopo Tani and Andrea F. Daniele and Gianmarco Bernasconi and Amaury Camus and Aleksandar Petrov and Anthony Courchesne and Bhairav Mehta and Rohit Suri and Tomasz Zaluska and Matthew R. Walter and Emilio Frazzoli and Liam Paull and Andrea Censi},
journal= {arXiv preprint arXiv:2009.04362},
year = {2020}
}
备注
IROS 2020; Code available at https://github.com/duckietown