论数据收集对于训练通用目标达成策略的重要性
人工智能
2023-02-21 v2
摘要
机器学习（ML）近期的进展表明，模型可用数据量是取得高性能的主要瓶颈之一。尽管基于语言的任务存在几乎无限的合理连贯训练数据，但强化学习通常并非如此，尤其在处理新颖环境时。实际上，即便相对简单的连续环境也具有近乎无限的状态数，但简单采样随机状态与动作很可能无法提供对任何潜在下游任务有趣或有用的转移。在仅给定 MDP 且无下游任务指示的情况下，应如何生成海量有用数据？数据的数量与质量是否真正变革通用控制器的性能？我们拟回答这两个问题。首先，我们引入一种有原则的无监督探索方法 ChronoGEM，旨在实现对可达状态流形的均匀覆盖，我们认为在无从任务先验时是最合理的目标。其次，我们研究数据数量与数据质量对下游目标达成策略训练的影响，并表明大量且高质量的数据对于训练通用控制器至关重要：一个高精度姿态达成策略，能够在包括人形在内的众多连续控制载体上达成大量姿态。
引用
@article{arxiv.2211.03521,
title = {On the importance of data collection for training general goal-reaching policies},
author = {Alexis Jacq and Manu Orsini and Gabriel Dulac-Arnold and Olivier Pietquin and Matthieu Geist and Olivier Bachem},
journal= {arXiv preprint arXiv:2211.03521},
year = {2023}
}