DoShiCo 挑战：控制预测中的域偏移

为真实世界应用端到端训练深度神经网络策略，目前需要在真实世界中有大型演示数据集，或由大量多样且逼真的紧密相关的 3D CAD 模型组成的大型集合。此外，这些真实或虚拟数据应与测试时预期的条件具有非常相似的特征。这些严苛的要求及其所伴随的耗时数据收集过程，目前是阻碍深度强化学习部署于真实世界应用的最重要因素。因此，在这项工作中我们倡导一种替代方法：目标不是通过仔细选择训练数据来避免任何域偏移，而是学习一个能够应对域偏移的策略。为此，我们提出 DoShiCo 挑战：在非常基础、远离真实的合成环境中训练模型，使其能应用于更真实的环境，并对真实世界数据做出控制决策。具体而言，我们聚焦于无人机的避撞任务。我们创建了一组可用作基准的模拟环境，并实现了一种基线方法，利用深度预测作为辅助任务来帮助克服域偏移。尽管策略在非常基础的环境中训练，它仍能在差异很大的真实感模拟环境中学会无碰撞飞行。当然，已有若干强化学习基准存在——但它们从未包含大的域偏移。另一方面，计算机视觉中若干基准关注域偏移，但它们以静态数据集而非模拟环境的形式出现。在这项工作中我们主张，将这两大挑战置于同一基准中至关重要。