进行中工作：时间扩展的辅助任务
机器学习
2020-04-20 v3 人工智能
摘要
预测性辅助任务已在大量强化学习工作中被证明可提升性能，然而该效应仍未被充分理解。此处所呈现工作的主要目的是研究辅助任务的预测时间尺度对智能体策略性能的影响。我们考虑使用时序差分学习进行策略上预测学习的辅助任务。我们使用一种特定形式的辅助任务测试预测时间尺度的影响，其中输入图像被用作预测目标，我们称之为时序差分自编码器（TD-AE）。我们在VizDoom环境中使用不同预测时间尺度对A2C算法的TD-AE效果进行经验评估。虽然我们未观察到预测时间尺度与性能之间的明确关系，但做出如下观察：1）使用辅助任务使我们能够减少A2C算法的轨迹长度；2）在某些情况下时间扩展的TD-AE表现优于普通自编码器；3）带辅助任务的性能对辅助损失上的权重敏感；4）尽管存在此敏感性，辅助任务在无需大量超参数调优的情况下改善了性能。我们的总体结论是，TD-AE提升了A2C算法对轨迹长度的鲁棒性，且尽管有前景，仍需进一步研究以充分理解辅助任务预测时间尺度与智能体性能之间的关系。
引用
@article{arxiv.2004.00600,
title = {Work in Progress: Temporally Extended Auxiliary Tasks},
author = {Craig Sherstan and Bilal Kartal and Pablo Hernandez-Leal and Matthew E. Taylor},
journal= {arXiv preprint arXiv:2004.00600},
year = {2020}
}
备注
Accepted for the Adaptive and Learning Agents (ALA) Workshop at AAMAS 2020