多任务强化学习中的共享-独特特征与任务感知优先采样
机器学习
2024-06-04 v1 人工智能
摘要
我们观察到当前最先进的方法在执行多任务强化学习任务时存在性能不平衡问题。虽然这些方法在平均性能上可能表现令人印象深刻，但它们在少数任务上表现极差。为了解决这个问题，我们提出了一种新的有效方法STARS，它包含两种新颖策略：共享-独特特征提取器和任务感知优先采样。首先，共享-独特特征提取器学习共享特征和任务特定特征，以实现不同任务之间更好的知识协同。其次，任务感知采样策略与优先经验回放相结合，用于对性能较差的任务进行高效学习。我们通过主流Meta-World基准实验验证了STARS的有效性和稳定性。结果表明，我们的STARS在统计上优于当前最先进的方法，并缓解了性能不平衡问题。此外，我们可视化了学习到的特征以支持我们的主张并增强STARS的可解释性。
引用
@article{arxiv.2406.00761,
title = {Shared-unique Features and Task-aware Prioritized Sampling on Multi-task Reinforcement Learning},
author = {Po-Shao Lin and Jia-Fong Yeh and Yi-Ting Chen and Winston H. Hsu},
journal= {arXiv preprint arXiv:2406.00761},
year = {2024}
}
备注
The first two authors contribute equally