基于核心集的选择性经验回放压缩用于医学影像中的终身深度强化学习
机器学习
2024-01-11 v5 计算机视觉与模式识别
摘要
选择性经验回放是将终身学习与深度强化学习相结合的常用策略。选择性经验回放旨在复述来自先前任务的选择性经验，以避免灾难性遗忘。此外，基于选择性经验回放的技术与模型无关，并允许经验在不同模型间共享。然而，随着任务数量增加，存储所有先前任务的经验使得使用选择性经验回放的终身学习在计算上非常昂贵且不实用。为此，我们提出了一种保留奖励分布的核心集压缩技术，用于压缩为选择性经验回放所存储的经验回放缓冲区。我们在脑肿瘤分割（BRATS）数据集上针对脑室定位任务，以及在全身 MRI 上针对左膝盖骨、左肾、右转子、左肺和脾脏的定位评估了该核心集压缩技术。在 10 个不同脑 MR 成像环境序列上训练的核心集终身学习模型，以 10 倍压缩比定位脑室时表现出色，平均像素误差距离为 12.93。相比之下，常规终身学习模型定位脑室的平均像素距离为 10.87。类似地，在全身 MRI 上训练的核心集终身学习模型，其 10 倍压缩核心集终身学习模型与常规终身学习模型在所有标志点上无显著差异（p=0.28）。所有标志点上 10 倍压缩模型的平均像素距离为 25.30，而常规终身学习模型为 19.24。我们的结果表明，基于核心集的 ERB 压缩方法能够在性能无显著下降的情况下压缩经验。
引用
@article{arxiv.2302.11510,
title = {Selective experience replay compression using coresets for lifelong deep reinforcement learning in medical imaging},
author = {Guangyao Zheng and Samson Zhou and Vladimir Braverman and Michael A. Jacobs and Vishwa S. Parekh},
journal= {arXiv preprint arXiv:2302.11510},
year = {2024}
}