基于持续深度强化学习的抗干扰：防止灾难性遗忘
机器学习
2024-10-15 v1 人工智能
网络与互联网体系结构
摘要
深度强化学习 (DRL) 在从和适应射频环境中学习方面表现卓越，从而检测和缓解干扰效应以促进可靠无线通信。然而，传统 DRL 方法在动态无线环境中易受灾难性遗忘 (即在学习新任务时忘记旧任务) 的影响，尤其是当干扰模式随时间变化时。这篇论文考虑了一个抗干扰系统并解决 DRL 用于干扰检测和缓解中的灾难性遗忘问题。首先，我们展示了在应用于干扰检测和缓解任务时灾难性遗忘的影响，即网络在适应新模式的同时忘记了以前学习的干扰模式。这种灾难性干扰削弱了系统效果，特别是在环境非平稳的情况下。我们提出一种使网络能够保留旧干扰模式知识同时学习新模式的方法。我们的做法显著减少了灾难性遗忘，使抗干扰系统能够在不损害以前任务有效性的前提下学习新任务。此外，我们引入了在抗干扰框架中顺序学习任务的系统方法。通过利用基于 PackNet 的持续 DRL 技术，我们实现了比标准 DRL 方法更优的抗干扰性能。我们的方法不仅解决了灾难性遗忘，还增强了系统在动态干扰环境中的适应性和鲁棒性。我们展示了该方法在保持过去干扰模式知识、高效学习新任务以及实现优于传统 DRL 方法的优异抗干扰性能方面的有效性。
引用
@article{arxiv.2410.10521,
title = {Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation},
author = {Kemal Davaslioglu and Sastry Kompella and Tugba Erpek and Yalin E. Sagduyu},
journal= {arXiv preprint arXiv:2410.10521},
year = {2024}
}
备注
IEEE MILCOM 2024