从解定义问题：逆强化学习及其在下一代网络中的应用
网络与互联网体系结构
2024-04-03 v1
摘要
性能优化是网络中的一个关键问题，深度强化学习（DRL）在这方面取得了巨大成功。然而，DRL训练依赖于精确定义的奖励函数，这些函数形式化了优化目标，并指示了朝向最优的正/负进展。随着下一代网络（NGN）中环境复杂性和人类参与度的不断增加，定义合适的奖励函数变得具有挑战性。在本文中，我们探讨了逆强化学习（IRL）在NGN中的应用。特别地，如果DRL旨在找到问题的最优解，那么IRL则从最优解中找到问题，其中最优解从专家处收集，而问题通过奖励推断来定义。具体来说，我们首先正式介绍IRL技术，包括其基本原理、工作流程以及与DRL的区别。之后，我们介绍了IRL在NGN中应用的动机，并调查了现有研究。此外，为了演示在NGN中应用IRL的过程，我们进行了一个关于生成式AI网络中以人为本的提示工程的案例研究。我们展示了同时使用DRL和IRL技术的有效性，并证明了IRL的优越性。
引用
@article{arxiv.2404.01583,
title = {Defining Problem from Solutions: Inverse Reinforcement Learning (IRL) and Its Applications for Next-Generation Networking},
author = {Yinqiu Liu and Ruichen Zhang and Hongyang Du and Dusit Niyato and Jiawen Kang and Zehui Xiong and Dong In Kim},
journal= {arXiv preprint arXiv:2404.01583},
year = {2024}
}
备注
9 pages