面向雾负载均衡的终身学习：一种迁移学习方法

雾计算作为一种有前景的范式出现，以应对物联网（IoT）所产生数据的处理与管理挑战。负载均衡（LB）在雾计算环境中发挥着关键作用，以优化整体系统性能。它需要高效的资源分配来提高资源利用率、最小化延迟并增强终端用户的服务质量。本工作中，我们改进了隐私感知强化学习（RL）智能体的性能，这些智能体通过最小化等待延迟来优化IoT应用的执行延迟。为维护隐私，这些智能体通过最小化整个系统中排队请求数量的变化来优化等待延迟，即不明确观察每个雾节点中排队的请求实际数量，也不观察这些节点的计算资源能力。除改进这些智能体性能外，本文提出一种面向这些智能体的终身学习框架，其中部署期间使用轻量推理模型以最小化动作延迟，并仅在发生显著环境变化时重新训练。为提高性能、最小化训练成本并使智能体适应这些变化，我们探索了迁移学习（TL）的应用。TL将源领域所获得的知识迁移至目标领域，实现习得策略与经验的重用。TL也可用于在真实环境微调前于仿真中预训练智能体；与在真实环境中从零学习相比，这显著降低了失败概率。据我们所知，现有文献中尚无利用TL解决基于RL的雾负载均衡终身学习的尝试；这是雾系统中部署RL负载均衡解决方案的主要障碍之一。