一种具有区域感知与共享路径经验的强化学习框架用于片上网络高效路由
分布式、并行与集群计算
2023-07-24 v1
摘要
片上网络(NoC)架构为新兴多核系统提供了可扩展、高性能且可靠的互连。NoC中使用的路由策略对整体性能有显著影响。先前工作提出了基于强化学习(RL)的自适应路由策略，以规避NoC中的拥塞并最小化延迟。RL策略的输出质量取决于选择具代表性的代价函数与有效的更新机制。遗憾的是，现有NoC路由的RL策略未能在代价函数中体现路径争用与区域拥塞。此外，共享同一路由的数据包流经验未被充分纳入RL更新机制。本文中，我们提出一种新颖的区域拥塞感知基于RL的NoC路由策略Q-RASP，其能够共享使用相同路由的数据包经验。与最先进的基于RL的NoC路由实现相比，Q-RASP将平均数据包延迟最多降低18.3%，并将NoC能耗最多减少6.7%，且面积开销极小。
引用
@article{arxiv.2307.11712,
title = {A Reinforcement Learning Framework with Region-Awareness and Shared Path Experience for Efficient Routing in Networks-on-Chip},
author = {Kamil Khan and Sudeep Pasricha},
journal= {arXiv preprint arXiv:2307.11712},
year = {2023}
}