用于整数硬件的量化连续控制器学习
机器学习
2025-11-18 v3 人工智能
摘要
在嵌入式硬件上部署连续控制强化学习策略需要满足严格的延迟和功耗预算。小型 FPGA 可以实现这一点，但仅当避免昂贵的浮点流水线时。我们研究了针对整数推断的量化感知训练 (QAT)，并提出了一条学习到硬件的管道，可自动选择低位策略并将其综合到 Artix-7 FPGA 上。在五个 MuJoCo 任务中，我们获得的策略网络与全精度 (FP32) 策略网络相当，但仅需 3 位甚至仅需 2 位每个权重和每个内部激活值，前提是 carefully 选择输入精度。在目标硬件上，选定的策略实现的推理延迟为微秒级，并在每个动作上消耗微焦耳，优于量化参考。最后，我们观察到量化策略在输入噪声鲁棒性方面优于浮点基线。
引用
@article{arxiv.2511.07046,
title = {Learning Quantized Continuous Controllers for Integer Hardware},
author = {Fabian Kresse and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2511.07046},
year = {2025}
}
备注
17 pages, 6 figures