基于全同态加密的 SARSA(0) 强化学习
系统与控制
2021-01-26 v2 密码学与安全
系统与控制
摘要
我们考虑一种云基控制架构，其中本地设备将控制综合任务外包给云。特别地，我们考虑云基强化学习 (RL)，其中值函数的更新被外包给云。为实现机密性，我们在全同态加密 (FHE) 上执行计算。我们使用 CKKS 加密方案与一种改进的 SARSA(0) 强化学习以纳入加密引起的延迟。随后我们给出带阻塞机制的 SARSA(0) 延迟更新规则的收敛结果。最后我们通过在经典杆平衡问题上的实现给出数值演示。
引用
@article{arxiv.2002.00506,
title = {SARSA(0) Reinforcement Learning over Fully Homomorphic Encryption},
author = {Jihoon Suh and Takashi Tanaka},
journal= {arXiv preprint arXiv:2002.00506},
year = {2021}
}
备注
7 pages, 2 figures, submitted to SICE ISCS 2021; replaced with supplementary paragraphs added and format change for the correct publishing medium