通过不确定性分解实现医疗干预中风险感知的强化学习
机器学习
2021-11-01 v2 机器学习
摘要
强化学习(RL)正成为解决复杂控制与决策问题的工具。然而，在医疗、制造、汽车或航空航天等高风险环境中，由于相关不确定性与风险，通常难以弥合智能体学到的表面最优策略与其实际部署之间的鸿沟。广义而言，RL智能体面临两类不确定性：1. 偶然不确定性(aleatoric uncertainty)，反映世界动力学中的随机性或噪声；2. 认知不确定性(epistemic uncertainty)，反映由于模型局限及智能体对世界所获信息/数据有限而导致的知识受限。这两类不确定性对性能评估及风险或信任水平具有根本不同的含义。然而这些偶然与认知不确定性通常被混淆，因为标准乃至分布化RL对此差异不可知。本文提出如何将分布化方法(UA-DQN)重构以通过分解各不确定性的净效应来呈现不确定性。我们在网格世界示例中演示该方法以建立直觉，随后展示作为重症监护临床决策支持系统的RL智能体的概念验证应用。
引用
@article{arxiv.2109.07826,
title = {Directed degree corrected mixed membership model and estimating community memberships in directed networks},
author = {Huan Qing},
journal= {arXiv preprint arXiv:2109.07826},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2101.02307