形式化副作用正则化问题
人工智能
2022-11-10 v3
摘要
AI目标往往难以正确指定。一些方法通过正则化AI的副作用来解决此问题：智能体必须在其造成的“混乱程度”与不完善指定的代理目标之间进行权衡。我们借助辅助博弈框架提出了一种副作用正则化的形式化准则。在这些博弈中，智能体求解一个部分可观测马尔可夫决策过程（POMDP），该过程表示其对应当优化的目标函数的不确定性。我们考虑真实目标在后续时间步揭示给智能体的设定。我们证明该POMDP的解法是在代理奖励与智能体实现一系列未来任务的能力之间进行权衡。我们通过在两个网格世界环境中的真实评估，实证展示了我们问题形式化的合理性。
引用
@article{arxiv.2206.11812,
title = {Formalizing the Problem of Side Effect Regularization},
author = {Alexander Matt Turner and Aseem Saxena and Prasad Tadepalli},
journal= {arXiv preprint arXiv:2206.11812},
year = {2022}
}
备注
14 pages, accepted to ML Safety Workshop at NeurIPS 2022. Alexander Turner and Aseem Saxena contributed equally