开放世界中的预期思维挑战：风险管理

预期思维驱动我们在日常生活中管理风险——识别与缓解——从可能下雨时带伞到购买车险。随着 AI 系统成为日常生活一部分，它们也开始管理风险。自动驾驶汽车记录数百万英里，StarCraft 与 Go 智能体具备与人类相似的能力，隐式管理对手带来的风险。为进一步提升这些任务中的表现，分布外评估可刻画模型偏差，我们视其为一种风险管理。然而，学习识别并缓解低频高影响风险，与训练机器学习模型所需的观测偏差相悖。StarCraft 与 Go 是封闭世界领域，其风险已知且缓解有详尽记录，理想用于通过重复学习。对抗过滤数据集提供困难样本但策划费力且静态，二者皆为现实风险管理的障碍。对抗鲁棒性聚焦于模型投毒，假设存在恶意意图的对手，却不考量自然发生的对抗样本。这些方法皆为改进风险管理的重要步骤，但均未考量开放世界。我们以两项贡献统一这些开放世界风险管理挑战。其一是我们的感知挑战，为对环境感知不完美且后果高影响的智能体设计。其二是认知挑战，为必须随识别新风险与学习新缓解而动态调整风险暴露的智能体设计。我们设这些挑战的目标，是激励研究出评估并改进 AI 智能体在开放世界乃至现实世界中管理风险所需预期思维的解决方案。