考虑可接受性松弛的价值对齐策略学习算法

新兴的价值意识工程领域主张软件智能体和系统应具备价值意识，即必须根据人类价值做出决策。在此背景下，这些智能体必须能够明确推理不同的行动方案与这些价值有多大程度的对齐。为此，通常将价值建模为对状态或行动的偏好，然后聚合这些偏好以确定与特定价值最匹配的行动序列。最近，还考虑了该层次上的额外价值可接受性约束。然而，常常需要这些约束的松弛版本，这大大增加了计算价值对齐策略的复杂度。为获得在可接受性松弛条件下进行价值对齐决策的高效算法，我们提出使用学习技术，特别是我们使用了受约束的强化学习算法。在本文中，我们提出两种算法，$\epsilon\text{-}ADQL$ 用于基于局部对齐的策略，其扩展形式 $\epsilon\text{-}CADQL$ 用于一系列决策。我们在一个干旱情景下的水分配问题中验证了其效率。