基于强化学习的 UI 自适应中奖励模型的比较研究

使软件系统的用户界面（UI）适应用户需求与使用情境具有挑战性。主要困难在于在正确的时间、正确的地点建议正确的自适应，以使其对最终用户有价值。我们认为机器学习技术的近期进展为更有效地支持自适应提供了有用途径。特别是，强化学习（RL）可用于针对每种使用情境个性化界面，从而改善用户体验（UX）。然而，确定每种自适应方案的奖励是 RL 用于 UI 自适应中的挑战。近期研究探索了使用奖励模型应对该挑战，但目前尚无关于此类模型的经验证据。在本文中，我们提出一种验证性研究设计，旨在考察在采用 RL 的 UI 自适应情境中两类不同奖励模型生成方法的有效性：（1）采用完全源自预测性人机交互（HCI）模型的奖励模型（HCI），以及（2）采用由人类反馈增强的预测性 HCI 模型（HCI&HF）。该受控实验将使用带有两种处理（HCI 与 HCI&HF）的 AB/BA 交叉设计。我们将确定对这两种处理的操作如何影响与自适应用户界面（AUI）交互时的 UX。UX 将以用户参与度和用户满意度来衡量，分别通过预测性 HCI 模型与用户交互满意度问卷（QUIS）进行操作化。通过比较两种奖励模型在适应用户偏好以改善 UX 方面的能力表现，我们的研究增进了对奖励建模如何促进使用 RL 的 UI 自适应的理解。