面向评估可解释推荐系统信息质量的信号检测度量方法

对于可解释推荐系统的评估研究日益增长，仅有少数研究评估解释的质量。现有评估方法通常通过用户研究，主观收集用户对代表性解释因素的意见，而非关注解释本身的内容。我们旨在通过开发客观度量来弥补这一空白，评估解释的信息质量，即 Veracity。具体而言，我们将 Veracity 分解为两个维度：Fidelity 和 Attunement。Fidelity 指解释是否包含关于所推荐物品的准确信息。Attunement 则评估解释是否反映目标用户的偏好。我们采用信号检测理论，首先确定每个维度的决策结果，然后将其组合计算灵敏度，用作最终的 Veracity 值。为评估所提出度量的有效性，我们设置了四种信息质量水平的情景，以验证该度量是否能够准确捕捉质量差异。结果表明，我们提出的度量能够提供有意义的洞察，有效衡量了可解释推荐系统中解释的质量。