中文

创造健康的摩擦:确定职责方需求以制定工作推荐解释

人机交互 2024-09-25 v1 人工智能

摘要

信息检索的使用日益增多,主要通过工作推荐系统 (JRS) 实现,对求职者、招聘人员和公司都可能产生巨大影响。因此,这些系统被确定为近期立法中的高风险项目。这要求 JRS 必须具有可信度和透明度,使职责方能够理解特定推荐的原因。为满足这一要求,必须确定职责方的确切偏好和需求。为此,我们评估了一个可解释的工作推荐系统,使用一个真实、基于任务的混合设计用户研究 (n=30),让职责方必须基于模型的解释做出决策。该混合方法评估包括两个客观指标——正确性和效率,以及三个主观指标——信任度、透明度和有用性。这些指标在每位参与者处评估两次,一次使用真实解释,一次使用随机解释。该研究包括在每个职责方群体中适应的任务下进行思考 aloud 法的定性分析。我们发现,提供职责方真实解释并不显著提高决策速度和准确性。我们的结果显示,真实解释在所有职责方类型上对感知信任度、有用性和系统透明度表现出非显著的趋势优于随机解释。我们确定,职责方从与能够提供健康摩擦的解释进行交互方面受益更多,而不是作为之前假设的说服工具。

关键词

引用

@article{arxiv.2409.15971,
  title  = {Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations},
  author = {Roan Schellingerhout and Francesco Barile and Nava Tintarev},
  journal= {arXiv preprint arXiv:2409.15971},
  year   = {2024}
}

备注

14 pages, 3 figures, to be published in ACM RecSys in HR '24: 4th Workshop on Recommender Systems for Human Resources