辅助人类进行文档匹配决策
机器学习
2023-02-17 v1 人机交互
摘要
许多实际应用，从同行评审中的论文-审稿人分配到招聘中的求职者-岗位匹配，都需要人类决策者结合其专业知识与机器学习模型的预测来识别相关匹配。在许多此类模型辅助的文档匹配任务中，决策者强调需要关于模型输出（或数据）的辅助信息以促进其决策。本文设计了一个代理匹配任务，使我们能够评估哪些类型的辅助信息可改善决策者的表现（在准确率和时间方面）。通过众包研究（N=271 名参与者），我们发现提供黑盒模型解释降低了用户在匹配任务上的准确率，这与普遍认为其可通过更好理解模型而有所帮助的信念相反。另一方面，专为密切契合某些任务特定需求而设计的定制方法被证明能有效提升用户表现。令人惊讶的是，我们还发现用户对辅助信息的感知效用与其客观效用（通过其任务表现衡量）不一致。
引用
@article{arxiv.2302.08450,
title = {Assisting Human Decisions in Document Matching},
author = {Joon Sik Kim and Valerie Chen and Danish Pruthi and Nihar B. Shah and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2302.08450},
year = {2023}
}