面向人员评估的AI：专业评估者需要什么？

近期各组织已开始采用基于AI的决策支持工具来优化人力资源开发实践，同时也面临着在高度情境化且敏感领域中使用AI的各种挑战。我们介绍了旨在帮助专业评估者进行人员评估决策的案例研究，其中评估者与受评者进行访谈并评估其对于特定工作岗位的适合度。我们与两名行业评估者的研讨阐明了他们所面临的困扰（即维持对受评者行为稳定且非主观的观察）并推导出AI系统的需求（即以可解释方式从访谈视频中提取其非语言线索）。对此，我们采用了一种利用多模态行为特征（如面部关键点、身体与头部姿态以及视线）的无监督异常检测算法。该算法基于行为特征从视频中提取离群片段，并告知何种特征导致了离群性。我们首先评估了评估者对这些提取线索的感知，发现得益于其可解释性，该算法在提示评估者关注片段方面颇具用处。随后，我们开发了集成该算法的界面原型，并让六名评估者将其用于实际评估。他们的反馈揭示了引入无监督异常检测以增强评估自信感与客观性的有效性，以及此类基于AI的系统在人员评估中的潜在使用场景。我们的方法建立在人机协作中分离观察与解释这一理念之上，将在保持系统信任的同时，促进诸如人员评估等高度情境化领域中的人类决策。