依据用户与任务特征调整计算机告警工具告警阈值以改善人类决策

目标：探究由计算机告警工具辅助的人类其绩效（正确决策数）是否可通过依据用户能力与任务难度定制工具告警阈值（灵敏度/特异度组合）而改善。背景：许多研究者隐式假定每种工具存在单一理想阈值。但研究表明告警工具对决策错误的影响随用户能力、任务难度等变量而变。这些发现促成本研究。方法：47名参与者在校对文本段落时由模拟拼写检查工具辅助。我们实验操控段落难度与工具告警阈值，测量参与者编辑与听写能力，并统计其决策错误（假阳性+假阴性）。我们探究告警阈值、用户能力、任务难度及其交互是否影响错误数。结果：何种告警阈值更能帮助用户取决于用户能力与段落难度的交互。部分效应较大：对能力较高用户，在较简单段落上更灵敏的阈值减少30%错误。参与者并未显著更倾向于偏好其表现更好的告警阈值。结论：针对个体用户能力与任务难度调整告警阈值可大幅改善自动告警对用户决策的效果。该潜力值得进一步研究。改善幅度与调整规则将因应用而异。应用：计算机告警工具在许多领域有关键作用。设计者应评估其特定CAT应用中可调告警阈值的潜在收益。选择阈值的指导对实践中实现这些收益至关重要。