面向Characterize和Communicate AI系统可信度的信任校准成熟度模型
人机交互
2025-11-20 v3 计算机与社会
机器学习
摘要
强大的AI系统的近年快速增长，催生了帮助用户校准这些系统信任能力的需求。随着AI系统规模的扩大，评估其可信度所需的信息变得更加难以获取，这增加了错误使用这些系统的风险。我们提出了信任校准成熟度模型（Trust Calibration Maturity Model, TCMM），以刻画和沟通AI系统可信度信息。TCMM融合了五个分析成熟度维度：性能刻画、偏差与鲁棒性量化、透明度、安全性与安全性以及可用性。TCMM可与系统性能信息一起呈现，以（1）帮助用户适当校准信任，（2）建立需求并跟踪进展，（3）识别研究需求。本文讨论了TCMM，并在两个目标任务上进行演示：使用ChatGPT进行高风险核科学决策，使用PhaseNet（由多个地震模型组成的集成）对地震事件来源进行分类。
引用
@article{arxiv.2503.15511,
title = {The Trust Calibration Maturity Model for Characterizing and Communicating Trustworthiness of AI Systems},
author = {Scott T Steinmetz and Asmeret Naugle and Paul Schutte and Matt Sweitzer and Alex Washburne and Lisa Linville and Daniel Krofcheck and Michal Kucer and Samuel Myren},
journal= {arXiv preprint arXiv:2503.15511},
year = {2025}
}
备注
19 pages, 4 figures, 3 tables