ComplAI：黑盒监督式机器学习模型多因子评估统一框架理论

人工智能的进展正在创造新的机遇以改善全球各地人们的生活，从商业到医疗，从生活方式到教育。例如，某些系统利用用户的人口统计与行为特征进行特定领域的预测。此类预测往往直接或间接影响用户生活（如贷款发放、确定保险覆盖、筛选申请等）。因此，对此类AI赋能系统的担忧也在增加。为应对这些担忧，此类系统被要求具备责任性，即对开发者和终端用户透明、公平且可解释。本文中，我们提出ComplAI，一个独特的框架，用以启用、观察、分析和量化可解释性、鲁棒性、性能、公平性以及漂移场景下的模型行为，并提供单一的信任因子（Trust Factor），该因子不仅从正确预测能力、更从整体责任性视角评估不同的监督式机器学习模型。该框架帮助用户（a）接入其模型并启用解释，（b）评估和可视化模型的鲁棒性、漂移敏感性与公平性等不同方面，以及（c）从整体视角比较不同模型（来自不同模型族或通过不同超参数设置获得），从而为模型改进提供可操作的补救。它是模型无关的，可工作于不同监督式机器学习场景（即二分类、多分类与回归）与框架。它可无缝集成于任何ML生命周期框架。因此，这一已部署的框架旨在统一责任型AI系统的关键方面，以规范此类实际系统的开发过程。