用于遏制机器学习模型错误的注意力规则自动生成
机器学习
2023-05-16 v1 应用统计
摘要
机器学习（ML）解决方案在许多应用中十分普遍。然而，使这些解决方案达到业务级水平仍面临诸多挑战，例如将底层 ML 模型的错误率维持在可接受的低水平。通常，特征输入与待预测目标特征之间的真实关系是不确定的，因而具有统计性质。我们提出的方法是将最有可能被错误预测的观测分离为“注意力集”。这些集合可直接辅助模型诊断与改进，并用于为这些疑难观测决定替代处理方案。我们提出若干用于确定分离这些观测的最优规则的算法（“策略”）。特别地，我们偏好使用基于特征切片的策略，因为它们具有人类可解释性、模型无关性，且只需极少的补充输入或知识。此外，我们表明这些策略优于若干常见基线，例如选取预测置信度低于阈值的观测。为评估策略，我们引入度量以衡量各种期望性质，如性能、稳定性及对未见数据的泛化能力；这些策略在多个公开数据集上进行了评估。我们使用 TOPSIS（一种多准则决策方法）将这些度量聚合为各策略的单一质量分数以便比较。
引用
@article{arxiv.2305.08115,
title = {Automatic Generation of Attention Rules For Containment of Machine Learning Model Errors},
author = {Samuel Ackerman and Axel Bendavid and Eitan Farchi and Orna Raz},
journal= {arXiv preprint arXiv:2305.08115},
year = {2023}
}