追踪已部署模型的风险并检测有害分布偏移

当机器学习模型部署于真实世界时，不可避免地会遇到数据分布的变化，且某些——而非全部——分布偏移可能导致显著的性能退化。在实践中，忽略良性偏移可能是合理的，在良性偏移下已部署模型的性能不会大幅退化，从而使得人类专家干预（或模型重训练）不必要。尽管若干工作已开发了分布偏移检验，但这些通常要么使用非序贯方法，要么检测任意偏移（良性或有害），或两者兼而有之。我们认为，一个合理的预警触发方法必须同时（a）检测有害偏移而忽略良性偏移，以及（b）允许持续监控模型性能而不增加误报率。在本工作中，我们设计了简单的序贯工具，用于检验源（训练）分布与目标（测试）分布之间的差异是否导致感兴趣的风险函数（如准确率或校准度）显著上升。近期在构建时间一致置信序列方面的进展使得跟踪过程中积累的统计证据能够高效聚合。所设计的框架适用于（部分）真实标签在预测执行后揭晓，或成批标签延迟可用的场景。我们通过针对一组模拟与真实数据集的广泛实证研究展示了所提框架的有效性。