DNN 运行精度的迭代评估与改进
机器学习
2024-03-27 v1 人工智能
计算机视觉与模式识别
软件工程
摘要
深度神经网络（DNN）如今因其类人甚至超人的特定任务表现而被广泛采用于诸多应用领域。然而，由于不可预测/未考虑的运行条件，现场会出现意外失效，使得 DNN 运行中的表现与发布前估计的表现大相径庭。在 DNN 系统的生命周期中，精度评估通常以两种方式处理：离线，通过对运行输入采样；或在线，通过伪预言机。前者因需对采样输入人工标注而被视为成本更高。后者自动但精度较低。我们认为，新兴的机器学习系统迭代工业级生命周期模型（如 MLOps）提供了利用运行中所观测输入的可能，不仅可忠实估计 DNN 精度，还可通过重建模/重训练动作改进之。我们提出 DAIC（DNN 评估与改进循环），一种结合“低成本”在线伪预言机与“高成本”离线采样技术，以在 DNN 生命周期迭代中估计并改进其运行精度的方法。初步结果显示了结合两种途径并将其集成于 DNN 生命周期的益处。
引用
@article{arxiv.2303.01295,
title = {Iterative Assessment and Improvement of DNN Operational Accuracy},
author = {Antonio Guerriero and Roberto Pietrantuono and Stefano Russo},
journal= {arXiv preprint arXiv:2303.01295},
year = {2024}
}
备注
Paper accepted at 45th International Conference on Software Engineering (ICSE'23 NIER), May 2023