AI模型吐故:方法与选择
机器学习
2023-04-10 v1 密码学与安全
摘要
负责任地使用数据是任何机器学习(ML)实现中不可或缺的一部分。ML开发者必须仔细收集和整理其数据集,并记录其来源。他们还必须确保尊重知识产权、保护个人隐私,并以合乎道德的方式使用数据。在过去几年中,ML模型的规模和复杂度显著增加。这些模型需要非常大量的数据和计算能力进行训练,以至于训练语料库中的任何缺陷都无法通过从头重新训练模型来轻易补救。尽管对训练数据进行了精细控制,并投入了大量精力确保训练语料库组成得当,但模型所需的数据量之大使得人工检查构成训练语料库的每个数据项变得具有挑战性。训练语料库数据缺陷的一种潜在修复方法是模型吐故(model disgorgement)——不仅消除不当使用的数据,还消除不当使用数据对ML模型任何组件的影响。模型吐故技术可用于解决广泛的问题,例如减少偏见或毒性、提高保真度,以及确保知识产权的负责任使用。在本文中,我们引入了一种适用于现代ML系统的可能吐故方法的分类法。特别地,我们研究了在不需要从头重新训练的情况下,训练模型中“消除数据影响”的含义。
引用
@article{arxiv.2304.03545,
title = {AI Model Disgorgement: Methods and Choices},
author = {Alessandro Achille and Michael Kearns and Carson Klingenberg and Stefano Soatto},
journal= {arXiv preprint arXiv:2304.03545},
year = {2023}
}