REAL ML：识别、探索和阐述机器学习研究的局限性
机器学习
2022-05-18 v1 人工智能
计算机与社会
摘要
围绕局限性的透明度可以提高研究的科学严谨性，有助于确保对研究结果的恰当解读，并使研究声明更加可信。尽管有这些益处，机器学习(ML)研究界仍缺乏关于披露和讨论局限性的成熟规范。为弥补这一不足，我们与30位ML及ML相关领域的研究人员开展了一个迭代设计过程，以开发和测试REAL ML——一套旨在帮助ML研究人员识别、探索和阐述其研究局限性的引导性活动。通过一个三阶段的访谈和调查研究，我们识别了ML研究人员对局限性的看法，以及他们在识别、探索和阐述局限性时所面临的挑战。我们开发REAL ML以解决其中一些实践性挑战，并强调了需要社区规范进行更广泛转变才能解决的文化性挑战。我们希望我们的研究和REAL ML有助于推动ML研究界更积极、更恰当地对待局限性。
引用
@article{arxiv.2205.08363,
title = {REAL ML: Recognizing, Exploring, and Articulating Limitations of Machine Learning Research},
author = {Jessie J. Smith and Saleema Amershi and Solon Barocas and Hanna Wallach and Jennifer Wortman Vaughan},
journal= {arXiv preprint arXiv:2205.08363},
year = {2022}
}
备注
This work appears in the 2022 ACM Conference on Fairness, Accountability, and Transparency (FAccT '22)