模型文档化的愿景与实践：以助推与可追溯性推动改进
软件工程
2023-02-10 v2 人机交互
机器学习
摘要
机器学习（ML）模型的文档化实践常常落后于传统软件既有的规范，这阻碍了模型的可问责性，并在无意中助长了模型的不当使用或滥用。近来，模型卡片（model cards）这一模型文档化提案引起了显著关注，但其对实际实践的影响尚不明晰。在本工作中，我们系统性地研究该领域的模型文档化，并探究如何鼓励更负责任、可问责的文档化实践。我们对公开可用模型卡片的分析揭示了提案与实践之间的显著差距。随后我们设计了一款名为DocML的工具，旨在（1）在模型开发过程中助推数据科学家遵从模型卡片提案，尤其是与伦理相关的章节，以及（2）评估与管理文档质量。一项实验室研究揭示了我们的工具对长期文档质量与可问责性的益处。
引用
@article{arxiv.2204.06425,
title = {Aspirations and Practice of Model Documentation: Moving the Needle with Nudging and Traceability},
author = {Avinash Bhat and Austin Coursey and Grace Hu and Sixian Li and Nadia Nahar and Shurui Zhou and Christian Kästner and Jin L. C. Guo},
journal= {arXiv preprint arXiv:2204.06425},
year = {2023}
}
备注
To be published in proceedings of CHI 2023