超越 ML 模型：将安全工程框架应用于文本到图像开发
计算机与社会
2023-07-21 v1 人机交互
摘要
识别新兴机器学习（ML）模型及其应用中的潜在社会与伦理风险仍然具有挑战性。在本工作中，我们将两个成熟的安全工程框架（FMEA、STPA）应用于一个涉及文本到图像模型的案例研究，覆盖 ML 产品开发流程的三个阶段：数据处理、将 T2I 模型与其他模型集成、以及使用。我们的分析结果表明，这些并非专门设计用于审视社会与伦理风险的安全框架，能够揭示带来社会与伦理风险的故障与危害。通过分析交互（即产品中不同 ML 模型之间、ML 产品与用户之间、以及开发团队之间）与过程（即训练数据准备或使用 ML 服务/产品的工作流），我们发现了广泛的故障与危害（即功能的、社会的与伦理的）。我们的发现强调了在审视社会与伦理风险时考察 ML 模型之外部分的价值与重要性，尤其当我们对某一 ML 模型信息极少时。
引用
@article{arxiv.2307.10312,
title = {Beyond the ML Model: Applying Safety Engineering Frameworks to Text-to-Image Development},
author = {Shalaleh Rismani and Renee Shelby and Andrew Smart and Renelito Delos Santos and AJung Moon and Negar Rostamzadeh},
journal= {arXiv preprint arXiv:2307.10312},
year = {2023}
}