面向软件工程研究人员的 AI 安全子问题
软件工程
2023-09-01 v3
摘要
在这篇 4 页的手稿中，我们从软件工程（SE）研究的视角探讨长期 AI 安全问题。我们简要概述长期 AI 安全，以及随着系统达到或超越人类能力（包括软件工程能力，并接近 AGI / “HLMI”）时避免 AI 带来危害的挑战。我们进行了量化文献综述，表明 AI 安全讨论在 SE 会议中并不常见。我们对软件将随能力上升如何变化做出推测，并将契合传统 SE 领域的“子问题”分类，提出针对类似问题的工作如何改善 AI 与 SE 的未来。
引用
@article{arxiv.2304.14597,
title = {AI Safety Subproblems for Software Engineering Researchers},
author = {David Gros and Prem Devanbu and Zhou Yu},
journal= {arXiv preprint arXiv:2304.14597},
year = {2023}
}
备注
Arxived Apr 2023. Update June 2023 to correct some typos and small text changes. Update Sept 2023, small typos/adjustment, adjust intro to clarify citation analysis focus on HLMI / advanced AI, rerun scripts and tweak handling of unknown venues, add TOSEM, de-anon github and acknowledgements