用于对齐的商议技术
计算机与社会
2023-12-08 v1 人机交互
摘要
为了让人类在未来保持并扩展其能动性，我们创造的最强大的系统必须是那些旨在使未来与人类意愿对齐的系统。当今最强大的系统是政府、企业和非政府组织等大型机构。这些机构已在运用商议技术来帮助治理和外交与人类意愿对齐，而现代 AI 有望使该技术显著提升。与此同时，通向超人类 AGI 的竞赛已经开始，其催生的 AI 系统可能成为未来最强大的系统。未能使如此强大的 AI 的影响与人类意愿对齐可能导致灾难性后果，而成功则可能释放巨大的丰裕。当前存在一个机会窗口，可以利用商议技术使强大的 AI 的影响与人类意愿对齐。此外，或许可以在强大的 AI 与商议对齐系统之间工程化一种共生耦合，使得对齐质量随 AI 能力的提升而改善。
引用
@article{arxiv.2312.03893,
title = {Deliberative Technology for Alignment},
author = {Andrew Konya and Deger Turan and Aviv Ovadya and Lina Qui and Daanish Masood and Flynn Devine and Lisa Schirch and Isabella Roberts and Deliberative Alignment Forum},
journal= {arXiv preprint arXiv:2312.03893},
year = {2023}
}