协同审计：帮助人类双重检查 AI 生成内容的工具
人机交互
2023-10-03 v1 人工智能
计算与语言
编程语言
摘要
用户越来越多地被警告要检查 AI 生成内容的正确性。然而，随着 LLM（大语言模型，large language models）和其他生成模型生成更复杂的输出（如摘要、表格或代码），用户越来越难以审计或评估输出的质量或正确性。因此，我们看到了辅助工具型体验的出现，以帮助用户双重检查一段 AI 生成的内容。我们将这些称为协同审计（co-audit）工具。协同审计工具补充了提示工程（prompt engineering）技术：前者帮助用户构建输入提示，后者帮助用户检查输出响应。作为一个具体示例，本文描述了近期关于由生成模型驱动的表格计算协同审计工具的研究。我们解释了为何在质量重要且错误后果严重的任何生成式 AI 应用中（正如表格计算中常见的那样），协同审计体验是必不可少的。我们提出了协同审计的初步原则清单，并概述了研究挑战。
引用
@article{arxiv.2310.01297,
title = {Co-audit: tools to help humans double-check AI-generated content},
author = {Andrew D. Gordon and Carina Negreanu and José Cambronero and Rasika Chakravarthy and Ian Drosos and Hao Fang and Bhaskar Mitra and Hannah Richardson and Advait Sarkar and Stephanie Simmons and Jack Williams and Ben Zorn},
journal= {arXiv preprint arXiv:2310.01297},
year = {2023}
}