风险与NLP设计：程序文档问答的案例研究
计算与语言
2024-08-23 v1 人机交互
摘要
随着NLP系统大规模部署，对其潜在负面影响的担忧已引起研究界关注，但风险讨论大多停留在抽象层面，聚焦于通用AI或NLP应用。我们认为，当我们将分析具体化到更具体的应用及其合理用户时，才能更清晰地评估对用户的风险与危害，并制定具体的缓解策略。作为例证，本文以烹饪食谱程序文档问答(ProcDocQA)为背景，其中存在明确的风险，如用户受伤或过敏反应。我们的案例研究表明，现有语言模型在“零样本”模式下，对食谱相关真实世界问题的定量回答质量不亚于甚至优于已在网络上回答这些问题的用户。通过一项基于AI风险理论的新型问卷，我们进行了面向风险的错误分析，该分析可为未来系统的设计提供参考，以降低危害风险并提升性能。
引用
@article{arxiv.2408.11860,
title = {Risks and NLP Design: A Case Study on Procedural Document QA},
author = {Nikita Haduong and Alice Gao and Noah A. Smith},
journal= {arXiv preprint arXiv:2408.11860},
year = {2024}
}