面向公共评论处理的 LM 驱动子程序的审计、对齐与优化
计算与语言
2025-07-14 v1
摘要
语言模型的出现有望显著加速可转化为文本处理的任务，但实际应用受到安全、可解释性和偏见等问题的制约。我们如何以透明、可审计的方式充分利用 LM，最小化风险，使人类专家能够专注于知情决策而非数据处理或提示工程？本文提出了一种框架，用于声明静态类型化的 LM 驱动子程序（即可调用的、类似函数的程序），以用于常规异步代码中；其中，稀疏的人类专家反馈用于在使用过程中改进每个子程序的性能。在我们的实现中，所有 LM 生成的制品（即提示、输入、输出和数据依赖项）都被记录并可随时提供审计。我们将该框架打包为库，以支持其采纳和持续开发。尽管该框架可能适用于多个实际决策工作流程（例如在医疗和法律领域），但我们在公共评论处理方面进行了评估，即依据 1969 年《国家环境保护法》（NEPA）的要求：具体而言，我们使用该框架开发了“CommentNEPA”，用于编译、组织和总结公众提交的评论语料库，以响应需要环境审查的项目。我们通过将其输出（在无人类反馈的情况下运行）与历史上由人类标注员在准备正式环境影响声明期间标注的“ground-truth”数据进行比较来定量评估该应用程序。
引用
@article{arxiv.2507.08109,
title = {Audit, Alignment, and Optimization of LM-Powered Subroutines with Application to Public Comment Processing},
author = {Reilly Raab and Mike Parker and Dan Nally and Sadie Montgomery and Anastasia Bernat and Sai Munikoti and Sameera Horawalavithana},
journal= {arXiv preprint arXiv:2507.08109},
year = {2025}
}