NLP 模型的协作开发

尽管取得了实质性进展，自然语言处理（NLP）模型通常仍需训练后调整以执行业务规则、纠正不良行为并与用户价值观对齐。这些调整涉及将“概念”操作化——规定模型对特定输入的期望响应。然而，单一实体难以枚举和定义所有可能的概念，表明需要多用户协作的模型对齐框架。此外，概念的详尽界定具有挑战性，不当方法会产生捷径或干扰原始数据及其他概念。为应对这些挑战，我们引入 CoDev，一种支持多用户与模型交互从而缓解个体局限的框架。CoDev 借助大语言模型（LLM）帮助用户将其概念操作化，并依赖于 NLP 模型在局部区域表现出更简单行为的原则。我们的核心见解是为每个概念学习一个局部模型，以及一个将原始数据与所有概念整合的全局模型。随后我们引导大语言模型在局部与全局模型不一致的概念边界内生成实例。实验表明，CoDev 能有效帮助多用户在多种场景、任务和模型下操作化概念并避免干扰。