基于掩码对比学习的 RAG 分解 crowdsourcing 任务
计算与语言
2024-06-12 v1 人工智能
摘要
众包是社会制造中关键技术，利用广泛而丰富的人力资源来处理广泛的复杂任务。成功执行这些复杂任务依赖于任务分解（TD）和分配，其中前者是后者的前提。最近，基于预训练语言模型（PLM）的方法引起了广泛关注。然而，它们受限于只能处理简单的常识任务，因为其知识有限且难以更新，且存在幻觉现象。为此，我们提出了一种基于检索增强生成（RAG）的众包框架，将 TD 重新定义为从自然语言理解角度进行事件检测的问题。然而，现有的检测方法无法区分事件类型之间的差异，始终依赖启发式规则和外部语义分析工具。因此，我们提出了一种用于 TD 的基于提示的对比学习框架（PBCT），其中包括基于提示的触发器检测器，以克服依赖问题。此外，引入触发器注意力哨兵和掩码对比学习，以根据不同事件类型对触发器和上下文特征提供不同的注意力。实验结果表明，我们的方法在监督式和零-shot 检测中都表现出竞争力。我们展示了一个在印刷电路板制造中的案例研究，以验证其对未知专业领域的适应性。
引用
@article{arxiv.2406.06577,
title = {RAG-based Crowdsourcing Task Decomposition via Masked Contrastive Learning with Prompts},
author = {Jing Yang and Xiao Wang and Yu Zhao and Yuhang Liu and Fei-Yue Wang},
journal= {arXiv preprint arXiv:2406.06577},
year = {2024}
}
备注
13 pages, 9 figures