ConceptRM：基于共识驱动的纯净数据清洗用于反射模型消除警报疲劳
计算与语言
2026-02-25 v1 人工智能
摘要
在涉及智能代理的许多应用中，由代理人生成的大量警报（主要是假警报）可能导致用户对警报产生倦怠感，使其忽略关键问题。常见策略是训练反射模型作为过滤器，通过来自用户验证反馈收集的标记数据拦截假警报。然而，一个关键挑战是此类数据往往呈现噪声状况，因为数据常在生产环境中收集。由于通过手动标注清除噪声成本高昂，本文提出一种新方法ConceptRM，用于构建高质量语料库以训练有效拦截假警报的反射模型。仅需少量专家标注作为锚�，ConceptRM创建带有不同噪声比例的扰动数据集，并利用协教学习训练多个distinct模型进行协作学习。通过分析这些模型的共识决策，有效识别噪声数据集中可靠的负样本。实验结果表明，ConceptRM在最小标注成本下显著提升了对假警报的拦截效果，在域内数据集上比多个最先进的LLM基准提高了最高53.31%，在域外数据集上提高了41.67%。
引用
@article{arxiv.2602.20166,
title = {ConceptRM: The Quest to Mitigate Alert Fatigue through Consensus-Based Purity-Driven Data Cleaning for Reflection Modelling},
author = {Yongda Yu and Lei Zhang and Xinxin Guo and Minghui Yu and Zhengqi Zhuang and Guoping Rong and Haifeng Shen and Zhengfeng Li and Boge Wang and Guoan Zhang and Bangyu Xiang and Xiaobin Xu},
journal= {arXiv preprint arXiv:2602.20166},
year = {2026}
}