基于置信度感知的开源 LLM 间细粒度辩论实现自动数据丰富：用于精神健康和线上安全
计算与语言
2026-03-04 v2 机器学习
摘要
现实世界指标在许多自然语言处理 (NLP) 应用中发挥重要作用，例如用于精神健康分析的生活事件和用于线上安全的危险行为，但由于其动态特性，往往因成本高昂或困难而难以在训练数据集中标记。大型语言模型 (LLM) 显示出在自动标注方面的潜在前景，但多标签预测仍具有挑战性。本文提出一种置信度感知的细粒度辩论 (CFD) 框架，通过细粒度信息模拟协作标注，以更好地支持自动多标签丰富。我们引入两个新的专家标注资源：一个精神健康 Reddit 幸福感数据集和一个线上安全 Facebook 家庭照片风险数据集。实验表明，CFD 相较于多种基线方法实现了最鲁棒的丰富性能。我们进一步评估了各种无训练丰富整合策略，证明 LLM 丰富的指标持续改进了我们的下游任务。通过辩论记录所包含的丰富特征获得的最大收益，相较于非丰富基线结果提升了 9.9%。
引用
@article{arxiv.2512.06227,
title = {Automated Data Enrichment using Confidence-Aware Fine-Grained Debate among Open-Source LLMs for Mental Health and Online Safety},
author = {Junyu Mao and Anthony Hills and Talia Tseriotou and Maria Liakata and Aya Shamir and Dan Sayda and Dana Atzil-Slonim and Natalie Djohari and Arpan Mandal and Silke Roth and Pamela Ugwudike and Mahesan Niranjan and Stuart E. Middleton},
journal= {arXiv preprint arXiv:2512.06227},
year = {2026}
}