利用大型语言模型进行反叙事评估的多方面框架
计算与语言
2024-04-01 v2 人工智能
摘要
反叙事（Counter narratives）是针对仇恨言论语境的信息性回应，旨在反驳仇恨主张并缓和冲突，已成为一种有效的仇恨言论干预策略。虽然先前的工作提出了自动反叙事生成方法来辅助人工干预，但对这些方法的评估仍然不够完善。先前用于反叙事评估的自动指标缺乏与人类判断的一致性，因为它们依赖于表面的参考比较，而未将反叙事质量的关键方面纳入评估标准。为了解决先前的评估局限性，我们提出了一种新的评估框架，提示大型语言模型（LLMs）根据源自反叙事专业非政府组织指南的 5 个定义方面，为生成的反叙事候选者提供评分和反馈。我们发现，LLM 评估器与人工标注的评分和反馈具有高度一致性，并优于替代指标，表明其作为反叙事评估的多方面、无参考且可解释的评估器的潜力。
引用
@article{arxiv.2402.11676,
title = {A Multi-Aspect Framework for Counter Narrative Evaluation using Large Language Models},
author = {Jaylen Jones and Lingbo Mo and Eric Fosler-Lussier and Huan Sun},
journal= {arXiv preprint arXiv:2402.11676},
year = {2024}
}
备注
22 pages, camera-ready version; references added, typos corrected, methodology section expanded, additional table