DeMod：面向毒性审查的可解释检测与个性化修改一体化工具
人机交互
2025-05-23 v1 人工智能
社会与信息网络
摘要
尽管已有支持社交帖子毒性审查的自动化方法和工具，但大多数都侧重于检测。毒性审查是一个复杂的过程，其中检测只是初始任务，用户还可能有进一步的需求，如理解理由和内容修改。为此，我们进行了一项需求发现研究，以调查人们在毒性审查中的多样化需求，并据此构建了一个基于ChatGPT的审查工具DeMod。DeMod配备了可解释检测和个性化修改功能，提供细粒度的检测结果、详细的解释和个性化的修改建议。我们还实现了该工具，并招募了35名微博用户进行评估。结果表明DeMod具有多功能性、审查准确性和易用性等多重优势。基于这些发现，我们进一步提出了关于内容审查系统设计的若干见解。
引用
@article{arxiv.2411.01844,
title = {DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship},
author = {Yaqiong Li and Peng Zhang and Hansu Gu and Tun Lu and Siyuan Qiao and Yubo Shu and Yiyang Shao and Ning Gu},
journal= {arXiv preprint arXiv:2411.01844},
year = {2025}
}