迈向对混合主动式人工科学文本检测的理解与解释
人机交互
2023-06-02 v1 计算与语言
摘要
大语言模型（LLMs）因生成类人文本的卓越能力而在各领域广受欢迎。其潜在滥用引发了学术界对剽窃的社会担忧。然而，有效的人工科学文本检测是一项非平凡任务，面临若干挑战：1）缺乏对机器生成与人工撰写科学文本差异的清晰理解；2）现有方法因分布外问题导致泛化性能差；3）检测过程中对具备充分可解释性的人机协作支持有限。本文中，我们首先通过定量实验识别机器生成与人工撰写科学文本的关键区别。随后，我们提出一种混合主动式工作流，将人类专家的先验知识与机器智能相结合，并辅以可视化分析原型以促进高效且可信的科学文本检测。最后，我们通过两个案例研究及一项由熟练研究者参与的受控用户研究证明了方法的有效性。我们还为高风险决策场景中交互式人工文本检测工具提供了设计启示。
引用
@article{arxiv.2304.05011,
title = {Towards an Understanding and Explanation for Mixed-Initiative Artificial Scientific Text Detection},
author = {Luoxuan Weng and Minfeng Zhu and Kam Kwai Wong and Shi Liu and Jiashun Sun and Hang Zhu and Dongming Han and Wei Chen},
journal= {arXiv preprint arXiv:2304.05011},
year = {2023}
}