评估技术促使滥用情境下的LLM响应质量
人机交互
2026-02-23 v1 人工智能
计算与语言
密码学与安全
计算机与社会
摘要
技术促使滥用（TFA）是一种广泛存在的亲密伴侣暴力（IPV）形式，利用数字工具进行控制、监视或伤害生存者。尽管技术诊所是TFA生存者可靠支持来源之一，但面临人员资源不足和后勤障碍的限制。因此，许多生存者会转向在线资源寻求帮助。随着大语言模型（LLM）日益普及且IPV组织表示浓厚兴趣，生存者可能开始咨询基于LLM的聊天机器人，而在寻求技术诊所帮助之前。本文介绍了首次由专家主导对四个LLM——两个广泛使用的通用非推理模型和两个专为IPV情境设计的领域特定模型——进行的评估，聚焦其在回应TFA相关问题方面的效果。我们使用来自文献和在线论坛收集的真实问题，对基于生存者安全导向提示生成的零样本单轮LLM响应进行评估，其评估标准针对TFA领域量身定制。此外，我们进行了用户研究，以评估这些响应从经历过TFA的个体视角的可操作性。我们的发现基于专家评估和用户反馈，为了解LLM在TFA情境下的当前能力与局限性提供了洞见，可能信息开发和微调未来模型的设计。我们以具体建议结束，以提高LLM在生存者支持方面的性能。
引用
@article{arxiv.2602.17672,
title = {Assessing LLM Response Quality in the Context of Technology-Facilitated Abuse},
author = {Vijay Prakash and Majed Almansoori and Donghan Hu and Rahul Chatterjee and Danny Yuxing Huang},
journal= {arXiv preprint arXiv:2602.17672},
year = {2026}
}