面向更安全在线空间：模拟和评估饮食失调讨论的干预策略
计算与语言
2024-09-09 v1
摘要
饮食失调是一种复杂的精神健康状况，全球影响数百万人。社交媒体平台上的有效干预措施至关重要，但在现场测试策略风险较大。我们提出了一种新型的LLM驱动实验测试平台，用于模拟和评估饮食失调相关讨论的干预策略。该框架在多个平台、模型和饮食失调相关主题上生成合成对话，允许对多样化的干预方法进行受控实验。我们分析了各种干预策略在四个维度上的影响：干预类型、生成模型、社交媒体平台和饮食失调相关社区/主题。我们采用认知领域分析指标，包括情感、情绪等，来评估干预措施的有效性。我们的发现表明，礼仪导向的干预在所有维度上一致性地提高积极情感和情绪，而洞察重置方法则倾向于增加负面情绪。我们还发现LLM生成的对话中存在显著偏差，认知指标在不同模型(Claude-3 Haiku > Mistral > GPT-3.5-turbo > LLaMA3)之间差异显著，甚至在同一模型的不同版本之间也有差异。这些变化凸显了在模拟与饮食失调相关讨论时选择模型的重要性。我们的工作为理解饮食失调讨论的复杂动态以及各种干预措施的有效性提供了宝贵信息。
引用
@article{arxiv.2409.04043,
title = {Towards Safer Online Spaces: Simulating and Assessing Intervention Strategies for Eating Disorder Discussions},
author = {Louis Penafiel and Hsien-Te Kao and Isabel Erickson and David Chu and Robert McCormack and Kristina Lerman and Svitlana Volkova},
journal= {arXiv preprint arXiv:2409.04043},
year = {2024}
}
备注
9 pages, 5 figures