紧扣主题:生成特定情境下的虚假餐厅评论
密码学与安全
2018-06-29 v4 计算与语言
摘要
自动生成的虚假餐厅评论对在线评论系统构成威胁。近期研究表明,用户在真实餐厅评论中难以察觉机器生成的虚假评论。该工作所用方法(char-LSTM)存在一个缺陷:难以保持情境一致性,即当其为特定目标实体生成评论时,所得评论可能包含与目标无关的词句,从而增加了被检测出的可能性。在本工作中,我们提出并评估了一种基于神经机器翻译(NMT)的更复杂技术,借此可生成紧扣主题的评论。我们利用 Amazon Mechanical Turk 上的英语母语者测试了该技术的多种变体。我们证明,最佳变体生成的评论具有近乎最优的不可检测性(类平均 F 值 47%)。我们针对持怀疑态度的用户开展了用户研究,并表明我们的方法以统计显著性(水平 {\alpha} = 1%,第 4.3 节)比当前最优方法更频繁地逃避检测(平均逃避率 3.2/4 对比 1.5/4)。我们开发了极为有效的检测工具,在分类这些评论时达到 97% 的平均 F 值。尽管虚假评论在欺骗人类方面非常有效,但有效的自动检测仍可行。
引用
@article{arxiv.1805.02400,
title = {Stay On-Topic: Generating Context-specific Fake Restaurant Reviews},
author = {Mika Juuti and Bo Sun and Tatsuya Mori and N. Asokan},
journal= {arXiv preprint arXiv:1805.02400},
year = {2018}
}
备注
21 pages, 5 figures, 6 tables. Accepted for publication in the European Symposium on Research in Computer Security (ESORICS) 2018