利用深度学习追踪 Instagram 上电子烟警示标签合规情况
社会与信息网络
2021-02-10 v1 计算机视觉与模式识别
摘要
美国食品药品监督管理局（FDA）要求电子烟广告包含醒目的警示标签，提醒消费者尼古丁具有成瘾性。然而，社交媒体上大量与吸电子烟相关的帖子使得合规审计昂贵且耗时，表明需要一种自动化、可扩展的方法。我们试图开发并评估一个深度学习系统，用于自动判断一篇 Instagram 帖子是否推广吸电子烟，若是，则图像中是否包含符合 FDA 要求的警示标签或可见的不合规警示标签。我们编译并标注了一个包含 4,363 张 Instagram 图像的数据集，其中 44% 与吸电子烟相关，3% 含有符合 FDA 要求的警示标签，4% 含有不合规标签。使用 20% 的测试集进行评估，我们测试了多种神经网络变体：图像处理骨干模型（Inceptionv3、ResNet50、EfficientNet）、数据增强、渐进式层解冻、针对类别不平衡设计的输出偏置初始化，以及多任务学习。我们的最终模型在吸电子烟分类上达到了曲线下面积（AUC）和 [准确率] 0.97 [92%]，在 FDA 合规警示标签上达到 0.99 [99%]，在不合规警示标签上达到 0.94 [97%]。我们得出结论，深度学习模型可有效识别 Instagram 上的吸电子烟帖子并追踪对 FDA 警示标签要求的合规情况。
引用
@article{arxiv.2102.04568,
title = {Tracking e-cigarette warning label compliance on Instagram with deep learning},
author = {Chris J. Kennedy and Julia Vassey and Ho-Chun Herbert Chang and Jennifer B. Unger and Emilio Ferrara},
journal= {arXiv preprint arXiv:2102.04568},
year = {2021}
}
备注
9 pages, 3 figures