面向余弦距离定制的大规模增强提取邮件特征
信息检索
2022-05-13 v2
摘要
本文解释并评估了将 Enron 邮件数据集（预印本中所引版本）转换为每封邮件数千个特征的过程，所选定的一组 2400 封带标签邮件参与转换。最终特征针对余弦距离（Cosine distance）定制，使得余弦距离以可解释的归一化方式反向反映两封邮件间共有的各自最具指示性的前若干词的数量。标签基于 Enron 邮件数据集（预印本中所引版本）文件夹树中的叶文件夹名称，所选 2400 封邮件由 8 个标签各 300 封组成。评估基于使用余弦距离的 k 近邻多数投票分类的准确率。除 KNN 多数投票分类准确率与混淆矩阵外，还报告了该过程的一些统计信息。使用余弦距离的 KNN 多数投票分类准确率为 76.75%，考虑到所涉及的 8 个标签，这至少显示出一定程度的成功。转换结果为每封选定邮件 48557 个特征，其中每封邮件恰好有 40 个非零特征。转换结果是一个名为 MeeefTCD（Massive Enhanced Extracted Email Features Tailored for Cosine Distance，面向余弦距离定制的大规模增强提取邮件特征）的数据集，可在 https://web.cs.dal.ca/~barahimi/data-sets/meeeftcd/ 及本文提及的一个 github 仓库获取。
引用
@article{arxiv.2205.04819,
title = {Massive Enhanced Extracted Email Features Tailored for Cosine Distance},
author = {Farshad Barahimi},
journal= {arXiv preprint arXiv:2205.04819},
year = {2022}
}