SeqNAS：面向事件序列分类的神经架构搜索
机器学习
2024-01-09 v1 人工智能
摘要
神经架构搜索 (NAS) 方法广泛应用于各行各业，旨在以最少的人工干预获得高质量的特定任务解决方案。事件序列在客户流失预测、客户细分、欺诈检测和故障诊断等众多工业应用中有着广泛用途。此类数据由具有不规则时间戳的分类和实值分量组成。尽管 NAS 方法很有用，但以往的方法仅应用于图像、文本或时间序列等其他领域。我们的工作通过引入一种专为事件序列分类设计的新型 NAS 算法 SeqNAS 来解决这一局限性。我们开发了一个简单但表达能力强的搜索空间，利用了事件序列分类中常用的构建模块，包括多头自注意力机制、卷积和循环单元。为了执行搜索，我们采用了序列贝叶斯优化，并利用先前训练好的模型作为教师集成来增强知识蒸馏。结果表明，我们的方法超越了最先进的 NAS 方法和适用于序列分类的流行架构，在各种工业应用中具有巨大潜力。
引用
@article{arxiv.2401.03246,
title = {SeqNAS: Neural Architecture Search for Event Sequence Classification},
author = {Igor Udovichenko and Egor Shvetsov and Denis Divitsky and Dmitry Osin and Ilya Trofimov and Anatoly Glushenko and Ivan Sukharev and Dmitry Berestenev and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2401.03246},
year = {2024}
}
备注
in IEEE Access