申请试用
HOT
登录
注册
 
当生理时间序列分类遇上人工智能
2 点赞
1 收藏
3下载
白玉兰开源
/
发布于
/
476
人观看

上海白玉兰开源开放研究院发起的“青年学者论坛”,意在为国内外大数据及人工智能领域的优秀青年学者,搭建一个非正式交流平台。我们诚邀发表在国际顶会的论文作者,以第一视角介绍其学术观点、研究细节、成果展现、相关领域前沿方向等话题,促进观点碰撞及交流合作。

报告摘要:

睡眠阶段分类作为一种典型的生理信号分类任务,对睡眠质量评估和疾病诊断至关重要。但是,如何有效利用大脑的空间特征和睡眠阶段之间的时间转换信息仍然是一个挑战。特别是由于人类对人脑的了解是有限的,为睡眠阶段分类预定义合适的空间脑连接结构仍然是一个悬而未决的问题。在本文,我们提出了一种新颖的深度图神经网络GraphSleepNet进行自动睡眠阶段分类。GraphSleepNet的主要优点是自适应地学习不同脑电(EEG)通道之间的内在空间联系,从而最好地服务于空图卷积网络(ST-GCN)。该研究提出一种多变量时间序列分类的通用自适应图神经网络框架并首次应用于睡眠阶段分类。

讲师介绍

贾子钰 北京交通大学计算机与信息技术学院博士生,指导老师是林友芳教授和王晶副教授。计划近期于麻省理工学院进行博士联合培养,指导老师是Roger Mark教授(IEEE Fellow)。主要研究兴趣集中于生理时间序列的分析与挖掘、深度学习理论与方法研究。目前已于IJCAI、ACM MM、ICDM、ECML-PKDD等会议或期刊发表论文8篇,其余信息详见个人主页https://ziyujia.github.io/。

展开查看详情

1.当生理时间序列分类遇上人工智能 贾子钰 北京交通大学 计算机与信息技术学院 ziyujia@bjtu.edu.cn 2021.01.28

2. 目录 ◼ 时间序列概述 ◼ 生理时间序列概述 ◼ 相关的深度学习模型 ⚫ 运动想象 MMCNN (ECML-PKDD 2020) ⚫ 睡眠分期 GraphSleepNet (IJCAI 2020) ⚫ 情感识别 SST-EmotionNet (ACM MM 2020) ◼ 总结

3.何为时间序列?

4. 时间序列 ◆时间序列 时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内 依照给定的采样率对某种潜在过程进行观测的结果。 ◆时间序列的分析与挖掘 在过去的二十年中,时间序列的分析与挖掘被认为是数据挖掘中最具挑战性 的问题之一[1]。 交通流量时间序列 金融时间序列 [1] Fawaz, Hassan Ismail, et al. "Deep learning for time series classification: a review." Data Mining and Knowledge Discovery 33.4 (2019): 917-963.

5.何为生理时间序列?

6. 生理时间序列 心电ECG 脑电EEG等

7. 生理时序分类-应用 ◆医疗健康 重获肢体能力、运动康复、与周围环境进行交流、基于可穿戴设备进行健康评估

8. 生理时序分类-应用 ➢ 教育 ➢ 军事 ➢ 智能家居 学生注意力值的实时探测和训练 脑控无人机、无人车、机器人 ➢ 刑侦审讯 ➢ 电子 ➢ 交通 商务 ➢ 娱乐(游戏) 安全 淘宝造物节黑科技-淘宝意念购 疲劳检测、驾驶员精神状况监测

9.MMCNN: A Multi-branch Multi-scale Convolutional Neural Network for Motor Imagery Classification ECML-PKDD 2020 Oral 论文链接:https://bitbucket.org/ghentdatascience/ecmlpkdd20- papers/raw/master/RT/sub_589.pdf 论文代码:https://github.com/ziyujia/ECML-PKDD_MMCNN

10.背景 脑机接口(BCI): 建立了人脑与外界的联系. 运动想象(MI): 一种基于BCI的经典EEG范式. 脑电图(EEG): 一种电生理活动. 优点:低成本,低风险. Beijing Jiaotong University

11. 相关工作 传统方法: · EEG 信号: 非线性,非平稳,低信噪比. ◆ 空间特征: CSP[1], FBCSP[2] ◆ 时频特征: 傅里叶变换, 小波变换+SVM 传统方法: 需要手动提取特征. 深度学习模型: · 深度学习模型: 需要在特定频段过滤原始 ◆ Shallow ConvNet [3] EEG信号. ◆ Deep ConvNet[3] ◆ EEGNet [4] [1] Fukunaga, K.: Introduction to statistical pattern recognition (1990) [2] Ang, K.K., et alC.: Filter bank common spatial pattern(fbcsp) in brain-computer interface. In: 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence). pp.2390–2397. IEEE (2008) [3] Schirrmeister, R.T., et al.: Deep learning with convolutional neural networks for eeg decoding and visualization. Human brain mapping 38(11), 5391–5420 (2017) [4] Lawhern, V.J., et al.: Eegnet: a compact convolutional neural network for eeg-based brain–computer interfaces. Journal of neural engineering 15(5), 056013 (2018) Beijing Jiaotong University

12.现象与挑战 受试者差异: 最佳卷积尺度随着不同受试者 时间差异: 最佳卷积尺度随着不同时间 而变化. 而变化.

13. MMCNN 结构 Multi-branch Multi-scale Convolution Neural Network 模型优势: ◆ 解决了的问题: 受试者差异和 时间差异. ◆ 输入为 未过滤的数据. ◆ 需要的EEG通道数较少

14. MMCNN 结构 EEG Inception block: 实现多尺度卷积 Iq表示在不同的EIN中的EIB模块的输出,其中下标q表示 不同的五个EIN分支(q = a/b/c/d/e),pj,k表示每个EIB内第j 个小分支中的第k个滤波器的参数,*表示卷积操作,x表 示输入的样本,T‘表示时间点数。 Beijing Jiaotong University

15. MMCNN 结构 Residual block[5]: 避免随着层数增加而网络退化 Uq表示该模块的输出,Iq表示输入,即上一个EIB 模块的输出。这样,从浅层中提取的特征可以传 递到深层中,从而改善网络退化的问题。 [5] He, K., Zhang, et al.: Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 770–778 (2016) Beijing Jiaotong University

16.MMCNN 结构 Squeeze and Excitation block: 自适应的提取最主要的脑电特征。 SE block包含了Squeeze操作和Excitation操作。 Beijing Jiaotong University

17.实验 数据集 BCI 竞赛 IV 2b 数据集1: 一个左右手运动 想象的双分类数据集.数据集包括9名受试 者. BCI 竞赛 IV 2a 数据集2: 包含9名受试者 执行运动想象任务的数据. 1:http://www.bbci.de/competition/iv/#dataset2b 2:http://www.bbci.de/competition/iv/#dataset2a Beijing Jiaotong University

18.数据集BCI 竞赛 IV 2a和2b的结果 Beijing Jiaotong University

19.消融实验 多尺度卷积 的消融实验 不同组件 的消融实验 Beijing Jiaotong University

20.总结 主要贡献: ◆ 利用多尺度卷积神经网络解决了受试者差异和时间差异问题; ◆ 利用SE Block 进行自动的特征选择进行高精度的分类; ◆ 输入数据未经过任何预处理(滤波); ◆ 提出模型在EEG通道数较少的情况也能达到不错的效果; ◆ 通过实验验证了ELU激活函数优于RELU.

21. GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification IJCAI 2020 Oral 论文链接:https://www.ijcai.org/Proceedings/2020/184 论文代码:https://github.com/ziyujia/GraphSleepNet

22. Introduction 睡眠: • 人的一生中约有三分之一的时间都在睡眠中度过, 睡眠质量的好坏直接影响到人类的身心健康; • 睡眠分期是评估睡眠质量和诊断睡眠障碍的重要手段。 人工睡眠分期: • 睡眠专家会根据睡眠分期标准和多导睡眠图 (PSG)对睡眠阶段进行划分; • 人工睡眠分期是一项繁琐且耗时的任务; • 睡眠专家的主观性和可变性易影响睡眠分期的结果。 自动睡眠分期: • 提高传统睡眠分期的效率; • 具有重要的临床价值。 Beijing Jiaotong University

23.Related Work 睡眠分期 ·传统机器学习: ◆ 支持向量机和随机森林等方法。 ◆ 需要手工设计特征,且要求大量的先验领域知识。 ·卷积神经网络和递归神经网络: ◆ FDCCNN[1],SeqSleepNet[2],DeepSleepNet[3]等。 ◆ 输入必须是网格数据 (类似于图像)。

24. Motivation & Challenge ·网格数据的局限性: ◆ 大脑区域间的连接关系被忽视。 ◆ 由于大脑处于非欧氏空间,因此图是最 适合用于表示大脑连接性的数据结构。 Grid data Graph data ·对大脑的功能连接进行建模: ◆ 图卷积神经网络在处理图数据中展示了相当优异的表现[4,5]。 ◆ 现有的工作往往使用的是固定的图结构,但是睡眠是一个动态的过程。 ◆ 人类对大脑的理解是有限的。 挑战1:如何为睡眠分期确定合适的图结构。 Beijing Jiaotong University

25.Motivation & Challenge 挑战2:如何有效地提取时空特征。 ◆ 在睡眠期间,大脑区域的空间特性是不同的。 ◆ 在时间维度上,睡眠阶段之间存在着过渡规则。 AASM睡眠分期标准中 的睡眠阶段过渡规则[6] ◆ 挑战2.1:如何将图卷积有效的应用于睡眠分期。 ◆ 挑战2.2:如何利用相邻睡眠阶段之间的过渡规则。

26. Methods GraphSleepNet: 自适应时空图卷积网络 自适应图学习模块,解决网络构建问题 贡献: ◆第一次将时空图卷积用 于睡眠分期任务。 ◆一种新颖的自适应睡眠 图学习机制。 ◆我们设计了一种时空图 卷积。 ◆实现了睡眠分期领域中 的最优结果。 时空图卷积提取睡眠时空特征 Beijing Jiaotong University

27.Methods 挑战1:如何为睡眠分期确定合适的图结构。 方法1:我们提出了一种自适应睡眠图学习 机制. ◆ 与时空图卷积集成在统一的架构中。 ◆ 动态的构造邻接矩阵A。 ◆ 利用损失函数中的第二项以控制邻接矩 阵A的稀疏性。 Beijing Jiaotong University

28. Methods 挑战2:如何有效地提取时空特征。 方法2:我们设计了一种时空图卷积架构。 a) 空间维度:利用图卷积聚合空间信息。 ◆ 使用基于谱图理论的图卷积方法。 ◆ 利用图拉普拉斯算子的切比雪夫展开来降低计算复杂性。 Beijing Jiaotong University

29. Methods 挑战2:如何有效地提取时空特征。 方法2:我们设计了一种时空图卷积架构。 b) 时间维度:使用卷积神经网络进行卷积操作以提取睡眠阶段间的过渡规则。 c) 时空注意力:自动提取有价值的信息。 Beijing Jiaotong University

2 点赞
1 收藏
3下载