西南科技大学张杨松教授作“两个基于深度学习的脑机接口方法”的主题报告-k8凯发旗舰

        2022年11月10日，在“情感脑机接口”的线上研讨会上，西南科技大学张杨松教授在研讨会上作“两个基于深度学习的脑机接口方法”的主题报告。

        报告开始，张杨松教授先对稳态视觉诱发电位（steady-state visual evoked potentials,ssvep）和运动想象（motor imagery, mi）作了背景介绍。ssvep是指当受到一个固定频率的视觉刺激的时候，人的大脑视觉皮层会产生一个连续的与刺激频率有关（刺激频率的基频或倍频处）的响应。运动想象则是大脑在想象肢体做某种运动，实际上并没有做出行动，但脑电上则显示了和实际做出活动相同的模式。

        并由背景引出最近比较广泛应用的深度学习以及深度学习在神经科学领域的各种应用，并推荐了部分对于脑电深度学习相关的综述论文。

        随后开始对视觉诱发电位的工作进行了介绍。首先介绍了最近对于视觉诱发电位的研究，并提出了最近的一些问题，例如被试数据数量不足，以及相对应的迁移学习的方法，例如跨被试、跨设备、跨刺激的迁移等。

        随后张杨松教授展示了近期的工作，ssvepnet网络，该网络主要包括四个部分：空间滤波器、时间滤波器、双向循环网络（bilstm）和分类部分。张杨松教授搭建了基本的网络后发现网络的参数量比较大，于是引用了光谱正则化以及标记平滑技术。

        随后张杨松教授为了验证这个网络，使用了两个数据集，一个是网上的公开数据集，一个是西南科技大学与华南理工大学合作的一个数据集。

        张杨松教授提出对于网络的验证工作设计了0.5s和1s的离线分析，以及三种训练和测试的比例，分别是8:2、5:5、2:8。所提出的网络在0.5s、1s的测试，以及跨被试和不跨被试的情况下，都得到了比先前的实验更好的结果。同时，为了验证所提出的网络模块有效，进行了消融实验，验证了模块的有效性。

        张教授对该模型总结，所提出的模型搭配上归一化和标记模糊化技术，得到的结果与当前的方法相比得到了比较大的改进，并提出归一化和标记模糊技术在设计对于视觉诱发电位的深度学习方法方面是很有潜力的。

        随后，张杨松教授开始讲解运动想象方面的方法，首先张教授介绍了传统的方法，例如csp、svm等方法，以及最近的深度学习方法。

        紧接着，张教授讲解了思路的来源，空间拓扑具有明显对称性差异，和c3、c4相关，想要基于这种时空差异性进一步提取特征，据此搭建了左右手想象的深度学习网络设计。这个网络具有三个部分，时间模块、空间模块、分类器模块。其中空间模块具有空间对称差异性卷积和大脑卷积两种方式，通过两种方式提取大脑空间差异性的特征，然后拼接在一起，输送到分类器中。

        为了进行算法的验证，采用了韩国大学的一个二分类大数据集。对数据集进行了基本的预处理，并且对电极进行了重排，使其位置对称，对应了上文的半脑差异性特质，这有利于后续的卷积特征处理。在验证的时候则是使用了跨被试的留一法进行验证。损失函数和优化器则是使用了常用的negative log-likelihood损失函数和adam优化器。

        随后，张教授表示提出的方法在跨被试的情况下，在近期的方法中得到了更优秀的结果。同时，对于电极数量的变化时的性能以及参数量都作出了比较，所提出的模型具有更好的性能以及更低的参数量，并且更加不依赖于数据集，这些表明了所提出方法的有效性。

        张教授从可解释性的角度，对其中的卷积模块进行了可视化，表明了模型确实学习了相应的不对称性特征。

        随后，张杨松教授对该模型作了总结，这个深度学习模型的分类达到了比较好的性能，并启发了我们做算法设计方面，可以从大脑的神经活动的机制展开模型设计，可能效果会更加的理想。

        最后，张杨松教授对演讲作了总结，首先提出了分别提出了视觉诱发电位和运动想象分类的深度学习模型，随后表明端对端的深度学习模型是脑电信号处理分析的有效工具，而从神经机制进行设计深度学习模型是一个重要的角度，以及可解释性方面需要进一步的加强。

张杨松，西南科技大学计算机科学与技术学院，副教授，硕导，四川省学术和技术带头人后备人选，新加坡南洋理工大学访问学者。脑科学与医学人工智能实验室负责人。在自然指数期刊acs nano、ieee tbme/tnsre、neural networks等国内外权威期刊发表sci论文50余篇，学术引用2030余次；