基于运动想象的脑机交互系统的研发

摘 要

　　脑机接口是一种完全不依赖于外围神经与肌肉等正常通路的新型交互方法，实现了脑与计算机的直接通信。运动想象是指在脑海中想象运动，而不必做出真实的运动动作，运动想象疗法就是依据于此，患者进行反复的运动想象，激 活相应的脑区，使得受损的神经通路周围的神经细胞苏醒过来，重构神经通路，进而达到恢复患者部分运动功能的目的。利用脑机接口技术来引导脑功能康复训练，是当前计算机科学、认知神经科学、医学等的热点和难点问题，基于运动想象的脑机交互系统可以辅助运动想象疗法，具有很好的应用前景。

　　本文完成了基于运动想象的脑机交互系统的设计与实现，由于脑电信号EEG 在采集的过程中极易受到干扰，所以在信号处理之前应首先对数据进行预处理以去除伪迹。在接下来的信号处理方面着重研究了脑电信号的特征提取，首先研究了共空间模式算法，紧接着探究了运动想象信号中最为突出的认知规律：ERD/ERS 现象，并提出了一个可以很好区分四类运动想象的参数：ERD/ERS能量系数。最后引入了小波包变换，提出了一种对原始数据进行分解后提取节点的近似熵作为特征，与 CSP 特征和 ERD/ERS 能量系数特征融合后输入到分类器中进行分类的特征提取方法 WPECSP,实验结果表明，相较于 CSP 方法，使用 WPECSP 进行特征提取的分类正确率提高了 4.44%,达到了 97.22%.这证明了该方法的有效性。

　　在对脑电信号进行模式分类时，比较了 Fisher 线性判决与 SVM 两种分类器的效果；在处理二分类器与四分类任务之间的矛盾时，比较了"一对一"与重复分两种方法；在采用"一对一"方法时，对于最终的输出类别的判定，对投票法与判断决策函数值两种方法进行了比较，并在此基础上提出了一种将投票与判断决策函数之相结合的方法，实验结果表明，有效的提升了分类识别率。

　　最后，分析了数据处理所使用的时间区间对实验结果的影响，针对被试个体之间的差异性，选取最优时间区间进行分类，有效的提高了分类正确率。

　　在脑机交互系统的搭建部分，基于 Maya 完成了软体机器人的建模与动画制作，基于 Unity3D 实现了离线训系统与在线子系统两个模块的功能。该系统既能实现离线的分析脑电信号，又能在线处理并将结果以软体机器人的动作这一形式展现出来，给予患者视觉反馈，辅助运动想象疗法，从而提升康复效果。

　　关键词：运动想象；脑机交互系统；共空间模式；小波包变换；支持向量机

Abstract

　　Brain computer interface （BCI） is a new interactive method which is completely independent of the normal pathways such as peripheral nerves and muscles, which realizes the direct communication between brain and computer. Motor imagination refers to the imagination of movement in the mind, without the need to make real movement action. Motor imagery therapy is based on this. Patients repeatedly imagine the movement, activate the corresponding brain area, make the nerve cells around the damaged neural pathway wake up, reconstruct the neural pathway, and then achieve the purpose of restoring part of the motor function of patients. Using brain computer interface technology to guide brain function rehabilitation training is a hot and difficult problem in computer science, cognitive neuroscience, medicine and so on. Brain computer interaction system based on motor imagination can assist motor imagery therapy and has a good application prospect.

　　In this paper, the design and implementation of brain computer interaction system based on motor imagination is completed. Because EEG signal is easily interfered in the acquisition process, the data should be preprocessed before signal processing to remove artifacts. In the following signal processing, we focus on the feature extraction of EEG signals. Firstly, we study the common spatial pattern algorithm, and then explore the most prominent cognitive rule of motor imagery signal: ERD / ERS phenomenon, and propose a parameter that can well distinguish four types of motor imagery: ERD / ERS energy coefficient. Finally, the wavelet packet transform is introduced, and a feature extraction method wpecsp is proposed, which extracts the approximate entropy of nodes after decomposing the original data, and inputs it into the classifier after fusing with CSP feature and ERD / ERS energy coefficient feature. The experimental results show that compared with CSP method, wpecsp improves the classification accuracy by 4.44%, The results show that the method is effective.

　　In the pattern classification of EEG signals, Fisher linear decision and SVM are compared In dealing with the contradiction between the two classifiers and the four classification tasks, the paper compares the "one-to-one" method and the repeated classification method; when the "one-to-one" method is adopted, the voting method and decision-making function value judgment methods are compared for the final output category judgment, and on this basis, a combination of voting and decision-making function is proposed The experimental results show that the classification recognition rate is effectively improved.

　　Finally, the influence of the time interval used in data processing on the experimental results is analyzed. According to the differences between the subjects, the optimal time interval is selected for classification, which effectively improves the classification accuracy.

　　In the construction of brain computer interaction system, the modeling and animation of soft robot are completed based on Maya, and the functions of offline training system and online subsystem are realized based on unity3d. The system can not only analyze EEG signals off-line, but also process and display the results in the form of soft robot action. It can give visual feedback to patients and assist motor imagery therapy, so as to improve the rehabilitation effect.

　　Key words: motor imagination; brain computer interaction system; common space pattern; wavelet packet transform; support vector machine

目录

　　第 1 章 绪 论

　　1.1 课题背景及研究意义

　　人类的大脑是自然界这一生态系统很中最为复杂的一个，有 1000 亿个神经细胞，而这些细胞之间又依靠突触建立起了数以百万亿计的神经连接[1].不同神经细胞之间的组合产生了从宏观到微观多种层次的不同脑网络。当大脑活跃时，信息通过脑网络之间的神经连接，相互作用，执行大脑的复杂功能。

　　美国理事会于 1989 年联合提出了将 90 年代命名为全球"脑的十年[2]"这一倡议，自此以后，对人类大脑的研究就成为了现代神经科学的首要任务之一。 2013 年 4 月，美国奥巴马政府启动了"美国脑计划（BRAIN）",重视脑科学新工具和新技术的开发，希望以此为动力来推动面向基础性研究的新兴学科和新兴产业的发展。与此同时，欧盟宣布启动"人脑工程计划（HBP）",这一计划将作为其往后十年的"新兴开发项目",该项目专注于用以超级计算机技术，来模拟大脑功能，为人工智能技术的发展创造了一个仿生学发展的新型研究平台。可以看出，世界上各个国家之间已经开始一场关于"脑科学"的角逐，令人惊奇的是，很多专家尽管自身的研究领域不同，但一致认为脑计划是一项足以比拟"人类基因组计划"的重大科学项目[3],将成为学术界的强大动力。在这一时代背景下，中国也不甘落后，于 2016 与 2017 连续两年发布与脑科学研究相关的文件，将其列入国家科学发展的战略目标。除此之外，各地政府也纷纷推出了与当地科研水平相匹配的脑科学计划。

　　大脑复杂的结构以及内部神经连接种类的多样性使得大脑研究成为一项十分具有挑战性的工作。1929 年，德国的一位名为 Ham Berger 的精神科教授第一次成功地记录了有规律的脑电活动[4],在此之后的十几年内，脑电信号（EEG）迎来了其迅速的发展，它通过记录电极之间的电位差来反应大脑活动的变化，是目前最广运用的脑科学研究技术之一。人的大脑掌管了人类的思维、情感、运 动等功能，通过分析和处理接收到的各种感知信息，可以给予体内神经及肌肉以控制信息，实现与外界的信息交换。

　　如今的很多疾病，如脊髓侧索硬化症即"渐冻症"、脊髓损伤、肌萎缩等或者由于事故而非疾病造成的肢体受损与残缺，在不同程度上破坏了人脑与外界进行交流的神经以及肌肉通路，这就使得这些人的大脑功能虽然是正常的，但是却无法很好的执行大脑发出的指令，因此丧失了与外界交互的能力。为了改善这个问题，脑-机接口（BCI）[5]技术应运而生。它是一项完全不依赖外围神经与肌肉等组成的正常通路的新型交互方式[6],在该技术下可以实现人脑与计算机等电子设备间的直接通信，使得人们可以绕过骨骼肌肉系统直接实现对外部设备的控制。对于那些思维正常，但是由于疾病或者意外事故丧失了对支持掌控权的患者来说，脑机交互系统是能帮助他们完成正常的日常活动的一个新方式。

　　目前来说，在对上述那些有运动障碍的患者进行康复治疗的过程中，主要有三种辅助方式被应用到 [7]:第一种，锻炼没有受到损伤的神经通路，使其有能自主的控制肢体，使用这一通路，而不是已经受到损伤的那部分传导通路，实现与外界进的沟通；第二种，让运动障碍受损的那部分直接接受电刺激，从而恢复其功能；第三种，运动想象疗法，这种方法与第一种的目的类似，都是寻找受损神经通路的替代。

　　所谓运动想象疗法[1],就是指进行重复性的运动想象，以提高运动能力。在此过程中是没有真实的运动输出的，会根据运动想象时建立的运动记忆激活患者大脑中与之对应的特定活动区域，重建大脑和肢体之间的神经传输"通路",基于这一"通路"训练大脑，使之能够重新获得对肢体的控制能力，帮助患者实现恢复部分运动功能的目标。但是单纯的运动想象强度对于脑区的刺激不够强烈，可能导致疗效缓慢。近些年来，随着脑机接口技术的不断发展，越来越多的基于运动想象的脑机交互系统涌现出来，并被广泛的应用于康复领域。利用脑机交互系统，将患者的运动想象具化为软体机器人的动作，给予被试视觉反馈，增强对相应脑区的刺激程度，加快治疗速度。

　　运动想象（MI）[9]信号是脑机接口技术中应用较为广泛的信号之一，它在患者进行运动想象过程中被记录到。可以利用该信号来检测患者的运动意图，然 后将其转换为控制信号，用于脑机交互系统中的反馈控制，在另一个层面上去辅助患者完成"运动控制",从而完成了大脑与外界环境之间的交互。使用该系统进行康复训练与传统方式相比，不仅可以促进中枢神经系统的重塑[10],还具有很多其他优点，例如：（1）更为安全，运动想象的过程中是不需要患者进行真实运动的，对那些残留运动功能极其微弱乃至完全瘫痪的患者来说，MI-BCI 更为合适；（2）更易上手，能够在少量医疗专业人员的参与下进行康复训练，并获得持续性的监控与衡量，大大的节省了劳动力；（3）更能调动患者积极性，在每一次的训练过程中，患者都能够接收到有效的反馈，这会使得他们更愿意去参与到康复训练中来，这一点是极为重要的，要知道，很多患者最终没能康复并不是因为自身的情况多么的严重，而是因为康复过程过于痛苦，很多患者并没有坚持下来。以上这些对于帮助患者恢复运动功能，进而重返社会生产活动有着重要意义。

　　除此之外，本课题的研究工作还可以为之后的工作做铺垫，为之后的外骨骼设备的研发做前瞻性工作。

　　1.2 脑机接口的概念与分类

　　1.2.1 脑机接口的概念

　　脑机接口是近些年发展起来的一个学科交叉领域，1999 年 6 月在美国纽约召开的第一届 BCI 大会上，给出了脑机接口的明确定义[11],即：脑机接口是一种基于大脑产生的神经活动而进行的新型交互手段，它完全不依赖于外围神经和肌肉组成的正常通路，实现了脑与计算机的直接通信。

　　BCI 系统在帮助残疾人方面的潜力是显而易见的，目前已经有一些专为残疾人设计的计算机接口（Wickelgren,2003）[12],但是这些系统都需要一些肌肉控制，比如说脖子、头部、眼睛等。而脑机接口的优点在于，它可以是无意识神经活动的接口，比如说癫痫发作等等，因此脑机接口技术对于有严重残疾或者无法活动的患者极其有帮助，因为他们并没有可靠的肌肉来参与与周围环境的互动。

　　一般而言，脑机交互系统分为三个组成部分[13],第一部分：信号采集系统：

　　这个部分主要负责使用信号采集设备采集脑电数据；第二部分：信号处理系统：

　　这个部分主要负责对第一部分采集到的数据进行处理，一般来说，处理流程为预处理、特征提取、模式分类，这个部分是脑机交互系统中最为关键的一个部分，通过这一部分，将采集到的脑电信号转化为控制信号，作为第三部分的输入；第三部分为外设及控制系统：这个部分主要负责执行第二部分传入的控制信号，完成脑机交互。

　　BCI 系统的目的是允许用户和设备交互。这种交互是通过各种中间功能组件、控制信号和反馈循环来实现的，基本框架如图 1-1 所示。中间功能组件主要是将用户的意图转化为操作时执行的特定功能。根据定义，这意味着用户和设备也是 BCI 系统的组成部分。交互还需要通过反馈循环来实现，反馈循环用于通知系统中每个组件的状态。

　　1.2.2 脑机接口的分类

　　从前段可以得知，脑机接口系统主要是通过分析脑电数据所呈现的大脑活动状态来实现控制，根据脑机交互系统使用的信号源或分析方式的不同，可以将 BCI 系统分为以下几种类型[14]: （1）基于 P300:在介绍 P300 之前，首先我们需要了解时间相关电位（ERP）， 它是大脑在特定的外部或内部事件的固定时间后发生的锁定时间的反映，这种电位通常发生在受到感觉或者听觉刺激、心理事件或者不断发生的刺激缺失的时候。

　　外源性 ERP 成分主要是对物理刺激的强制性反应，发生在对外部时间的处理过程中，但是与刺激在信息处理中的作用无关。比如，灯泡的随机闪光会产生一种外源性成分，因为大脑对突然闪现的光线做出反应，而不受环境的影响。

　　内源性 ERP 成分是在处理内部事件时发生的，它依赖于刺激在任务中的作用以及刺激和环境之间的关系。例如，如果用户尝试在一个单词中拼写字母 R,那么如果出现字母 R,则会生成 ERP,因为这是用户正在寻找的事件。然而如果用户试图拼写字母 S,在呈现字母 R 的时候，就不会有 ERP 出现，因为刺激与发生刺激的上下文之间的关系不再有效。

　　P300 是 ERP 的一种，出现在事件发生之后的 300 毫秒左右。脑机接口领域的经典范式"oddball"就是基于 P300 的。在这一实验中，被试接受到的刺激可以分成两类，一类出现频率较高，一类出现频率很低，被试的任务是将这两类区分开来。当频率较低的刺激出现时，在事件发生之后的 300 毫秒左右将会有一个 P300 成分出现，这是一个大的正波，如图 1-2 所示。P300 的显著程度与刺激发生的概率呈负相关状态。

　　（2）基于 ERD/ERS:事件相关（去）同步是一种特殊类型的 ERP,产生这类事件相关电位的原因是主要是控制神经网络震荡的因素发生变化，比如说感觉刺激或者心理意象。神经元同步程度的降低会导致特定频段的功率降低，这种现象被称为 ERD,可以通过信号幅值的降低来识别，在 α 频段中 ERD 现象非常普遍，特别是在涉及到感知、记忆以及判断的任务当中，增加任务的复杂性或注意力会方法 ERD 的程度。与之相反，ERS 的特征是特定频段的功率增加。

　　ERD/ERS 是相对于基线或者参考区间进行计算的，所以其强度受到该区间节律变化的影响。

　　在运动想象或者真实运动任务中，ERD/ERS 的时间锁定特性尤为明显。如图 1-3 所示，μ 节律中的 ERD 现象在运动开始前 2.5S 开始，运动开始后达到峰值，然后恢复到基线。β节律在运动开始前有一个短暂的 ERD 现象，并紧接着跟随一个 ERS,在运动开始后达到峰值。当受到视觉刺激时，由于感觉信息的结合，也会在 40Hz（γ节律）附近发现震荡和 ERS.

　　（3）基于 VEP:视觉诱发电位（VEP）是一种对视觉刺激做出反映的脑电图成分，VEP 依赖于用户对视觉的控制，因此需要连贯的肌肉控制。稳态视觉诱发电位（SSVEP）是一种常见的视觉诱发电位，它是一种外源性 ERP 成分，用户视觉上关注屏幕上以不同频率闪烁的两个对象中的一个，当用户将焦点转移到另一个对象，然后返回基线时，SSVEP 成分将被放大。用户可以继续在屏幕上两个对象之间进行焦点切换，以产生信号的变化。

　　1.3 基于运动想象的脑机交互系统的研究发展现状

　　1929 年，Hans Berger[15]发明了一种后来被称为脑电图的仪器，它可以记录大脑活动产生的电位。然而，在很长的一段时间内，这仍然是一种猜想。后来随着科技水平的不断发展，研究不断深入，越来越多的脑科学研究小组不断涌现。而在当代脑科学领域，基于运动想象的脑机交互系统已经成为了一个炙手可热的研究方向，它是一门由生物医、计算机、通信、信号处理等多门学科交杂而成的跨学科科目，目前已经有很多学者致力于这方面的研究，并取得了不错的成果。

　　1.3.1 国外研究现状

　　回顾脑机接口的发展历史我们可以看出，率先进行此项研究的学者大多来自国外的研究机构，相对来说技术也更为成熟。1978 年，英国的 Mike Top-ping公司推出了一款名为 Handy1[16]的辅助型机器人，可以说这是最早脱离实验室的康复型机器人。Handy1 有 5 个自由度，可以辅助残疾人完成一些日常基本活动，例如说在桌面高度完成吃饭动作。在之后该公司还推出了其进阶版本 Handy2,这一版本的机器人具备了更多的功能，比如说帮助残疾人进行清洁、刷牙等，如图 1-4 所示。

　　随着科技的不断革新，再加上医疗水平不断上升，脑机接口的应用不再局限于辅助型机器人，而将目光更多的投向了康复治疗，一时间，大量的康复治疗型机器人涌现出来。其中出现较早的就是由 Krebs 和 Hogan 于 1998 年共同研发成功的 MIT-Manus[17],这是一款辅助脑神经进行康复训练的机器人。主要的受众是那些脑卒中患者，他们可以使用该款机器人进行上肢的康复训练。在经过一段时间的使用效果跟踪调查后，我们发现使用该款机器人的患者相较于进行传统康复训练来说取得了更好的效果。

　　2000 年，脑科学研究领域诞生了一项里程碑式的成果，来自美国 Duke 大 学的学者在猴子的大脑运动皮层中植入了电极，并通过这种方法采集到了猴子在完成指定任务时所产生的大脑皮层电位变化。在进行反复的训练之后，找到了与指令相关的运动敏感区域，通过对这一区域大脑活动的检测，可以在很短的时间内检测出猴子的运动倾向，并将这一预测结果转化为机械臂的控制输入，从而驱动机械臂完成相应的动作，实现了猴子自己控制机械臂[18],如下图所示。

　　通过这个实验，让更多的人认识到了通过运动想象技术帮助瘫痪患者完成日常活动的可能性。

　　Duke 大学的研究虽然取得了很好的效果，但是由于采用侵入式的方法采集脑电，危险系数过高，很难引申到人类身上。2011 年 Gomez-Rodriguez M[19]等人针对该问题做出了新的尝试。在这一研究小组的共同努力下，一款使用电极帽采集 MI-EEG 的康复系统，该系统可以记录被试进行手臂运动想象时的脑电信号，并据次在线识别被试的运动倾向，然后将识别结果转化为控制信号，驱动机械臂辅助被试进行运动，形成反馈回路，刺激相应的脑区。根据神经可塑性[20]原理，这一方式可以很好的加速治疗，如图 1-6 所示。

　　关于脑机交互系统是否能有效的作用于神经康复这一问题，Kai Keng Ang等[21]通过三个实验来论证其有效性。第一个实验是验证脑机交互系统是否可以触发机器人反馈，进行了多组对照实验，结果表明，82%的被试在实验过程中均出现了机器人反馈，也就意味着在实验过程中 82%的人可以正常使用脑机交互系统：第二个实验是验证触发的机器人的反馈与脑机交互系统中的指令是否一致，实验结果表明，60%的被试反应机器人的反馈与指令较为一致，达到了 70%以上，也就是说，60%以上的实验其分类正确率达到了 70%以上。第三个实验则是验证患者使用脑机接口系统对于康复是否有效，进行对照试验，被试分别使用脑机交互系统和进行物理练习，中风患者在经过脑机交互系统治疗之后对其进行 Fugl-Meyer 运动功能评分，试验结果表明，运动积分有明显改善，达到4.54.综上所述，患者在使用脑机交互系统时，可以得到有效的反馈，作用于形影的脑区，促进神经康复。

　　对于脑电信号的处理，研究人员已经做了诸多尝试。在特征提取方面，包括了小波变换（WT）[22]、功率谱密度（PSD）[23]、自回归模型（AR 模型）[24]等等，其中共空间模式（CSP）[25]是目前应用最为广泛且效果最好的特征提取方法之一。自从公共空间模式在脑机接口领域取得了很好的成果之后，就涌现出很多对 CSP的改进方法，比如共稀疏频谱空间模式（CSSSP）[26]、子带共空间模式（SBCSP）[27]、滤波器组共空间模式（FBCSP）[28]等、判别滤波组共空间模式（DFBCSP）[29]等。在模式分类方面，尝试了支持向量机（SVM）[30-31]、神经网络（NN）[32]、隐马尔科夫模型（HMM）[33]等等。以上这些方法，在自己的应用场景中，都取得了较为不错的效果。

　　1.3.2 国内研究现状

　　相对而言，国内的研究较少，但不可否认的是有很多小组都取得了不错的成绩。李远清[34]教授和他的团队基于 P300 与运动想象研发了一款脑机交互系统，使用该系统实现了对光标的控制；天津大学的 Jiang sheng Long 等[35]对一款脑机交互系统展开了研究，如图 1-7 所示。该系统使用非侵入方式采集脑电数据，并采用 CSP 进行特征的提取，使用 SVM 对提取到的特征进行分类得到分类结果，再将此分类结果转化为控制信号，控制功能性电刺激（FES）的触发，使其作用于患者促进他进行进一步的运动想象，在进行了一系列的实验结果追踪调查后，验证了该系统在帮助患者恢复部分运动功能上的有效性。

　　清华大学的高上凯小组[36]是国内最早开展基于运动想象的脑机交互技术研究的团队，他们设定了左手、右手以及腿部这三种运动指令，并通过对这三种动作的运动想象实现了对机械狗的移动控制，实验结果表明，分类正确率较高，达到了世界领先水平。山东科技大学 Sun[37]等人也进行了同样的基于 MI 的BCI 研究，实现了在线控制机器人进行上肢运动。且运动动作不再仅仅局限于抬手，而是增加了类似于抓放小球、肘关节内外旋等高难度任务，实现了对机械臂更为精准的控制。

　　紧随其后，国内其他高校也展开了与脑机交互系统相关的研究工作。上海交通大学团队针对 事件相关（去）同步现象展开了深入研究，研究重点在ERD/ERS 现象的持续时间上，并以此基础上创完成了基于累计增量控制策略的异步脑机接口系统的研发工作；华中科技大学在脑科学领域主要进行的研究是在线机器人控制策略，通过脑电信号完成对机械臂的控制。

　　1.4 本文的主要研究内容及组织结构

　　本论文中各章节的具体内容如下：

　　第 1 章首先讲述了课题背景与研究意义，以及脑机接口系统的基本概念，阐明了脑机接口研究的重要性，紧接着总结了脑机接口领域目前的国内外研究现状，可以看出越来越多的专家学者投入到了脑科学的研究当中，为后续的研究奠定了理论基础。 第 2 章首先介绍了脑电信号是如何产生的以及有哪些特点，在此基础上讲述了脑电信号采集的方法。紧接着介绍了本课题实验所使用的数据集，以及对该数据集的数据预处理过程。

　　第 3 章首先对脑电信号特征提取领域中应用最为广泛的方法：共空间模式展开了详细介绍，紧接着对脑电数据进行了事件相关（去）同步认知规律的研究。

　　并为了弥补共空间模式缺少频域信息这一缺点，对挑选出的电极进行了小波包变换，并比较了提取近似熵与样本熵两种方法，最终确定了本文特征提取使用的方法。

　　第 4 章主要对第 3 章提取到的特征进行分类方法的探究，比较了 Fisher 线性判决与支持向量机的分类效果，针对二分类器与四分类任务之间矛盾，提出了两种方法来解决。最终确定了本文信号处理的框架。

　　第 5 章主要对脑机交互系统的搭建工作进行了介绍，该系统包括离线子系统与在线子系统。

　　第2章脑电信号概述与预处理
　　2.1脑电信号基本理论
　　2.1.1大脑的结构与功能
　　2.1.2脑电的产生机制
　　2.1.3脑电信号的分类
　　2.1.4脑电信号的特点
　　2.2脑电信号的采集
　　2.3实验数据
　　2.4数据预处理
　　2.5本章小结

　　第3章运动想象信号特征提取算法的研究
　　3.1基于CSP的特征提取
　　3.1.1CSP算法
　　3.1.2基于CSP的多分类特征提取
　　3.1.3实验结果分析
　　3.2ERD/ERS的计算
　　3.3基于小波包变换的特征提取
　　3.3.1小波包分解
　　3.3.2小波基的选择
　　3.3.3近似熵与样本熵
　　3.3.4实验结果分析
　　3.4WPECSP特征提取方法
　　3.5本章小结

　　第4章运动想象信号的模式分类
　　4.1FISHER线性判决
　　4.2支持向量机
　　4.3多任务下的模式分类
　　4.3.1"一对一"方法中输出类别的判断
　　4.3.2重复二分法
　　4.4FLD与SVM的比较
　　4.5最优时间区间
　　4.6本章小结

　　第5章基于运动想象的脑机交互系统
　　5.1软体机器人的建模与动画制作
　　5.2脑机交互系统的设计与实现
　　5.2.1离线子系统
　　5.2.2在线子系统
　　5.3脑机交互系统的测试
　　本章小结

结 论

　　脑机交互系统涉及到了很多学科，是一个近几年来兴起的交叉研究领域，它的实质是通过对脑电信号的分析来推断用户的想法，并最终完成人机交互。

　　在众多的脑机接口系统中，本课题主要研究的是基于运动想象的脑机交互系统，它主要受众是那些思维正常但是肢体受限的患者，辅助他们进行运动想象疗法，从而达到恢复一定运动功能的目的。

　　本文针对这一目的，致力于运动想象认知规律研究，并在这些认知规律的指导下进行了脑电信号处理技术的研究，现总结如下：

　　首先研究了经典脑信号特征提取方法 CSP,并根据其较易受频段影响的特点，对信号进行了频带滤波；紧接着研究了运动想象脑电中最主要的认知规律：

　　ERD 与 ERS 现象，并在此基础上提出了 ERD/ERS 能量系数这一指标，由于运动想象 C3、C4、Cz 最为相关，所以只对这三个导联提取了能量系数，结果表明对四类运动想象任务具有很好的区分度。之后研究了常用的时频分析方法小波包变换，并提取分解后信号的近似熵以及样本熵作为特征进行分类，最终提出了一种结合小波包变换、CSP 与 ERD/ERS 能量系数的方法 WPECSP,实验结果表明，有效的提升了分类正确率其次，在脑电数据的模式分类阶段，考虑到对信号进行在线处理及时响应的需求以及运动想象脑电信号数据量极小这一特点，比较了 FLD 与 SVM 两种分类器的效果，并使用"一对一"方法解决了二分类器与四分类任务之间的矛盾，在最后的类别判断阶段，比较了投票法与判决决策函数值两种方法，并在此基础上，提出了一种将两者结合起来的方法，实验结果表明，有效的提高了分类正确率。紧接着，最后，分析了数据处理所使用的时间区间对实验结果的影响，针对被试个体之间的差异性，选取最优时间区间进行分类，有效的提高了分类正确率。

　　最后完成了脑机交互系统的搭建工作，考虑到不同被试对运动想象指令的理解差异性，在运动想象过程中，增加了教学视频这一模块，减小了被试在接受视觉反馈时因为对动作理解不一致而带来的落差。

　　本文虽然在上述的研究方向中取得了一定的成果，但是由于时间不足且本人能力有限，所以还有很多不足之处，有待后期的进一步研究。下面将一一列出：

　　（1）在小波包分解阶段，仅仅取 C3、C4 和 Cz 这三个电极通道的数据在针对脚和舌的运动想象时分类效果较差，只有 50%左右的分类正确率，远低于四类运动想象两两组合时其他 5 组 85%以上的分类结果。虽然在最后的分类模式中没有使用近似熵与样本熵作为特征，但是 ERD/ERS 能量系数的计算也是在这三个导联上进行了，所以同样对分类精度产生了影响。后期可以对认知规律进行进一步的研究，找到能较好区分脚舌两类信号的电极。

　　（2）在脑机交互系统中，目前仅有离线训练子系统与在线运动子系统这两个模块，无法给只有一处肢体由运动障碍的患者提供针对行的训练，虽然系统中已经完成了对个人信息进行采集功能，但并没有将这个信息落到实处，在后续的工作中考虑增加专项训练模块，根据用户的需求对系统进行自主调节。

　　参考文献
　　[1] Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with DeepNeural Networks[J]. Medical Image Analysis, 2017, 35:18-31.
　　[2] 施锦河。 运动想象脑电信号处理与 P300 刺激范式研究[D]. 杭州：浙江大 学电路与系统学科博士学位论文，2012:15-20.
　　[3] Wolpaw J R, Birbaumer N, Heetderks W J. et al. Brain-computer interfacetechnology: a review of the first international meeting [J]. IEEE transactions onrehabilitation engineering, 2000, 8（2）： 164-173
　　[4] Hinterberger T, Kübler A, Kaiser J, et al. A brain–computer interface （BCI） forthe locked-in:comparison of different EEG classifications for the thoughttranslation device[J]. Clinical Neurophysiology, 2003, 114（3）：416.
　　[5] Chaudhary U, Xia B, Silvoni S, et al. Brain–Computer Interface–BasedCommunication in the Completely Locked-In State:[J]. Plos Biology, 2017,15（1）：e1002593.
　　[6] 李青敏，李忠正等。 基于 EEG 脑机接口的研究现状及在康复中的应用[J] .北京生物医学工程，2017,36（3）：310-316.
　　[7] 慕思雨，许敏鹏等。 经颅电刺激在卒中后运动康复领域的研究进展[J] . 中国生物医学工程学报，2018（1）[8] 杨帆， 桑德春， 张晓钰，等。 运动想象疗法对脑卒中患者运动功能康复的效果[J]. 中国康复理论与实践， 2017, 23（9）：1081-1085.
　　[9] Tabar Y R, Halici U. A novel deep learning approach for classification of EEGmotor imagery signals[J]. Journal of Neural Engineering, 2017, 14（1）：016003.
　　[10] 刘小燮，毕胜，高小榕等。 基于运动想象的脑机交互康复训练新技术对大脑可塑性的影响 [J] . 中国康复医学杂志，2015,28（2）：97-102.
　　[11] Li Y , Pan J , Wang F , et al. A hybrid BCI system combing P300 and SSVEPand its application to wheelchair control[J]. IEEE transactions on bio-medicalengineering, 2013, 60（11）。
　　[12] Wickelgren I . Neuroscience. Tapping the mind.[J]. Science, 2003,299（5606）：496-9.
　　[13] 王斐， 张育中， 宁廷会， et al. 脑-机接口研究进展[J]. 智能系统学报， 2011,6（03）：189-199.
　　[14] Vallabhaneni A , Wang T , He B . Brain-Computer Interface[J]. 2005.
　　[15] Tudor M .[Hans Berger （1873-1941）--the history of electroencephalography].[J].Acta Medica Croatica C?asopis Hravatske Akademije Medicinskih Znanosti,2005, 59（4）：307.
　　[16] M Tonolini. Appendiceal mucocele in ulcerative colitis:a rare association and acrucial preoperative diagnosis[J].Journal of Gastrointestinal and LiverDiseases:JGLD, 2015, 24（1）： 128-9.
　　[17] Magazzino F, Katsaros D, Ottaiano A, et al. Surgical and medical treatment ofclear cell ovarian cancer: results from the multicenter Italian Trials in OvarianCancer （MITO） 9 retrospective study.[J]. Journal of Hepatology, 2016,56（5）：S392-S393.
　　[18] Mussaivaldi S. Neural engineering: Real brains for real robots[J]. Nature, 2000,408（408）：305-306.
　　[19] [14] Rodriguez M G, Leskovec J, Schoelkopf B. Modeling InformationPropagation with Survival Theory[J]. Philosophical Magazine Letters, 2013,95（2）：85-91.
　　[20] Gomez-Rodriguez M, Peters J, Hill J, et al. Closing the sensorimotor loop:haptic feedback facilitates decoding of motor imagery[J]. Journal of NeuralEngineering, 2011, 8（3）：036005.
　　[21] Kai K A, Guan C. Brain–Computer Interface for Neurorehabilitation of UpperLimb After Stroke[J]. Proceedings of the IEEE, 2015, 103（6）：944-953.
　　[22] Legarreta I R , Addison P S , Reed M J , et al. CONTINUOUS WAVELETTRANSFORM MODULUS MAXIMA ANALYSIS OF THEELECTROCARDIOGRAM: BEAT CHARACTERISATION AND BEAT-TOBEAT MEASUREMENT[J]. International Journal of Wavelets, Multiresolutionand Information Processing, 2005, 03（01）：19-42.
　　[23] Filho C A S , Attux R , Castellano G . EEG sensorimotor rhythms' variationand functional connectivity measures during motor imagery: linear relations andclassification approaches[J]. Peerj, 2017, 5（4）：e3983.
　　[24] Lin S , Guo S , Huang Z . Determining AR order for BCI based on motorimagery[C]// International Conference on Biomedical Engineering &Informatics. IEEE, 2016.
　　[25] Robinson N , Vinod A P , Guan C , et al. A Wavelet-CSP method to classify handmovement directions in EEG based BCI system[C]// ICICS 2011 - 8thInternational Conference on Information, Communications and SignalProcessing. IEEE, 2011.
　　[26] Gouypailler C , Congedo M , Jutten C , et al. Model-Based Source Separationfor Multi-Class Motor Imagery[C]// European Signal Processing Conference.IEEE, 2008.
　　[27] Quadrianto N , Cuntai G , Dat T H , et al. Sub-band common spatial pattern（SBCSP） for brain-computer interface[C]// International IEEE/EMBSConference on Neural Engineering. IEEE, 2007.
　　[28] Ang K K , Chin Z Y , Zhang H , et al. Filter Bank Common Spatial Pattern（FBCSP） in brain-computer interface[C]// IEEE International Joint Conferenceon Neural Networks. IEEE, 2008.
　　[29] Thomas K P , Guan C , Tong L C , et al. Discriminative FilterBank selection andEEG information fusion for Brain Computer Interface[C]// IEEE InternationalSymposium on Circuits & Systems. IEEE, 2009.
　　[30] Bhattacharyya S , Konar A , Tibarewala D N . Motor imagery, P300 and errorrelated EEG-based robot arm movement control for rehabilitation purpose[J].Medical & Biological Engineering & Computing, 2014, 52（12）：1007-1017.
　　[31] Islam M , Ahmed T , Yusuf M S U , et al. Cognitive State Estimation by EffectiveFeature Extraction and Proper Channel Selection of EEG Signal[J]. Journal ofCircuits, Systems and Computers, 2015, 24（02）：1540005.
　　[32] Ana Branka Jerbic,Petar Horki, Hilbert-Huang Time-Frequency Analysis ofMotor Imagery EEG Data for Brain-Computer Interfaces[J].IfmbeProceedings,2015:62-65.
　　[33] Saa J F D , ?etin, Müjdat. Hidden conditional random fields for classificationof imaginary motor tasks from EEG data.[C]// European Signal ProcessingConference. IEEE, 2015.
　　[34] Li Y , Long J , Yu T , et al. An EEG-Based BCI System for 2-D Cursor Controlby Combining Mu/Beta Rhythm and P300 Potential[J]. IEEE transactions onbio-medical engineering, 2010, 57（10）：2495.
　　[35] Jiang S, Chen L, Wang Z, et al. Application of BCI-FES system on strokerehabilitation[C]// International Ieee/embs Conference on Neural Engineering.IEEE, 2015:1112-1115.
　　[36] Tung S W, Guan C, Ang K K, et al. Motor imagery BCI for upper limb strokerehabilitation: An evaluation of the EEG recordings using coherence analysis[J].Conf Proc IEEE Eng Med Biol Soc, 2013, 2013:261-264.
　　[37] Kai K A, Guan C. Brain–Computer Interface for Neurorehabilitation of UpperLimb After Stroke[J]. Proceedings of the IEEE, 2015, 103（6）：944-953.
　　[38] Svanidze I K , Museridze D P , E. V. Didimova… Disordered Neurogenesis inCortical and Subcortical Limbic System Structures in the Rat Brain in FetalAlcohol Syndrome[J]. Neuroscience and Behavioral Physiology, 2013,43（3）：341-345.
　　[39] Three-dimensional maximum probability atlas of the human brain, withparticular reference to the temporal lobe[J]. Human Brain Mapping, 2003,19（4）：224-247.
　　[40] Doyle J , Ornstein R , Galin D . Lateral Specialization of Cognitive Mode: II.
　　EEG Frequency Analysis[J]. Psychophysiology, 1974, 11（5）：567-578.
　　[41] 崔冬。 多通道脑电信号建模及同步分析[D].燕山大学博士学位论文，2011:7-8[42] Okamoto M , Dan H , Sakamoto K , et al. Three-dimensional probabilisticanatomical cranio-cerebral correlation via the international 10 –20 systemoriented for transcranial functional brain mapping[J]. NeuroImage, 2004,21（1）：99-111.
　　[43] Blakemore S J , Sarfati Y , Bazin N , et al. The detection of intentionalcontingencies in simple animations in patients with delusions of persecution[J].Psychological Medicine, 2003, 33（8）：1433-1441.
　　[44] Pfurtschelle G . Event-related EEG/MEG synchronization anddesynchronization : basic principles[J]. Clin Neurophysiol, 1999, 110.
　　[45] Matsunaga T , Katayama Y , Hayami T , et al. Measurements of the mu/betaERD and gamma ERS during the imagination of body parts movement[C]//International Conference of the IEEE Engineering in Medicine & BiologySociety. IEEE, 2008.
　　[46] Ting W , Guo-Zheng Y , Bang-Hua Y , et al. EEG feature extraction based onwavelet packet decomposition for brain computer interface[J]. Measurement,2008, 41（6）：618-625.
　　[47] Stéphane, Mallat. A Wavelet Tour of Signal Processing || Sparsity in RedundantDictionaries[J]. 2009:611-698.
　　[48] Ocak H . Ocak, H.: Automatic Detection of Epileptic Seizures in EEG usingDiscrete Wavelet Transform and Approximate Entropy. Expert Syst. Appl. 36,2027-2036[J]. Expert Systems with Applications, 2009, 36（2）：2027-2036.
　　[49] Cukic M , Pokrajac D , Stokic M , et al. EEG machine learning with Higuchifractal dimension and Sample Entropy as features for successful detection ofdepression[J]. 2018.
　　[50] 赵海滨， 颜世玉， 于清文， et al. 采用 Fisher 线性判别分析进行 MEG 信号的分类[J]. 东北大学学报（自然科学版）， 2013, 34（12）：0-0.
　　[51] Wan B , Liu Y , Ming D , et al. Feature Recognition of Multi-Class ImaginaryMovements in Brain-Computer Interface[C]// IEEE International Conference onVirtual Environments. IEEE, 2009.
　　[52] 曾庆山， 范明莉， 宋庆祥。 基于 CSP 与卷积神经网络算法的多类运动想象脑电信号分类[J]. 科学技术与工程， 2017（27）：149-154.
　　[53] 孙靓， 卢大玮， 刘亮，等。 面向三维立体动画制作的视差可视化调节方法设计与实现[J]. 计算机辅助设计与图形学学报， 2017, 29（7）：1245-1255.
　　[54] 翟浩澎。 MAYA 三维动画制作技术[J]. 艺术研究， 2017（3）：42-43.

致 谢

　　两年的时光稍纵即逝，硕士生活就这样走到了终点，回过头看，感慨颇多。

　　这是成长极其迅速的两年，遇到过困难、经历过迷茫、挥洒过汗水、也体验过喜悦。这两年可以说是我人生的转折点，在这里遇到了太多太多的人生第一次，但不可否认的是，无论是喜悦还是挫折，都是漫长岁月长河中一段闪着光的记忆。黄碧云说，如果有天我们湮没在了人潮之中，庸碌一生，那是因为我们没有努力活得丰盛。所以，要努力呀！在这里要感谢这一路帮助我不断学习、不断成长的老师、学长和同学。

　　首先要感谢导师马琳副教授，论文从定题到写作再到定稿，倾注了老师大量的心血。马老师在学术和工作中严谨认真，尤其注重论文写作的逻辑性与严谨性，为了解决一个很小的问题，可以和我们讨论到深夜，直到得出满意的结果。而在生活上，马老师就像是母亲一样，无微不至的关怀着我们，在我感情受挫心情低落的时候，一直在开导我，让我更快的走了出来。

　　我还要感谢李海峰教授，李老师更多的是在科研上为我们展现了榜样的力量，让我感受到了什么是科研人应该呈现出来的样子。不仅在科研理论上可以以严谨的思维、踏实的态度、勤奋的作风不断的鞭策着我前进，同时还在为人处世方面教会了我许多东西，让我明白无论做任何事情，都是先做人。这将在我未来的道路上起着重要的作用，时刻提醒着我，激励着我。很幸运能够成为马老师和李老师的学生，进入这样一个温暖的大家庭。

　　感谢实验室的师兄徐聪、薄洪健、丰上、李洪伟等，他们不但在研究和工作中给我提供了巨大的帮助，还使我体会到了多样性思维和认知激荡的乐趣。

　　感谢实验室的崔宇欣、邵晨智、于鲲鹏等同学，以及熊文静等所有的师弟师妹们，与他们在研究和生活中的交流使我拓展了视野，看到和学到了很多不一样的东西，这些东西对我来说弥足珍贵。

　　最后，谢谢父母对我的默默奉献和支持，以及在我身边和不在我身边的，时刻鼓舞我前进的朋友们！

（如您需要查看本篇毕业设计全文，请您联系客服索取）