随着脑机接口(bci)技术的发展,利用脑机接口技术已经开发了很多帮助残疾人和老年人的设备。许多膳食辅助机器人已经投入使用。之前的膳食辅助机器人并不能更好地满足使用者的需求。本次新闻向大家介绍一个基于bcis的膳食辅助机器人系统,该系统可以让用户独立自主地吃饭。为了更直观地控制该设备,研究人员设置从前额叶脑电图通道中提取的眨眼作为开始用餐的触发器,并且设置了从时间脑电图通道中提取的肌电图(emg)作为准备下一餐的触发器。
一、设备和程序
该系统包括一个膳食辅助机器人和一个带有计算机的脑电图设备。膳食辅助机器人由一个勺子(双轴电机)和一个抓臂(5轴电机)组成。膳食辅助机器人和led控制的计算机规格如下:英特尔cpui7-7700hq2.80ghz,内存16gb。使用一个数字采集板和matlab来进行led控制。实时脑电图分析的计算机规格如下:intelcpui7-8565u1.80ghz,ram16gb。脑电图记录系统中,研究使用matlab来分析脑电图、眨眼和肌电图数据,以及使用openvibe用于实时系统。图1显示了本研究中使用的设备。
图1:实验装置
二、数据采集和预处理
该系统可应用于各种脑电图记录系统。本研究采用了两种脑电图记录系统。脑电图数据使用openvibe进行预处理,并使用matlab进行分析。为了对脑电图数据进行。脑电图分析采用o1、o2和oz通道作为基于稳态视觉诱发电位(ssvep)的脑机接口系统。眨眼使用fp1通道,t3和t4通道进行肌电图。研究对数据(4s)进行分析,并检测眨眼、最大功率(eeg)或肌电图。图2显示了脑电图处理的流程图。
图2:脑电图的采集与处理
三、数据分析
采用三闪烁作为触发器打开led,并采用基于小波变换的算法对其进行检测。所提出的ssvep分类算法是基于多元同步指数方法的扩展。肌电图预处理如下:
(1)去除直流
(2)一次移动平均(绝对值)
(3)二次移动平均
(4)区分
(5)移动平均(绝对值)
(6)检查值是否高于0.5并保持1s或更长
(7)如果情况(6)大于3,检测肌电图。
四、程序
首先,打开系统,等待准备就绪(com1与com2之间的tcp/ip通信,com1与膳食辅助机器人之间的蓝牙通信)。当用户准备好吃饭时,用户眨三次眼启动程序。led开始闪烁(5个led、7.5hz、8.57hz、10hz、12hz、13hz)4秒。然后,用户查看选择的led。抓臂根据ssvep结果移动到选定的食物上,抓取食物,并将其转移到勺子臂上。勺子臂在使用者的嘴前移动。当使用者进食并咀嚼时,会检测到肌电图。然后,勺臂移动到原始位置。此为一个用餐周期。具体步骤如下:
(1)com2:眨眼检测
(2)tcp/ip:从 com2 向 com1 发送触发器 0
(3)com1:led 打开
(4)com2:ssvep 分析
(5)tcp/ip:从 com2 发送到 com1 的触发器 1~5
(6)蓝牙:从 com2 向餐辅助机器人发送十六进制代码 (0x41/ 0x51/0x53/ 0x55/ 0x57)
(7)操作进餐辅助机器人(进食程序)
(8)com2:肌电图检测
(9)tcp/ip:从 com2 向 com1 发送触发器 6
(10)蓝牙:从 com2 向助餐机器人发送十六进制代码(0x27),图3显示了系统程序的原理图和图像。
图3:基于bcis的膳食辅助机器人系统程序
五、总结
这种基于bcis的膳食辅助机器人系统可以使重症患者、残疾人和老年人能够独立进食,从而尽可能地保护用户的自尊心,使弱者也能体面地生活。基于bcis的膳食辅助机器人系统未来有很大的发展前景。
参考文献
[1] m. h. hasbulah, f. a. jafar, and m. h. nordin, “fundamental ofelectroencephalogram (eeg) review for brain–computer interface (bci) system,”2019.
[2] y. renard et al., “openvibe: an open-source software platform todesign, test, and use brain–computer interfaces in real and virtualenvironments,” presence: teleoperators and virtual environments, vol. 19, no.1, pp. 35-53, 2010.
[3] w. -d. chang, h. -s. cha, k. kim, and c. -h. im, “detection ofeye blink
artifacts from single prefrontal channel electroencephalogram,”computer methods and programs in biomedicine, vol. 124, pp. 19-30, 2016.
[4] y. zhang, d. guo, d. yao, and p. xu, “the extension ofmultivariate synchronization index method for ssvep-based bci,” neurocomputing,vol. 269, pp. 226-231, 2017.
撰写人:陈洁
指导老师:黄海云