脑机接口以及再度行走项目

在1999年,至今20年前约翰查平博士和米格尔·尼科莱利斯博士以及其同事们发表了一项科学研究,研究中表明一组运动神经元所产生的电信号可以通过被记录以及转换成为下达给机械手臂的及时指令。这样创新的实验证明了这个科技的无限潜力,也被称为脑机接口(brain-machineinterfaces,BMI), 用来恢复瘫痪患者的行动力。


从那个时候开始脑机接口研究可以说是日新月异,这些都要归功于尼克莱利斯博士和其团队的研究,主要是神经元的记录科技方面的研发跟改良;机器人工件,辅助装置和虚拟手臂和腿的控制; 帕金森病的症状和癫痫的治疗; 用于开发脑 - 脑界面和脑网络同步任务等科技。


在2009年,尼科莱利斯博士以多年累计的经验,召集了神经学家,机器人专家,神经工程师,计算机科学家,神经外科医生和康复专业人士,共同组成一个国际非营利科学联合体,开发一个名为Walk Again Project(再度行走项目),其目标是开发一种由脑控制的机器人外骨骼(外骨骼) 来恢复瘫痪患者的行动。 同时在2009年,协会的科研开发中心IINN-ELS开始负责协调巴西的再度行走项目。



外骨骼

为了让更多人能看到脑机接口技术能够帮助瘫痪患者的能力,再度行走的负责团队向巴西政府以及国际足联建议在2014年的世界杯上进行外骨骼的第一次公开展示。这个提议被接受后,2012年的12月本协会跟研究和项目融资公司(FINEP)签订了大脑控制外骨骼开发协议。并且与残疾儿童援助协会(AACD)合作,在AACD位于圣保罗的大楼设立了第一间再度行走项目实验室,该机构的临床工作人员负责协助招募进行研究所需的截瘫志愿者或者是项目所需的临床专业人员。


从2012年12月到2014年6月,一群由156来自不同的国家和组织的专家所组成的跨学科团队,共同致力于这个项目,从设计,开发到测试机器人外骨骼的整个结构及其脑机界面的通信系统。外骨骼的工作原理总结如下:(1)患者想象活动其中一条腿(例如左腿),通过这个"意念”产生脑电波;(2)患者所戴的脑电图帽中的电极将脑电波传送到脑电图系统(EEG),而脑电图帽位置远远高于大脑中代表腿部运动的区域;(3)所收到的脑信号会被传送到一个处理器,然后进行编码. 由这个编码激活外骨骼的指令;(4) 外骨骼活动左腿;(5)外骨骼底部的振动触觉反馈装置会产生信息然后被实时编码成施加到使用者前臂(具有完整灵敏度的身体区域),产生脚触摸到地板或球的虚拟感。 这些触觉刺激很重要,因为截瘫志愿者的脊髓损伤以下部位灵敏度部较低; 这样一来,当使用外骨骼行走时,前臂同时收到刺激,使用者会有种用自己的腿行走,而没有被设备拖着走的感觉。


参加外骨骼测试的八名患者结果非常成功。2014年6月12日Julio Pinto作为研究志愿者的主要代表在世界杯上开球,让7万多名在场的观众以及电视前几十亿的全世界观众看到利用人脑控制机器人装置的可行性。



神经改善和神经康复训练方案

世界杯开幕后,再度行走项目继续,在医疗诊断的过程种,临床团队发现志愿者们重新找回了脊髓损伤部位以下的感官知觉和对运动的控制。


为了研究这种神经的改善,我们的团队继续进行志愿者在外骨骼发展研究期间的常规训练。这个训练被我们称为神经康复训练方案,包括常规物理治疗训练(强化和伸展),Lokomat机器人步态训练,带有外骨骼机器人脑机接口步态训练,常规步态训练和I脑机接口虚拟现实训练。


经过12个月的训练后,有些志愿者原本被诊断为慢性脊髓损伤超过了10年以上的,都恢复了瘫痪腿部肌肉的部分控制能力,找回了一定的触觉和痛觉感知。志愿者们不但恢复了对膀胱/肠道的部分控制力,甚至心血管功能也有所改善。其中四位志愿者(50%比例)在美国脊髓损伤协会(ASIA)的级别更下降了:三位从A级降为C级,一位从B级降为C级。这些结果都被发表在科学报告(Scientific Reports)的学术杂志上。


在28个月的训练期间,7位保持进行康复方案的志愿者神经系统持续得以改善。唯一一个例外是在参加12个月研究后中断的志愿者。其他这七位继续神经康复治疗方案的志愿者则大大恢复了损害部位以下的痛觉感知,改善了自主运动功能以及其他的感觉功能(本体感觉,触觉,压力和振动)。同时也恢复了部分肠道,泌尿以及性功能。等到28个月结束时,所有志愿者的ASIA等级都发生了变化(6个从A级降到C级,一个从B级降到C级)。 通过标准化心理测试评估,这种临床演变也反映在生活质量的改善。 志愿者的心理跟踪表明,一般来说,参与神经康复训练方案后会增强自主权,提高志愿者的能力感,自我价值感和自尊感。这些结果都已发表在PLOS ONE期刊上。



图片说明:再度行走项目志愿者的神经功能分类标准得到改善。y轴表示根据ASIA量表的每个志愿者的神经功能级别,x轴表示参与本方案的月份。



除了将神经康复训练方案应用于截瘫志愿者外,我们的团队还与洛桑联邦理工学院机器人系统实验室(EPFL)合作开发了一种非侵入性脑控功能性电刺激(FES)系统(BMI-SFES)。 该系统结合了以下技术创新:16个sFES通道发出电子刺激传递到肌肉以触发踩踏,同时考虑生理步态的所有周期;通过检测来自患者右腿和左腿的运动区域的电信号(由EEG捕获)激活表面功能性电刺激(sFES);并且在患者的前臂上施加振动刺激使下肢感受到虚拟感。


当患者以想象腿部行走激活BIM-s FES, 分别依照准确顺序传送电脉冲到总共16个肌肉(每条腿8个),进而产生自然的步态。该系统只需要传统的助行器和体重支持系统,就能让使用者产生比以前的方法更自然的步态(自然以及持续)。FES系统通过在摆动阶段产生刺激反射,以及在姿势期间激活臀肌和股四头肌,这导致“不自然的”(僵硬和不连续的)步态模式。施加到患者前臂的振动刺激使得患者由脚接触地面的虚拟感觉,帮助使用者感知步态模式。


两名慢性截瘫志愿者进行BMIs-FES了测试和验证,他们在65-70%的比例下使用体重支持安全地行走,并用这项技术产生累计总共4,580步骤。我们同时观察到这两名志愿者步态得到了改善(对步行辅助的依赖性减少),肌肉体积增加以及部分神经恢复,其中一名患者的运动改善率很高。这些结果都已发表在“Scientific Reports”杂志上。



图片说明:再度行走项目开发的脑控功能性电刺激系统(BMI-s FES)。



我们的研究是到目前为止科学文献中唯一证明使用非侵入性,无药物的脑机接口对完全截瘫患者的感知和运动功能恢复有影响的研究。 这些结果为成千上万患有神经系统疾病引起的瘫痪或运动障碍的人带来了希望,这无疑是朝着可以开发出保证其生活质量的治疗方法所迈出的一大步。



合作伙伴

再度行走项目国际协会得到了多个机构的支持:


残疾儿童援助协会 - AACD(巴西);
BIA Turnkey Systems,巴黎(法国);
肯塔基大学医疗保健基督山康复医院(美国);
科罗拉多州立大学(美国);
杜克大学杜克沉浸式虚拟环境项目(美国);
杜克大学神经工程学中心(美国);
法国巴黎市工业物理化学学校(法国);
国际神经科学网络基金会(INNF);
埃德蒙与莉莉‧萨夫拉国际神经科学研究所 - IIN-ELS(巴西);
国家脑机接口-科学技术研究所(INCT-INCEMAQ,巴西);
洛桑联邦理工学院 (EPFL) - 机器人系统实验室 -(瑞士)
洛桑联邦理工学院 (EPFL) - 神经修复中心 (瑞士);
机器人,自主系统和控制实验室,加州大学戴维斯分校(美国)
京都ATR实验室机器人小组(日本)
柏林技术大学(德国);
慕尼黑工业大学(德国)。



图片说明:安装在圣保罗实验室的面板,其中包含所有再度行走项目合作者的名称



科学生产


科学期刊上的文章:

A. Selfslagh, S. Shokur*, D. S.F. Campos, A. R. C. Donati, S. Almeida, S.Y. Yamauti, D.B. Coelho, M. Bouri, M. A. L. Nicolelis (2019). Non-invasive, Brain-controlled functional electrical stimulation for locomotion rehabilitation in paraplegic patients. Scientific Reports. 9:6782. https://doi.org/10.1038/s41598-019-43041-9


Solaiman Shokur, Ana R.C. Donati, Debora S.F. Campos, Claudia Gitti, Guillaume Bao, Dora Fischer, Sabrina Almeida, Vania A.S. Braga, Patricia Augusto, Chris Petty, Eduardo J.L. Alho, Mikhail Lebedev, Allen W. Song, Miguel A.L. Nicolelis. (2018). Training with brain-machine interfaces, visuo-tactile feedback and assisted locomotion improves sensorimotor, visceral, and psychological signs in chronic paraplegic patients. PLOS ONE 13(11):e0206464. https://doi.org/10.1371/journal.pone.0206464


Solaiman Shokur, Simone Gallo, Renan C. Moioli, Ana Rita C. Donati, Edgard Morya, Hannes Bleuler & Miguel A.L. Nicolelis. (2016). Assimilation of virtual legs and perception of floor texture by complete paraplegic patients receiving artificial tactile feedback. Scientific Reports 6, 32293. https://doi.org/10.1038/srep32293


Ana R. C. Donati, Solaiman Shokur, Edgard Morya, Debora S. F. Campos, Renan C. Moioli, Claudia M. Gitti, Patricia B. Augusto, Sandra Tripodi, Cristhiane G. Pires, Gislaine A. Pereira, Fabricio L. Brasil, Simone Gallo, Anthony A. Lin, Angelo K. Takigami, Maria A. Aratanha, Sanjay Joshi, Hannes Bleuler, Gordon Cheng, Alan Rudolph, Miguel A. L. Nicolelis. (2016). Long-Term Training with a Brain-Machine Interface-Based Gait Protocol Induces Partial Neurological Recovery in Paraplegic Patients. Scientific Reports 6, 30383; doi: 10.1038/srep30383



会议文章:

M. Bouri, A. Selfslagh, D. Campos, S. Yonamine, A. Donati, and S. Shokur (2019). "Closed-Loop Functional Electrical Stimulation for Gait Training for Patients with Paraplegia." In 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), pp. 1489-1495. IEEE.


B. Hannes, T. Vouga, A. Ortlieb, R. Baud, J. Fasola, J. Olivier, S. Shokur, and M. Bouri (2018). Exoskeletons as Mechatronic Design Example. New Trends in Medical and Service Robotics (MESROB), pp. 109-117. Springer, Cham.


D. J. Zielinski, R. P. McMahan, S. Shokur, E. Morya, and R. Kopper (2014). Enabling Closed-Source Applications for Virtual Reality via OpenGL Intercept-based Techniques. IEEE 7th Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS), pp. 1–6.



科学活动的海报:

Shokur, S.; Asnis, F.; Almeida S.; Nicolelis, M.A.L. The peripersonal space representation in paraplegic patients depends on the level of lower-limb residual neurological functions. In: 48th Society for Neuroscience, 2018, San Diego.


Shokur, S.; Donati, A.R.C; Nicolelis, M.A.L. Long-term training with no-invasive brain machine-interfaces and locomotion promotes neurological improvements in patients with chronic complete paraplegia: a pilot clinical trial. In: 47th Society for Neuroscience, 2017, Washington.


Selfslagh, A.; Shokur, S.; Donati, A. R. C; Campos, D. S. F; Almeida, S. B de; Padula, N.; Bleuler, H.; Bouri, M.; Nicolelis, M.A.L. Locomotion training with closed-loop brain-machine interface and lower-limb functional electrical stimulation for complete paraplegic patients. In: 47th Society for Neuroscience, 2017, Washington.


Campos, Debora S. F.; Selfslagh, Aurélie; Shokur, Solaiman; Donati, Ana R. C.; Fisher, Dora; Bouri, Mohamed; Bleuler, Hannes; Nicolelis, Miguel A. L. Developing a new synergic muscle contraction gait model produced by surface functional electrical stimulation (FES) in humans after complete spinal cord injury (SCI). In: Annual Meeting of the International Functional Electrical Stimulation Society (IFESS), 2017, London.


Donati, Ana R. C.; Shokur, Solaiman; Campos, Debora S. F.; Nicolelis, Miguel A. L. Development of a New Motor Assessment for Spinal Cord Injury Patients. In: International Neurorehabilitation Symposium (INRS), 2017, Londres.


Nicolelis, Miguel A. L.; Donati, Ana R. C.; Shokur, S.; Morya, E. Brain-Machine-Interface Based Neurorehabiltation Induces Partial Neurological Recovery in Paraplegic Patients. In: 9th World Congress for Neurorehabilitation, 2016, Philadelphia.


Donati, A.R.C.; Shokur S.; Campos, D. S. F.; Pires, Cristhiane G.; Fischer, D.; Morya, E.; Nicolelis, M.A.L. Improvement of Trunk Stability in Chronic Paraplegic Patients After Long-Term Training With Robotic Orthotic Trainers. In: 9º WCNR – World Congress for NeuroRehabilitation, 2016, Philadelfia.


Shokur S.; Donati, A. R. C.; Moioli, R. C.; Nicolelis, M. A. L. Tactile Feedback Restoration Using Sensory Substitution In Chronic Paraplegic Patients. In: 9th World Congress for Neurorehabilitation, 2016, Philadelphia.


V. Braga, A. Donati, S. Shokur, M. Nicolelis. A melhora da função intestinal dos pacientes com lesão medular crônica submetidos a treinamento de neuroreabilitação de longo prazo. 25° Congresso Brasileiro de Medicina Física, São José do Rio Preto, 2016.


D. Campos, A. Donati, D. Fisher, S. Shokur, M. Nicolelis. Programa de reabilitação ativa para lesão medular completa: impacto sobre a recuperação neurológica motora. 25° Congresso Brasileiro de Medicina Física e Reabilitação, São José do Rio Preto, 2016.


P. Augusto, C. Gitti, A. Donati, S. Shokur, M. Nicolelis. Mudanças na imagem corporal de pacientes com lesão medular crônica e motoramente completa após experimento com realidade virtual. 25° Congresso Brasileiro de Medicina Física e Reabilitação, São José do Rio Preto, 2016.


Shokur, S; Gallo, S; Moioli, R; Bouri, M; Morya, E; Bleuler, H; Nicolelis, Miguel A. L.. Inducing paraplegic patients to perceive distinct ground textures using tactile feedback generated by virtual feet. In: 45th Society for Neuroscience Meeting, 2015, Chicago. 45th Society for Neuroscience Meeting, 2015.


Moioli, Renan Cipriano; Shokur, S.; Gallo, S.; Brasil, Fabricio Lima; Morya, Edgard; Nicolelis, Miguel A. L. . Cortical incorporation of virtual legs in spinal cord injured patients. In: 45th Society for Neuroscience Meeting, 2015, Chicago. 45th Society for Neuroscience Meeting, 2015.


Aratanha, Maria Adelia; Shokur, S.; Brasil, Fabricio Lima; Donati, A. C.; Gallo, S.; Morya, Edgard; Nicolelis, Miguel A. L.. Closed loop brain controlled avatar training for locomotion with spinal cord injured patients. In: 45th Society for Neuroscience Meeting, 2015, Chicago. 45th Society for Neuroscience Meeting, 2015.


Donati, A. C.; Shokur, S.; Morya, Edgard; Gitti, C. M.; Augusto, P. B.; Campos, D.; Yoshihara, D.; Nicolelis, Miguel A. L. . Twelve months of physical rehabilitation protocol integrating brain controlled locomotor training and tactile feedback for patients with chronic spinal cord injury. In: 45th Society for Neuroscience Meeting, 2015, Chicago. 45th Society for Neuroscience Meeting, 2015.


Brasil, Fabricio Lima; Shokur, S.; Aratanha, Maria Adelia; Moioli, Renan Cipriano; Donati, A. C.; Morya, Edgard; Nicolelis, Miguel A. L.. Walk using single leg control at BMI-driven exoskeleton. In: 45th Society for Neuroscience Meeting, 2015, Chicago. 45th Society for Neuroscience Meeting, 2015.


Brasil, F.; Moioli, R. C.; Shokur, S.; Fast, K.; Lin, A.; Peretti, N.; Takigami, A.; Lyons, K.; Zielinski, D.; Sawaki, L.; Joshi, S. ; Morya, Edgard; Nicolelis, Miguel A. L.. The Walk Again Project: An EEG/EMG training paradigm to control locomotion. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Lin, A. ; Schwarz, D. ; Sellaouti, R. ; Shokur, S. ; Moioli, R. ; Brasil, F. ; Fast, K. ; Peretti, N. ; Takigami, A. ; Gallo, S. ; Lyons, K. ; Mittendorfer, P. ; Lebedev, M. ; Joshi, S. ; Cheng, G. ; Morya, Edgard ; Rudolph, A. ; Nicolelis, Miguel A. L. . The walk again project: Brain-controlled exoskeleton locomotion. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Moioli, R. C.; Brasil, F.; Shokur, S.; Lin, A.; Fast, K.; Peretti, N.; Takigami, A.; Schwarz, D.; Morya, Edgard; Nicolelis, Miguel A. L.. The Walk Again Project: Analysis of brain activity of spinal cord injury patients during training with a BMI. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Nicolelis, Miguel A. L.; Shokur, S.; Lin, A.; Moioli, R. C.; Brasil, F.; Peretti, N.; Fast, K.; Takigami, A.; Morya, Edgard; Cheng, G.; Sawaki, L.; Kopper, R.; Schwarz, D.; Gallo, S.; Lebedev, M.; Joshi, S.; Bleuler, H.; Rudolph, A. The Walk Again Project: Using a Brain-Machine Interface for establishing a bi-directional Interaction between paraplegic subjects and a lower limb exoskeleton. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Sawaki, L.; Donati, A. C.; Nogueira, A. N.; Garabello, C.; Gitti, C. M.; Campos, D.; Yoshihara, D.; Pereira, G. A.; Araujo, I.; Augusto, P. B.; Tripodi, S.; Morya, Edgard; Nicolelis, Miguel A. L. Novel rehabilitative strategy to facilitate EEG-triggered locomotor training in chronic spinal cord injury patients: Preliminary results of an ongoing study. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Shokur, S.; Gallo, S.; Olivier, J.; Takigami, A.; Lin, A.; Fast, K.; Moioli, R.; Brasil, F.; Morya, Edgard; Cheng, G.; Bleuler, H.; Nicolelis, Miguel A. L.. The walk again project: Sensory feedback for brain controlled exoskeleton. In: 44th Society for Neuroscience Meeting, 2014, Washington. 44th Society for Neuroscience Meeting, 2014.


Zielinski, D.; McMahan, R. P.; Shokur, S.; Morya, Edgard; Kopper, R.. Enabling Closed-Source Applications for Virtual Reality via OpenGL Intercept Techniques. In: 7th Workshop on Software Engineering and Architectures for Realtime Interactive Systems, 2014, Minneapolis. 7th Workshop on Software Engineering and Architectures for Realtime Interactive Systems, 2014. v. 7.