人類個體具有豐富多樣的心理想象活動，不僅有運動想象，還有言語想象、視覺想象、聽覺想象和觸覺想象等。想象力比知識更重要，是創(chuàng)造力的重要源泉之一。心理想象有望成為腦機交互（BCI）范式創(chuàng)新設計可選的心理活動�；�于想象的腦機交互是一類重要的BCI，通過心理想象誘發(fā)的腦信號可以實現(xiàn)大腦與外設直接的通信和控制。本書強調理論與實踐相結合，認為成功的BCI系統(tǒng)研發(fā)不是一個單純的工程實現(xiàn)方法或算法問題，更重要的是理論與原理。本書注重基礎，包含了BCI的一些共性基礎內容，包括BCI相關術語、BCI范式與神經(jīng)編碼、BCI金標準（在線BCI系統(tǒng)轉化為實際應用的綜合評價方法——用戶可用性、滿意度和使用情況）。在此基礎上，本書聚焦基于想象的BCI基本概念、理論、原理和方法，以及運動想象BCI實踐和應用。本書不僅可供從事BCI研發(fā)的人員參考，也可供受認知與神經(jīng)科學啟發(fā)的人工智能（包括類腦計算、腦機智能融合等方向）的研發(fā)人員參考，還可作為高年級本科生、碩士和博士研究生的教材。

伏云發(fā)，2012年博士畢業(yè)于中國科學院研究生院、中國科學院沈陽自動化研究所機器人學國家重點實驗室，獲工學博士學位。現(xiàn)為昆明理工大學腦認知與腦機智能融合創(chuàng)新團隊負責人，擔任中國康復醫(yī)學會腦機接口與康復專業(yè)委員會第一屆委員會常務委員、中國人工智能學會腦機融合與生物機器智能專業(yè)委員會第三屆委員、中國認知科學學會計算神經(jīng)工程專委會委員、腦機接口產業(yè)聯(lián)盟專家委員會資深專家、腦機接口產業(yè)聯(lián)盟科普與科技倫理工作組副主席，從事腦機接口研究17余年，主要研究興趣為腦機接口與神經(jīng)反饋及其應用。楊幫華，2006年獲上海交通大學工學博士學位，現(xiàn)為上海大學機電工程與自動化學院、醫(yī)學院雙聘教授，博士生導師，腦機工程研究中心負責人。獲上海市浦江人才、上海市五一勞動獎、上海市三八紅旗手，擔任中國康復醫(yī)學會腦機接口與康復專委會副主任委員、全國信息技術標準化技術腦機接口分技術委員會委員、中國腦機接口產業(yè)聯(lián)盟資深專家，深耕腦機接口領域20余年，主要研究領域包括運動想象腦機接口編解碼技術及其結合VR應用，相關研究成果多次被中央電視臺報道。陳樹耿，2021年獲復旦大學醫(yī)學博士學位，澳大利亞昆士蘭大學訪問學者，現(xiàn)為華山醫(yī)院康復醫(yī)學科主管物理治療師，擔任中國康復醫(yī)學會腦機接口與康復專業(yè)委員會委員、中國研究型醫(yī)院學會神經(jīng)再生與修復專業(yè)委員會腦機接口學組委員，從事腦機接口及其臨床應用和腦機制研究10余年，主持國家級和省部級腦機接口相關項目3項，獲得中國產學研合作創(chuàng)新與促進獎、上海康復醫(yī)學科技獎一等獎。吳小培，2002年獲中國科學技術大學工學博士學位，現(xiàn)為安徽大學計算機科學與技術學院教授，博士生導師，安徽省學術和技術帶頭人后備人選，安徽大學“生物信息感知與人機交互”科研團隊負責人。2003—2006年在中國科學技術大學信號與信息處理博士后流動站從事博士后研究工作。曾作為國家留學基金委公派訪問學者赴美國加州大學圣地亞哥分校學習。長期從事信號處理領域的教學與科研工作，在多模態(tài)生物醫(yī)學信號處理方法及其在腦-機接口實用化技術方面取得了多項有價值的科研成果。

第1篇 腦機交互（BCI）的一些共性內容
第1章 BCI重要內容：BCI相關術語 2
1.1 BCI直接相關術語 2
1.1.1　腦?機器接口（BMI） 3
1.1.2 腦?計算機交互（BCI） 3
1.1.3 腦機融合 3
1.1.4 大腦（Brain）或中樞神經(jīng)系統(tǒng)（CNS） 5
1.1.5 計算機 5
1.1.6 BCI用戶 6
1.1.7 腦信號采集 6
1.1.8 BCI范式 6
1.1.9 BCI神經(jīng)編碼 7
1.1.10 BCI神經(jīng)解碼 7
1.1.11 神經(jīng)反饋（NF） 7
1.1.12 感覺運動假說 8
1.1.13 BCI跨學科性 9
1.1.14 BCI系統(tǒng)中的兩個自適應控制器（CNS和BCI） 9
1.2 BCI緊密相關術語 10
1.2.1 感覺運動節(jié)律腦機接口（SMR-BCI）相關術語 10
1.2.2 運動想象腦機接口（MI-BCI）相關術語 11
1.2.3 基于認知的腦機接口相關術語 16
1.2.4 P300腦機接口（P300-BCI）相關術語 18
1.2.5 穩(wěn)態(tài)視覺誘發(fā)電位腦機接口（SSVEP-BCI）相關術語 21
1.2.6 穩(wěn)態(tài)聽覺誘發(fā)電位腦機接口（SSAEP-BCI）相關術語 28
1.2.7 穩(wěn)態(tài)觸覺誘發(fā)電位腦機接口（SSTEP-BCI）相關術語 30
1.2.8 依賴性BCI（Dependent BCI） 31
1.2.9 獨立性BCI（Independent BCI） 31
1.2.10 混合腦機接口（Hybrid BCI） 31
1.2.11 同步/異步腦機接口（Asynchronous/Synchronous BCI） 32
1.2.12 分布式腦機接口（Distributed BCI） 34
1.3 BCI用戶相關術語 34
1.3.1 BCI受試者（Subject） 35
1.3.2 嚴重運動功能障礙（Severe Motor Impairments） 35
1.3.3 BCI人因工程相關 37
1.3.4 BCI可用性（BCI Usability） 37
1.3.5 BCI用戶評價 39
1.3.6 BCI 使用情況 40
1.3.7 個性化BCI 41
1.3.8 BCI醫(yī)學 41
1.3.9 BCI醫(yī)學目標 42
1.3.10 BCI倫理 42
1.3.11 BCI轉化醫(yī)學 46
1.4 實用BCI相關術語 46
1.4.1 BCI臨床驗證 47
1.4.2 BCI臨床評估 47
1.4.3 BCI臨床推廣 47
1.4.4 BCI替代功效 48
1.4.5 BCI恢復功效 48
1.4.6 BCI增強功效 48
1.4.7 BCI補充功效 48
1.4.8 BCI改善功效 49
1.4.9 BCI系統(tǒng)穩(wěn)定性 49
1.4.10 BCI系統(tǒng)準確性 49
1.4.11 BCI系統(tǒng)快速性 50
1.4.12 BCI系統(tǒng)可靠性 51
1.4.13 BCI系統(tǒng)安全性 52
1.4.14 BCI系統(tǒng)易用性 53
1.4.15 BCI標準化 53
1.4.16 BCI產業(yè)轉化 54
1.4.17 假冒偽劣BCI產品 55
1.5 用于BCI的腦神經(jīng)電磁信號記錄相關術語 55
1.5.1 腦信號時間分辨率 55
1.5.2 腦信號空間分辨率 56
1.5.3 腦信號偽跡 56
1.5.4 腦信號信噪比 56
1.5.5 腦信號靈敏度 57
1.5.6 腦神經(jīng)元電磁信號 57
1.5.7 頭皮腦電（EEG） 59
1.5.8 皮層腦電（ECoG） 59
1.5.9 ECoG網(wǎng)格 60
1.5.10 微電極陣列（MEA） 60
1.5.11 神經(jīng)元發(fā)放（NF） 60
1.5.12 尖峰（Spikes） 61
1.5.13 局部場電位（LFP） 61
1.5.14 腦信號功率譜 63
1.5.15 腦磁（MEG） 63
1.6 用于BCI的腦組織血氧水平記錄相關術語 64
1.6.1 腦組織代謝血氧水平信號 64
1.6.2 神經(jīng)血管耦合 64
1.6.3 功能磁共振成像（fMRI） 65
1.6.4 功能性近紅外光譜（fNIRS） 67
1.7 BCI相關腦結構與功能術語 69
1.7.1 靜息態(tài)（RS） 70
1.7.2 任務態(tài)（TS） 70
1.7.3 大腦共同的解剖參考框架（CARF） 70
1.7.4 大腦分區(qū)表（Brain Atlas） 71
1.7.5 腦結構連接性（SC） 71
1.7.6 腦功能連接性（FC） 72
1.7.7 腦圖譜 72
1.7.8 腦結構圖譜 72
1.7.9 腦功能圖譜 73
1.7.10 運動皮層 73
1.7.11 腦干運動神經(jīng)元 73
1.7.12 脊髓運動神經(jīng)元 73
1.7.13 體感皮層 74
1.7.14 視覺皮層 74
1.7.15 聽覺皮層 74
1.7.16 視覺反饋（VF） 75
1.7.17 聽覺反饋（AF） 75
1.7.18 體感反饋（SF） 76
1.7.19 觸覺反饋（HF） 76
1.8 與BCI相關的其他術語 77
1.8.1 中樞神經(jīng)系統(tǒng)（CNS）自然/正常的輸入輸出 77
1.8.2 中樞神經(jīng)系統(tǒng)（CNS）人工的輸入輸出 78
1.8.3 BCI解決方案 78
1.8.4 非BCI解決方案 78
1.8.5 腦控技術 78
1.8.6 腦控機器人技術 79
1.8.7 共享控制策略 79
1.8.8 腦機協(xié)作策略 80
1.8.9 神經(jīng)可塑性 80
1.8.10 自適應神經(jīng)技術 81
1.8.11 神經(jīng)調控 82
1.8.12 神經(jīng)刺激 82
1.8.13 基于肌電的肌機接口相關術語 82
1.8.14 基于眼電或眼動跟蹤的眼機接口相關術語 83
1.9 小結 83
參考文獻 84
第2章 BCI范式與神經(jīng)編碼 101
2.1 引言 101
2.2 BCI范式的定義和設計原則 102
2.2.1 BCI范式的定義 102
2.2.2 BCI范式的設計原則 103
2.3 BCI神經(jīng)編碼的定義和建模原則 104
2.3.1 BCI神經(jīng)編碼的定義 104
2.3.2 BCI神經(jīng)編碼的建模原則 105
2.3.3 BCI神經(jīng)編碼與BCI范式、BCI神經(jīng)解碼的關系 105
2.3.4 BCI神經(jīng)編碼與腦神經(jīng)編碼及計算機信息編碼的關系 105
2.3.5 BCI頻率/速率編碼 107
2.3.6 BCI時間編碼 107
2.3.7 BCI相位編碼 107
2.3.8 BCI神經(jīng)元群編碼 108
2.3.9 BCI相關性編碼 108
2.3.10 BCI稀疏編碼 108
2.3.11 BCI混合編碼 109
2.4 現(xiàn)有主要的BCI范式與神經(jīng)編碼 109
2.4.1 皮質內LFPs-BCI范式與神經(jīng)編碼 110
2.4.2 ECoG-BCI范式與神經(jīng)編碼 111
2.4.3 fMRI-BCI范式與神經(jīng)編碼 113
2.4.4 fNIRS-BCI范式與神經(jīng)編碼 113
2.4.5 MEG-BCI范式與神經(jīng)編碼 115
2.4.6 EEG-BCI范式與神經(jīng)編碼 116
2.4.7 混合BCI（hBCI）范式與神經(jīng)編碼 120
2.5 BCI范式與神經(jīng)編碼面臨的挑戰(zhàn)及未來研究方向 121
2.5.1 以用戶為中心設計和評價BCI范式與神經(jīng)編碼 121
2.5.2 變革傳統(tǒng)的BCI范式 121
2.5.3 突破現(xiàn)有的腦信號采集技術 122
2.5.4 BCI技術與先進AI技術相結合提升腦信號解碼性能 122
2.6 小結 122
參考文獻 123
第3章 BCI金標準：在線BCI系統(tǒng)轉化為實際應用的綜合評價方法——用戶可用性、
滿意度和使用情況 132
3.1 引言 132
3.2 從離線BCI數(shù)據(jù)分析建模到在線BCI系統(tǒng)構建和性能優(yōu)化的飛躍 134
3.2.1 離線BCI數(shù)據(jù)分析建模 134
3.2.2 在線BCI系統(tǒng)構建和性能優(yōu)化 135
3.3 在線BCI系統(tǒng)轉化為實際應用的綜合評價方法 137
3.3.1 在線BCI系統(tǒng)可用性評價 137
3.3.2 在線BCI系統(tǒng)滿意度評價 139
3.3.3 在線BCI系統(tǒng)使用情況評價 142
3.4 BCI金標準發(fā)展趨勢 144
3.4.1 在線BCI系統(tǒng)可用性和用戶滿意度評價面臨的挑戰(zhàn) 144
3.4.2 在線BCI系統(tǒng)功效評價 144
3.4.3 提高在線BCI系統(tǒng)可用性和用戶滿意度的方法 145
3.4.4 不同采集方式和不同范式的BCI在轉化為實際應用時面臨的障礙 146
3.5 小結 148
參考文獻 148
第2篇 基于想象的腦機交互（BCI）基本概念、理論、原理和方法
第4章 人類的心理想象及神經(jīng)影像研究 155
4.1 人類的心理想象活動 155
4.1.1 人類的感知與心理想象活動 155
4.1.2 人類心理想象活動的類型 157
4.1.3 人類心理想象活動的執(zhí)行與能力評價及提高方法 162
4.2 心理想象的神經(jīng)影像研究現(xiàn)狀及發(fā)展趨勢 177
4.2.1 較低級的心理想象的神經(jīng)影像研究現(xiàn)狀及發(fā)展趨勢 177
4.2.2 較高級的心理想象的神經(jīng)影像研究現(xiàn)狀及發(fā)展趨勢 184
4.3 小結 192
參考文獻 192
第5章 基于言語想象的BCI關鍵技術 212
5.1 引言 212
5.2 言語想象的神經(jīng)機制 213
5.2.1 言語想象的基礎生理過程 213
5.2.2 腦神經(jīng)信號采集 214
5.2.3 基于言語想象的BCI系統(tǒng)的腦區(qū)選擇 215
5.2.4 基于言語想象的BCI系統(tǒng)在不同波段下的表現(xiàn) 215
5.2.5 言語想象任務中的EEG動態(tài)特征 216
5.3 基于言語想象的BCI系統(tǒng)的實驗范式及想象材料 216
5.3.1 分類任務實驗范式 217
5.3.2 解碼任務實驗范式 218
5.3.3 想象音位/音節(jié) 219
5.3.4 想象漢字/單詞 220
5.3.5 想象句子 221
5.4 數(shù)據(jù)處理的關鍵技術 221
5.4.1 特征提取 221
5.4.2 分類與解碼 222
5.4.3 典型算法比較 223
5.5 存在的問題及發(fā)展趨勢 225
5.5.1 在線系統(tǒng) 225
5.5.2 實驗范式 225
5.5.3 言語想象數(shù)據(jù) 226
5.5.4 解碼句子 226
5.5.5 多種狀態(tài)下腦神經(jīng)信號分析 227
5.5.6 多模態(tài)信號對言語信息的解碼 227
5.5.7 基于言語想象的BCI系統(tǒng)未來的發(fā)展及應用 227
5.6 小結 229
參考文獻 229
第6章 基于視覺想象的BCI范式和神經(jīng)編碼與解碼 237
6.1 引言 237
6.2 視覺想象的神經(jīng)機制、VI-BCI范式設計與神經(jīng)編碼 238
6.2.1 視覺想象的神經(jīng)機制 238
6.2.2 VI-BCI范式設計 240
6.2.3 VI-BCI神經(jīng)編碼 244
6.3 視覺想象BCI神經(jīng)解碼方法 245
6.3.1 視覺想象相關腦信號特征提取和選擇 245
6.3.2 視覺想象相關腦信號特征分類 247
6.4 基于視覺想象的BCI存在的問題及未來研究方向 251
6.4.1 VI-BCI存在的問題 251
6.4.2 VI-BCI未來研究方向 252
6.5 小結 255
參考文獻 255
第7章 基于運動想象的BCI神經(jīng)科學原理 263
7.1 事件相關去同步化/同步化（ERD/ERS）現(xiàn)象及其 神經(jīng)科學原理 263
7.1.1 事件 263
7.1.2 事件相關去同步化/同步化（ERD/ERS）現(xiàn)象 266
7.1.3 ERD/ERS現(xiàn)象潛在的神經(jīng)科學原理或神經(jīng)機制 267
7.2 運動想象相關ERD/ERS現(xiàn)象及其神經(jīng)科學原理 268
7.2.1 實際運動和運動想象涉及的腦結構與激活特征 268
7.2.2 實際運動和運動想象ERD/ERS現(xiàn)象 275
7.2.3 運動想象ERD/ERS現(xiàn)象的神經(jīng)機制 278
7.3 運動相關電位（MRP）的神經(jīng)科學原理 279
7.3.1 運動相關皮層電位（MRCP） 279
7.3.2 運動準備電位（RP） 280
7.3.3 運動相關電位（MRP） 281
7.3.4 運動準備電位和運動相關電位的神經(jīng)機制 282
7.4 總結與展望 284
參考文獻 284
第3篇 基于運動想象的腦機交互（BCI）實踐與應用
第8章 BCI中運動想象的執(zhí)行及能力的 評估和提高方法 289
8.1 引言 289
8.2 實際運動、動覺運動想象與視覺運動想象 290
8.2.1 實際運動的執(zhí)行 290
8.2.2 動覺運動想象的執(zhí)行 292
8.2.3 視覺運動想象的執(zhí)行 292
8.2.4 實際運動、動覺運動想象和視覺運動想象的比較 293
8.2.5 特別值得注意的問題 295
8.3 動覺運動想象和視覺運動想象能力的評估方法 296
8.3.1 國際量表 296
8.3.2 心理測時法和心理旋轉法 298
8.3.3 腦功能成像 299
8.3.4 神經(jīng)反饋（NF） 299
8.3.5 事件相關同步化/去同步化 300
8.4 動覺運動想象和視覺運動想象能力的提高方法 300
8.4.1 動覺運動想象能力的提高方法 300
8.4.2 視覺運動想象能力的提高方法 302
8.4.3 冥想訓練 302
8.5 BCI中運動想象的執(zhí)行、能力的評估和提高方法： 未來趨勢 302
8.5.1 運動想象的自動化執(zhí)行、實時可視化客觀評估和高效的神經(jīng)反饋訓練 302
8.5.2 個體之間和內部運動想象的差異性、共性及MI-BCI盲問題 303
8.6 小結 303
參考文獻 304
第9章 運動想象相關腦信號分類方法 309
9.1 引言 309
9.2 傳統(tǒng)機器學習算法 310
9.2.1 線性分類器 311
9.2.2 非線性貝葉斯分類器 313
9.2.3 最近鄰分類器 314
9.2.4 神經(jīng)網(wǎng)絡分類器 315
9.2.5 集成分類器 316
9.2.6 小結 317
9.3 深度學習 318
9.3.1 原理 319
9.3.2 深度學習中輸入形式的重要性 323
9.3.3 最新進展 323
9.3.4 利弊分析 325
9.4 自適應分類器 326
9.4.1 原理 326
9.4.2 最新進展 326
9.4.3 利弊分析 328
9.5 黎曼幾何分類器 329
9.5.1 原理 329
9.5.2 最新進展 331
9.5.3 利弊分析 331
9.6 遷移學習 332
9.6.1 原理 332
9.6.2 最新進展 334
9.6.3 利弊分析 335
9.7 其他類型神經(jīng)活動測量技術的分類算法 336
9.7.1 MI-MEG的分類方法 336
9.7.2 MI-fNIRS的分類方法 337
9.7.3 MI-ECoG的分類方法 338
9.7.4 MI-fMRI的分類方法 339
9.7.5 MI-Spike的分類方法 341
9.7.6 小結 342
9.8 總結與展望 342
參考文獻 343
第10章 運動想象BCI實驗研究 358
10.1 引言 358
10.2 基于ICA的運動想象腦機接口研究 359
10.2.1 MI-EEG開源數(shù)據(jù)庫 359
10.2.2 ICA在MI-BCI中應用的背景知識 361
10.2.3 ICA在傳統(tǒng)MI-BCI系統(tǒng)實現(xiàn)中的適用性研究 362
10.2.4 ICA/CSP方法的遷移學習性能和ICA-MI-BCI導聯(lián)優(yōu)化問題 374
10.2.5 不同ICA算法在ICA-MI-BCI系統(tǒng)實現(xiàn)中的性能比較 380
10.3 DNN在MI-BCI中的應用研究 381
10.3.1 EhythmNet及其性能仿真 382
10.3.2 EhythmNet在實測MI-EEG分析中的應用 386
10.4 小結 395
參考文獻 395
第11章 運動想象BCI及其結合虛擬現(xiàn)實康復研究 399
11.1 引言 399
11.2 運動想象腦機接口基本知識 401
11.2.1 運動想象腦機接口系統(tǒng)的分類 402
11.2.2 運動想象腦電信號的特性 404
11.2.3 運動想象腦機接口基本原理 407
11.2.4 國內外腦機接口康復領域研究現(xiàn)狀 408
11.2.5 運動想象腦機接口特征提取方法的研究現(xiàn)狀 410
11.3 運動想象腦機接口與虛擬現(xiàn)實技術的康復應用 411
11.3.1 研究現(xiàn)狀 411
11.3.2 面臨困難 411
參考文獻 412
第12章 雙向閉環(huán)運動想象BCI主動康復訓練系統(tǒng)的功效評價方法 415
12.1 引言 415
12.2 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的康復理論/原理與方法、主要作用
和臨床研究案例 416
12.2.1 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng) 416
12.2.2 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的康復理論/原理與方法 418
12.2.3 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的主要作用 419
12.2.4 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的臨床研究案例 419
12.3 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的康復訓練周期和康復功效評價方法 422
12.3.1 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的康復訓練周期 422
12.3.2 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的康復功效評價方法 422
12.4 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)的可用性、用戶滿意度和使用情況
評價方法 428
12.5 發(fā)展趨勢展望 429
12.5.1 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)運動功能障礙康復效果評價
面臨的挑戰(zhàn) 429
12.5.2 雙向閉環(huán)運動想象BCI主動康復訓練系統(tǒng)與用戶相關的挑戰(zhàn) 430
12.5.3 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)面臨的臨床應用挑戰(zhàn) 430
12.5.4 雙向閉環(huán)MI-BCI主動康復訓練系統(tǒng)面臨的技術挑戰(zhàn) 431
12.6 小結 431
參考文獻 432