目錄
“智能人機交互前沿技術(shù)叢書”序
前言
第1章 緒論 1
1.1 交互設(shè)計 1
1.2 人機交互 3
1.3 人機工程 6
1.4 智能人機交互 8
參考文獻 11
第2章 手勢交互 13
2.1 手勢交互概述 13
2.1.1 手勢交互基本概念 13
2.1.2 基于穿戴式傳感器的手勢交互方法 15
2.1.3 基于視覺傳感器的手勢交互方法 16
2.1.4 基于多模態(tài)傳感器的手勢交互方法 18
2.2 基于視覺傳感器的手勢交互 19
2.2.1 基于深度圖像的手部姿態(tài)估計研究 19
2.2.2 基于RGB圖像的手部姿態(tài)估計研究 24
2.2.3 基于RGB-D圖像的手部姿態(tài)估計研究 33
2.3 基于穿戴式傳感器的手勢交互 37
2.3.1 基于IMU的手勢交互 37
2.3.2 基于sEMG信號的手勢交互 56
2.4 基于多模態(tài)傳感器的手勢交互 66
2.4.1 多模態(tài)手勢數(shù)據(jù) 66
2.4.2 基于多模態(tài)傳感器融合的手勢識別方法 68
參考文獻 89
第3章 眼動交互 95
3.1 眼動交互概述 95
3.1.1 早期眼動追蹤方法 95
3.1.2 現(xiàn)代眼動追蹤方法 98
3.1.3 主流的眼動追蹤設(shè)備 100
3.2 大型近視眼視線估計數(shù)據(jù)集 100
3.2.1 數(shù)據(jù)采集設(shè)備 101
3.2.2 數(shù)據(jù)采集范式 102
3.3 基于姿態(tài)偏移量校正的單被試視線估計方法 104
3.3.1 基礎(chǔ)模型 104
3.3.2 基于姿態(tài)偏移量的模型改進 107
3.3.3 模型表現(xiàn) 110
3.4 基于AdaBN的跨被試視線估計方法 113
3.4.1 AdaBN介紹 114
3.4.2 基于AdaBN的模型改進 116
3.4.3 離線實驗 117
3.5 基于差分的雙眼不對稱模型 122
3.5.1 基礎(chǔ)模型 122
3.5.2 不對稱雙眼模型 122
3.5.3 差分學(xué)習 124
3.5.4 實驗對比 126
3.6 基于頭眼協(xié)同的視線追蹤技術(shù) 127
3.6.1 頭眼協(xié)同運動分析 127
3.6.2 頭眼協(xié)同視線追蹤網(wǎng)絡(luò) 130
3.6.3 模型訓(xùn)練與部署 132
3.6.4 實驗結(jié)果與評估 133
參考文獻 136
第4章 語音交互 139
4.1 語音交互概述 139
4.1.1 基于音頻信號的語音識別 141
4.1.2 基于視覺圖像的無聲語音識別 142
4.1.3 基于sEMG信號的無聲語音識別 143
4.1.4 多模態(tài)語音識別 145
4.2 基于音頻信號的語音識別方法 146
4.2.1 音頻信號預(yù)處理 146
4.2.2 聲學(xué)建模方法 149
4.2.3 語言模型 155
4.2.4 基于音頻信號的自動語音識別模型 157
4.3 基于視覺圖像的語音識別方法 160
4.3.1 唇部圖像空域特征提取 160
4.3.2 唇部圖像時域特征提取 165
4.3.3 唇語識別方法設(shè)計 171
4.4 基于sEMG信號的語音識別方法 178
4.4.1 單詞級/指令詞識別 178
4.4.2 連續(xù)無聲語音識別 186
4.5 基于多模態(tài)融合的語音識別方法 190
4.5.1 視覺肌電信息融合的多模態(tài)無聲語音識別 190
4.5.2 視聽融合的多模態(tài)語音識別 197
4.5.3 聲光電多模態(tài)融合的語音識別 201
參考文獻 210
第5章 腦機情緒交互 215
5.1 腦機情緒交互概述 215
5.1.1 腦機接口 215
5.1.2 腦機接口三大范式 216
5.1.3 情感腦機接口 219
5.2 多維負性情緒素材庫和數(shù)據(jù)集 221
5.2.1 情緒模型 221
5.2.2 情緒誘發(fā) 223
5.2.3 情緒誘發(fā)實驗被試 225
5.2.4 自我評估問卷和統(tǒng)計分析 226
5.2.5 情緒誘發(fā)實驗設(shè)計 227
5.3 多維負性情緒識別方法 229
5.3.1 表征負性情緒變化的腦電圖及其他生理信號 229
5.3.2 預(yù)處理方法 232
5.3.3 特征提取方法 234
5.3.4 負性情緒識別相關(guān)工作 237
5.3.5 問題及展望 246
5.4 基于腦機接口的廣域目標識別技術(shù) 247
5.4.1 基于快速序列視覺呈現(xiàn)的腦機接口系統(tǒng) 248
5.4.2 空間選擇性注意相關(guān)的ERP成分 250
5.4.3 單因素空間編碼的廣域目標識別 251
5.4.4 多因素空間編碼的廣域目標識別 255
5.5 運動任務(wù)中的數(shù)據(jù)增強與頻率特征提取 257
5.5.1 相關(guān)方法與數(shù)據(jù)集構(gòu)建 257
5.5.2 基于腦區(qū)重組的EEG數(shù)據(jù)增強方法 261
5.5.3 基于張量的腦機接口頻率特征組合方法 269
參考文獻 279
第6章 跨模態(tài)交互 289
6.1 跨模態(tài)交互概述 289
6.2 “人→機”跨模態(tài)語義共指消解 290
6.2.1 圖像+文本共指消解 290
6.2.2 語音+眼動+圖像共指消解 295
6.3 “機→人”圖像語義文本生成 301
6.3.1 圖像文本生成 302
6.3.2 空間語義學(xué) 304
6.3.3 數(shù)據(jù)集構(gòu)建 306
6.3.4 實驗結(jié)果 307
6.4 “人→機”跨模態(tài)智能語義匹配 309
6.4.1 指令級跨模態(tài)匹配 311
6.4.2 子指令級跨模態(tài)匹配 318
6.4.3 實體級跨模態(tài)匹配 320
6.4.4 指令語義解析任務(wù) 321
參考文獻 324
第7章 混合現(xiàn)實技術(shù) 328
7.1 系統(tǒng)組成 328
7.1.1 HoloLens系列 330
7.1.2 Magic Leap One 332
7.1.3 Nreal系列 333
7.2 光學(xué)顯示技術(shù) 334
7.2.1 微顯示器 334
7.2.2 典型光學(xué)顯示結(jié)構(gòu)分析 335
7.2.3 光透射式AR設(shè)備標定方案 343
7.3 定位技術(shù) 348
7.3.1 坐標一致性原理 348
7.3.2 SLAM中的信息融合技術(shù) 358
7.3.3 無標記動作捕捉結(jié)合的IMU定位技術(shù) 363
7.3.4 三維物體剛體位姿估計 366
7.3.5 深度學(xué)習定位定向技術(shù) 372
7.4 應(yīng)用案例 374
7.4.1 民生應(yīng)用 374
7.4.2 軍事應(yīng)用 378
參考文獻 383
第8章 智能人機交互系統(tǒng)的開發(fā)及應(yīng)用 389
8.1 移動端人工智能算法工具與部署技術(shù)棧 389
8.1.1 基于TensorFlow的移動端算法部署 390
8.1.2 基于PyTorch的移動端算法部署 391
8.1.3 基于高通芯片的SNPE框架部署 392
8.1.4 基于NCNN加速框架的算法部署及優(yōu)化 393
8.1.5 基于MediaPipe的測試及移植 395
8.2 可穿戴智能交互系統(tǒng)集成方案 396
8.2.1 智能頭盔 399
8.2.2 智能眼鏡 404
8.2.3 智能手套 410
8.2.4 智能戒指 415
8.3 典型應(yīng)用系統(tǒng)開發(fā) 420
8.3.1 多人電子沙盤應(yīng)用 420
8.3.2 多機交互應(yīng)用 426
第9章 結(jié)語 436