智能時代已經(jīng)到來,大模型、具身智能等新技術不斷發(fā)展,使得機器與機器、機器與人之間的交互無處不在。本書深入淺出地探討和解讀了人工智能中的智能交互技術:第1章主要介紹智能交互技術的基礎知識;第2章主要討論感知認知與交互技術的結合;第3章講解交互設計的準則;第4章講解交互系統(tǒng)的原型設計;第5章講解移動終端的交互設計;第6章講解智能語音交互設計;第7章介紹智能交互技術的設計與評價方法;第8章重點介紹智能交互前沿技術及應用,包括具身交互智能、虛擬數(shù)字人、元宇宙等;第9章介紹e智能車交互設計。書中以自動駕駛作為主要應用場景,各章均配有習題,大部分章節(jié)配有翔實的實驗指導。
本書可作為普通高校人工智能、計算機科學與技術、軟件工程、數(shù)字媒體技術、機器人工程、自動化、電子信息工程等專業(yè)本科生、研究生的教材,也可作為相關技術人員的參考書。
本書配有教學課件、實驗素材、教學視頻(配套大學MOOC“智能交互技術”)、電子教案、教學大綱,請選用本書作為教材的教師登錄www.cmpedu.com注冊后下載相關資料,或發(fā)郵件至jinacmp@163.com索取相關資料。
本書遵循教指委相關指導文件和高等院校學生學習規(guī)律編寫而成。踐行四新理念,融入思政元素,注重理論與實踐相結合。
前 言FOREWORD
當今,社會科學技術的進步推動了人工智能的飛速發(fā)展,并不斷革新我們與機器的互動方式?v觀科學技術發(fā)展史,每一次變革都伴隨著交互技術的革新:鼠標和鍵盤打開了計算機時代的大門;觸摸屏打開了移動互聯(lián)時代的大門;語音交互、人臉識別、手勢識別等多模態(tài)智能交互技術帶我們走進全新的AI時代。本書深入淺出地探討和解讀了人工智能領域的智能交互技術,包括具身智能、虛擬數(shù)字人、元宇宙等智能交互前沿技術、智能交互設計準則、移動終端的交互設計、交互原型系統(tǒng)設計、智能語音交互設計、智能交互技術設計與評價方法和e智能車交互設計,充分體現(xiàn)了“智能+交互”。
第1章主要介紹了智能交互技術的基礎知識,包括人機交互的起源與發(fā)展、各發(fā)展階段的主要技術特征、智能交互技術研究的內容、機器具身交互智能等。另外,因為智能交互技術涉及多個學科領域,所以第1章還介紹了智能交互技術與相關學科的交叉融合。
第2章主要討論了感知認知與交互技術的結合。人工智能是人類智能的體外延伸,研究如何讓機器去做那些靠人的智力才能做的工作,模仿人的行為,因此智能交互就要模仿人的基本交互方式,這包括模擬人的感官體驗、認知方法、知覺特征、認知過程及交互手段。讀者可通過第2章較好地理解智能交互技術的研究進展。
第3章講解了交互設計的基本準則:首先從用戶體驗的角度介紹了各種應用交互設計的流程和原則;其次,介紹了大模型時代的交互設計原則,以桌面系統(tǒng)、移動應用交互為例,介紹各種類型的應用特點、交互設計原則及相關技術;最后,使用思維導圖實驗,幫助讀者盡快理解產(chǎn)品功能的交互設計思路。
第4章講解了交互系統(tǒng)的原型設計,介紹面向智能軟件應用的基本交互設計方法,包括交互設計的基本流程和基本方法,生成式人工智能與交互原型設計、各類原型設計工具,并以手機App原型設計為實例,以實驗的形式指導讀者體驗此類應用原型設計。
第5章講解了移動終端的交互設計,針對廣泛使用的Android操作系統(tǒng)進行應用程序交互設計,詳細解讀了該操作系統(tǒng)的特點與架構、應用開發(fā)方法及手段,并通過App Inventor工具進行應用開發(fā)。通過第5章的實驗,讀者可以了解并掌握移動端網(wǎng)絡接口編程及簡單的移動端人臉檢測開發(fā)方法。
第6章對智能交互技術中最熱門的應用之一—語音交互技術進行了講解,介紹了大模型時代的智能語音交互特點,通過語音識別和語音合成、對話交互的實驗使讀者深入掌握智能語音交互技術。
第7章介紹了智能交互技術的設計及評價方法。如何從無到有設計一個完整的智能交互產(chǎn)品,在設計中要考慮哪些因素,如何評估各類交互設計的質量以及如何對交互界面設計進行評價都是本章重點討論的問題。
第8章重點介紹了智能交互前沿技術和應用領域。當前人工智能快速發(fā)展,智能交互技術已經(jīng)應用到了各個領域,包括無人駕駛具身交互智能、智能網(wǎng)聯(lián)汽車、云機器人等。在新技術方面,第8章重點介紹了具身智能、虛擬數(shù)字人、元宇宙等智能交互前沿技術。
第9章講解了e智能車交互設計,以小型智能車為實踐載體,并通過移動端智能交互控制、智能語音交互控制、智能手勢識別交互控制三個實戰(zhàn)加深讀者對智能交互技術的理解,同時提升科研實踐動手能力。
書中各章均設計了習題,可使讀者及時強化新學習的知識點,大部分章節(jié)配有翔實的實驗指導,使讀者通過實驗鞏固和加深對智能交互技術基礎知識的理解。本書可作為人工智能、智能科學與技術、計算機科學與技術、軟件工程、數(shù)字媒體技術、機器人工程、自動化、電子信息工程、電子科學與技術等專業(yè)本科生、研究生的教材,也可作為從事交互設計、用戶界面設計、人工智能應用、移動軟件開發(fā)等相關技術人員的參考書。
北京工業(yè)大學信息科學技術學院馬楠教授擔任本書主編,負責全書的主審、定稿;北京聯(lián)合大學工科中心徐歆愷副教授、北京工業(yè)大學信息科學技術學院李秀智副教授、北京順程高科技有限公司總經(jīng)理姚永強擔任副主編。第1章由馬楠負責編寫;第2~4章由馬楠、徐歆愷共同編寫;第5章由徐歆愷、汪成負責編寫;第6章由徐歆愷、姚永強、馬楠共同編寫;第7章由張歡、馬楠共同編寫;第8章由馬楠、李秀智、韓義恒、吳祉璇、穆堯、謝靜共同編寫;第9章由姚永強、馬楠、楊雅玨共同編寫。
中國汽車工程研究院股份有限公司智能網(wǎng)聯(lián)科技有限公司副總經(jīng)理夏芹教授級高級工程師參與指導了書中與無人駕駛相關的應用內容,吳祉璇、張亦盈、汪成、韓天聰、
曹夢鑫負責部分文字整理工作。在本書的編寫過程中,編者得到了中國工程院院士、國際歐亞科學院院士、中國人工智能學會名譽理事長李德毅院士,國務院參事、中國工程院院士、清華大學信息科學技術學院院長戴瓊海院士,中國人工智能學會智能交互專委會主任、北京航空航天大學計算機學院院長王蘊紅教授,中國人工智能學會智能駕駛專委會副主任、北京聯(lián)合大學原副校長鮑泓教授的悉心指導和幫助,在此表示最衷心的感謝。機械工業(yè)出版社提供了大力支持,吉玲主任在本書的編寫過程中給予了熱情的幫助與指導。
本書部分內容得到國家重點研發(fā)計劃項目“面向質量信任的多維據(jù)數(shù)校準關鍵技術和標準研究”(項
高等院校教師
目 錄CONTENTS
序
前言
第1章 人機交互技術的發(fā)展 1
1.1 人機交互概述 1
1.1.1 人機交互的定義 1
1.1.2 人機交互的起源與發(fā)展 2
1.1.3 感知智能在交互技術中的作用 4
1.2 智能交互的研究內容 7
1.2.1 傳統(tǒng)人機交互技術研究內容及發(fā)展 7
1.2.2 智能交互技術研究內容 9
1.2.3 機器具身交互智能 10
1.3 智能交互技術與相關學科 12
1.3.1 智能交互技術與計算機科學 12
1.3.2 智能交互技術與智能科學和技術 13
1.3.3 智能交互技術與軟件工程 13
1.3.4 智能交互技術與工業(yè)設計 14
1.3.5 智能交互技術與生理學 15
1.3.6 智能交互技術與認知心理學 16
1.4 習題 17
第2章 感知認知和交互技術 18
2.1 知覺和認知 18
2.1.1 人的感知 18
2.1.2 感官與交互體驗 19
2.1.3 知覺的特性 21
2.1.4 認知過程及影響因素 23
2.2 輸入/輸出設備 24
2.2.1 智能音箱語音交互 25
2.2.2 生物識別與動作捕捉 25
2.2.3 AR/手勢/投影交互 26
2.2.4 支持性技術:云技術和大數(shù)據(jù) 26
2.3 交互技術 26
2.3.1 基本交互技術 27
2.3.2 語音交互技術 29
2.3.3 多點觸控交互技術 30
2.3.4 跨模態(tài)交互技術 31
2.4 基于感知技術的人車交互 31
2.5 實驗1:AI圖像創(chuàng)作 33
2.5.1 實驗目的和類型 33
2.5.2 實驗內容 33
2.5.3 實驗環(huán)境 35
2.5.4 實驗步驟 35
2.5.5 實驗報告要求 41
2.5.6 實驗注意事項 41
2.5.7 考核辦法和成績評定 42
2.6 習題 42
第3章 交互設計準則 43
3.1 用戶體驗的定義 43
3.1.1 體驗設計 43
3.1.2 情感設計 45
3.1.3 交互設計流程 46
3.1.4 用戶體驗的應用環(huán)境 47
3.2 交互設計的原則 47
3.2.1 狀態(tài)可見原則 47
3.2.2 場景貼切原則 48
3.2.3 用戶可控原則 49
3.2.4 一致性原則 49
3.2.5 預防出錯原則 49
3.2.6 協(xié)助記憶原則 50
3.2.7 靈活高效原則 50
3.2.8 美觀簡潔原則 51
3.2.9 容錯原則 52
3.2.10 人性化幫助原則 52
3.3 大模型時代的交互設計原則 53
3.3.1 透明度和可解釋性原則 53
3.3.2 上下文感知和適應性原則 53
3.3.3 為心智模型設計 53
3.3.4 為適當?shù)男湃魏鸵蕾囋O計 54
3.3.5 為共創(chuàng)設計 54
3.4 桌面系統(tǒng)應用交互設計 55
3.4.1 桌面應用的分類 55
3.4.2 桌面系統(tǒng)應用界面設計原則 59
3.4.3 桌面系統(tǒng)應用交互設計技術 61
3.5 移動應用交互設計 64
3.5.1 交互方式比較 64
3.5.2 App界面設計風格 66
3.5.3 移動應用交互設計原則 69
3.6 實驗2:思維導圖與產(chǎn)品功能設計 73
3.6.1 實驗目的和類型 73
3.6.2 實驗內容 74
3.6.3 實驗環(huán)境 74
3.6.4 實驗步驟 74
3.6.5 實驗報告要求 81
3.6.6 實驗注意事項 82
3.6.7 考核辦法和成績評定 83
3.7 習題 83
第4章 交互原型設計84
4.1 交互設計基本流程84
4.1.1 需求分析84
4.1.2 架構與流程設計84
4.1.3 方案設計85
4.1.4 方案驗證85
4.1.5 設計跟蹤85
4.1.6 其他85
4.2 生成式人工智能與交互原型設計86
4.2.1 交互設計中的AI應用86
4.2.2 AI與設計流程的融合87
4.3 交互原型設計工具簡介87
4.3.1 Axure RP89
4.3.2 Sketch90
4.3.3 Figma90
4.3.4 Adobe XD91
4.3.5 墨刀(MockingBot)92
4.3.6 摹客(Mockplus)92
4.3.7 GUI Design Studio93
4.4 實驗3:手機App原型開發(fā)設計94
4.4.1 實驗目的和類型94
4.4.2 實驗內容94
4.4.3 實驗環(huán)境95
4.4.4 實驗步驟95
4.4.5 實驗報告要求 107
4.4.6 實驗注意事項 107
4.4.7 考核辦法和成績評定108
4.5 習題108
第5章 移動終端的交互設計實戰(zhàn)110
5.1 Android操作系統(tǒng)110
5.1.1 Android系統(tǒng)特點與架構110
5.1.2 Android開發(fā)工具簡介113
5.1.3 Android應用設計規(guī)范114
5.2 圖形化編程開發(fā)Android程序118
5.2.1 App Inventor開發(fā)環(huán)境119
5.2.2 App Inventor簡單操作119
5.3 實驗4:移動端網(wǎng)絡接口調用的實現(xiàn)125
5.3.1 實驗目的和類型125
5.3.2 實驗內容125
5.3.3 實驗儀器、設備126
5.3.4 實驗原理126
5.3.5 實驗步驟及要求127
5.3.6 實驗報告要求131
5.3.7 實驗注意事項131
5.3.8 思考題131
5.3.9 考核辦法和成績評定131
5.4 實驗5:移動端人臉檢測實驗131
5.4.1 實驗目的和類型131
5.4.2 實驗內容132
5.4.3 實驗儀器、設備132
5.4.4 實驗原理132
5.4.5 實驗步驟及要求134
5.4.6 實驗報告要求142
5.4.7 實驗注意事項142
5.4.8 思考題143
5.4.9 考核辦法和成績評定143
5.5 習題143
第6章 智能語音交互設計144
6.1 語音交互技術發(fā)展144
6.2 語音交互的優(yōu)缺點145
6.2.1 語音交互的優(yōu)點和痛點145
6.2.2 智能語音交互核心技術146
6.3 實驗6:語音識別和語音合成147
6.3.1 實驗目的和類型147
6.3.2 實驗內容147
6.3.3 實驗儀器、設備147
6.3.4 實驗原理147
6.3.5 實驗步驟及要求148
6.3.6 實驗注意事項149
6.3.7 思考題149
6.4