本書以交通大數(shù)據(jù)為基點,結(jié)合公路、鐵路、水路、民航、郵政、管道六大業(yè)務領域,依次介紹了交通大數(shù)據(jù)概述、交通大數(shù)據(jù)技術、大數(shù)據(jù)中心平臺建設、交通數(shù)據(jù)常用分析方法、高速公路應用、民航應用、港口應用、交通大數(shù)據(jù)發(fā)展展望,實現(xiàn)了從行業(yè)需求到核心內(nèi)容建設,從專業(yè)技術落地研究到實際應用,最后到發(fā)展趨勢展望的全貫通。本書能夠幫助智能交通、人工智能、交通運輸、大數(shù)據(jù)等相關專業(yè)的學生系統(tǒng)了解以大交通、大數(shù)據(jù)、人工智能、綜合應用為特征的最新的學科知識,并能夠使以本科生、研究生為主的讀者具備一定實踐和初步研究的能力。
本書可作為高等院校交通類專業(yè)課程的教材,也可供IT行業(yè)、交通行業(yè)的從業(yè)人員自學使用。
本書內(nèi)容點面結(jié)合,面上盡量涵蓋交通行業(yè)必要的知識,使讀者能概覽大交通的全貌;點上突出交通大數(shù)據(jù)建設、研究、應用的新情況。
編寫風格體現(xiàn)了通俗易懂、由淺入深的特點,大量采用了本書各研究及實踐團隊的最新成果圖片、工程案例、研究算法等內(nèi)容。
滿足本科生滿足基本落地操作的要求,啟發(fā)研究生針對智能交通的一些新的算法研究和應用,有利于智能交通專業(yè)人員跟蹤國內(nèi)智能交通項目發(fā)展趨勢。
進入21世紀后,隨著大數(shù)據(jù)、人工智能、云計算、物聯(lián)網(wǎng)、智聯(lián)網(wǎng)、5G等技術的出現(xiàn),傳統(tǒng)的交通行業(yè)發(fā)生了很大的變化,由此產(chǎn)生了智能交通概念并促進了相關技術在交通行業(yè)內(nèi)的蓬勃發(fā)展。智能交通的基礎是數(shù)據(jù),其核心是解決交通大數(shù)據(jù)的匯聚和應用兩大問題。
本書的策劃思路有2個特點。
1.點面結(jié)合,面上盡量涵蓋交通行業(yè)必要的知識,使讀者能概覽大交通的全貌;點上突出交通大數(shù)據(jù)建設、研究、應用的最新情況,有利于本科生滿足基本落地操作的要求,有利于啟發(fā)研究生針對智能交通的一些新的算法研究和應用,有利于智能交通專業(yè)人員跟蹤國內(nèi)最新智能交通項目發(fā)展趨勢。
2.編寫風格體現(xiàn)了通俗易懂、由淺入深的特點,大量采用了本書各研究及實踐團隊的最新成果圖片、工程案例、研究算法等內(nèi)容。
本書包含8章。
第1章概述了交通發(fā)展史,介紹了公路、鐵路、水路、民航、郵政、管道六大交通運輸領域的基本概念,定義了人流、物流、運輸工具流、資金流、交通數(shù)據(jù)流,介紹了國內(nèi)外交通大數(shù)據(jù)現(xiàn)狀,為初學者提供了系統(tǒng)的交通大數(shù)據(jù)入門基礎知識。
第2章介紹了交通大數(shù)據(jù)相關的主要技術,在終端技術方面重點介紹了終端傳感技術、邊緣計算技術、業(yè)務系統(tǒng),介紹了與交通緊密相關的地理信息系統(tǒng)、衛(wèi)星定位技術、硬件通信技術、軟件通信技術、數(shù)據(jù)傳輸和存儲技術、ETL技術、數(shù)據(jù)計算技術、主流開發(fā)技術、前后端分離技術、專題二維三維展示組件技術、虛擬現(xiàn)實技術、人工智能技術,為讀者進行大數(shù)據(jù)分析提供了技術選擇路線,并進行了技術落地可操作性導入介紹。
第3章介紹了大數(shù)據(jù)中心平臺主要建設內(nèi)容,包括交通數(shù)據(jù)種類、數(shù)據(jù)全生命周期、數(shù)據(jù)接口及格式,大數(shù)據(jù)中心形成條件、構(gòu)建交通三級大數(shù)據(jù)中心、交通大數(shù)據(jù)中心主要任務,大數(shù)據(jù)綜合業(yè)務框架、綜合功能框架、綜合存儲框架、數(shù)據(jù)分類設計,基于大數(shù)據(jù)中心平臺的數(shù)據(jù)分析基礎、大數(shù)據(jù)中心平臺應用定位、數(shù)據(jù)標準、數(shù)據(jù)制度等。
第4章介紹了交通數(shù)據(jù)常用分析方法,包括基于交通的GIS數(shù)據(jù)分析方法、交通流預測分析方法、交通模擬試驗分析方法等。
第5章、第6章、第7章介紹了基于大數(shù)據(jù)、人工智能的高速公路、民航、港口應用場景及相關算法。
第8章對交通大數(shù)據(jù)發(fā)展趨勢進行了展望。
本書可作為交通專業(yè)的本科生、研究生的教材,也可供從事交通領域項目開發(fā)和研究的IT工程師,以及相關專業(yè)的高校老師、研究人員或相似產(chǎn)業(yè)的技術人員參考。
需要注意的是,第4章部分帶*的內(nèi)容,適合研究生學習使用,本科生可以將其作為課外閱讀內(nèi)容。另外,本書實踐部分采用了Python語言作為代碼編寫工具,建議高校在開設本課程的同時開設一門Python語言編程課程。
讀者可通過本書學習交流QQ群獲取相關資料,本書配套的PPT、習題及實驗手冊見QQ群文件夾(學習交流QQ群號:435486822)。
任課老師若需要其他幫助,可以與QQ群群主聯(lián)系。
在編寫本書過程中得到了國內(nèi)智能交通行業(yè)相關專家、高校相關專業(yè)老師、IT企業(yè)相關領導的大力支持,在此表示感謝。
由于作者能力有限,書中難免有疏漏之處,請讀者朋友們多多指正,問題反饋聯(lián)系方式見本書相關QQ群,特此感謝。
編者
顧明臣,碩士,交通運輸部規(guī)劃研究院交通規(guī)劃基礎研究所所長,高級工程師,在智能交通技術創(chuàng)新應用與研發(fā)方面具有豐富經(jīng)驗,發(fā)表相關專業(yè)SCI/EI檢索論文8篇,參編著作4種,參編行業(yè)標準5項。
周衛(wèi)峰,天津大學博士后,教授級工程師,天津市智能交通運行監(jiān)測中心主任,道路領域知名專家。著書1種,發(fā)明專利4項,實用新型專利2項,發(fā)表國內(nèi)外期刊論文20余篇,已獨立培養(yǎng)碩士10名,獨立在培碩士1名。
薛桂香,天津大學計算機應用技術專業(yè)博士,河北工業(yè)大學土木與交通學院博士后,主持或主研國家級項目5項,省部級項目8項,發(fā)表SCI等高水平論文十余篇,獲省部級科技進步一等獎1項。
趙懷柏,復旦大學碩士,正高級工程師,上海電科智能系統(tǒng)股份有限公司副總經(jīng)理,長年從事智能交通行業(yè)前沿技術研究、軟件研發(fā)和項目管理工作。獲軟件著作權(quán)30多項、發(fā)明專利5項、發(fā)表論文16篇,主持編寫地方標準3個,榮獲省部級科技進步獎6項。
李海豐,博士,副教授,中國民航大學計算機科學與技術學院副院長,主持完成國家重點研發(fā)計劃課題、國家自然科學基金課題各1項,參與完成國家級與省部級科研項目8項,發(fā)表學術論文50余篇,國家發(fā)明專利授權(quán)6項。
劉瑜,碩士,高級工程師、高級信息項目管理師,天津智能交通聯(lián)合研發(fā)中心副主任,從事智能交通工作20余年,承擔上億元級別智能交通項目1個、千萬元級別5個,出版軟件工程項目管理、編程、數(shù)據(jù)庫、大數(shù)據(jù)、人工智能等專著16種,發(fā)表論文10余篇,參與行標編寫2項,主持地標編寫1項,承擔廳局級課題2項。
前言
第1章交通大數(shù)據(jù)概述1
1.1交通發(fā)展史1
1.1.1傳統(tǒng)交通發(fā)展1
1.1.2智能交通發(fā)展2
1.2交通運輸領域3
1.2.1公路3
1.2.2鐵路4
1.2.3水路5
1.2.4民航5
1.2.5郵政6
1.2.6管道7
1.3交通流7
1.3.1人流7
1.3.2物流8
1.3.3運輸工具流9
1.3.4資金流10
1.3.5交通數(shù)據(jù)流11
1.4國內(nèi)外交通大數(shù)據(jù)現(xiàn)狀11
習題及實驗13
第2章交通大數(shù)據(jù)技術14
2.1終端技術14
2.1.1終端傳感技術14
2.1.2邊緣計算技術15
2.1.3業(yè)務系統(tǒng)16
2.2地理信息系統(tǒng)及衛(wèi)星定位技術16
2.2.1地理信息系統(tǒng)16
2.2.2衛(wèi)星定位技術17
2.3通信技術17
2.3.1硬件通信技術17
2.3.2軟件通信技術18
2.4數(shù)據(jù)管理及開發(fā)技術19
2.4.1數(shù)據(jù)傳輸技術20
2.4.2數(shù)據(jù)存儲技術21
2.4.3ETL技術21
2.4.4數(shù)據(jù)計算技術22
2.4.5主流開發(fā)技術23
2.5展示技術24
2.5.1前后端分離技術24
2.5.2專題二維三維展示組件技術25
2.5.3虛擬現(xiàn)實技術26
2.6人工智能技術27
2.6.1Scikit-learn28
2.6.2PyTorch30
2.6.3TensorFlow31
習題及實驗34
第3章大數(shù)據(jù)中心平臺建設35
3.1交通數(shù)據(jù)35
3.1.1交通數(shù)據(jù)種類35
3.1.2數(shù)據(jù)全生命周期37
3.1.3數(shù)據(jù)接口及格式38
3.2國內(nèi)交通大數(shù)據(jù)中心現(xiàn)狀39
3.2.1大數(shù)據(jù)中心形成條件40
3.2.2構(gòu)建交通三級大數(shù)據(jù)中心40
3.2.3交通大數(shù)據(jù)中心主要任務41
3.3大數(shù)據(jù)中心平臺框架設計43
3.3.1綜合業(yè)務框架設計43
3.3.2綜合功能框架設計44
3.3.3綜合存儲框架設計45
3.3.4數(shù)據(jù)分類設計47
3.4數(shù)據(jù)分析基礎48
3.4.1編程語言分析49
3.4.2SQL分析51
3.4.3大數(shù)據(jù)分析52
3.4.4文件數(shù)據(jù)分析54
3.4.5AI分析55
3.4.6可視化分析58
3.4.7其他專用工具分析60
3.5大數(shù)據(jù)中心平臺應用定位61
3.5.1數(shù)據(jù)匯聚與共享62
3.5.2大屏展示與交流62
3.5.3交通指揮調(diào)度62
3.5.4視頻會議協(xié)調(diào)65
3.5.5綜合決策應用65
3.5.6定向數(shù)據(jù)研究66
3.6數(shù)據(jù)標準及制度建設67
3.6.1數(shù)據(jù)標準67
3.6.2數(shù)據(jù)制度68
習題及實驗68
第4章交通數(shù)據(jù)常用分析方法70
4.1基于交通的GIS數(shù)據(jù)分析方法70
4.1.1熱力圖及實現(xiàn)70
4.1.2OD遷徙圖及實現(xiàn)75
4.1.3最優(yōu)路徑算法及實現(xiàn)76
4.1.4核密度估計模型及實現(xiàn)*77
4.2交通流預測分析方法80
4.2.1線性回歸預測分析80
4.2.2K最近鄰算法預測分析84
4.2.3貝葉斯網(wǎng)絡預測分析*87
4.2.4多層感知機預測分析*89
4.2.5支持向量機預測分析*94
4.2.6深度神經(jīng)網(wǎng)絡預測分析*98
4.3交通模擬試驗分析方法102
4.3.1虛擬仿真方法102
4.3.2試驗儀器方法105
習題及實驗107
第5章高速公路應用108
5.1高速公路業(yè)務及數(shù)據(jù)108
5.1.1高速公路主要業(yè)務108
5.1.2高速公路主要數(shù)據(jù)110
5.2高速公路主要業(yè)務系統(tǒng)及發(fā)展方向112
5.3高速公路車輛目標軌跡跟蹤定位113
5.3.1車輛跟蹤需求分析113
5.3.2研究進展115
5.3.3雷達車輛目標識別方法115
5.3.4運動目標軌跡跟蹤方法116
5.3.5雷達視頻聯(lián)動目標跟蹤定位方法117
5.3.6雷達視頻聯(lián)動應用118
5.4高速固定視頻圖像識別120
5.4.1固定視頻圖像識別需求分析120
5.4.2研究進展121
5.4.3運動目標提取方法122
5.4.4運動模式識別方法123
5.4.5各類交通事件檢測方法123
5.4.6固定視頻圖像識別應用125
5.5高速短時交通流預測127
5.5.1短時交通流預測需求分析127
5.5.2研究進展128
5.5.3基于LSTM的短時交通流預測應用129
習題及實驗130
第6章民航應用132
6.1民航業(yè)務及數(shù)據(jù)132
6.1.1民航主要業(yè)務132
6.1.2民航主要數(shù)據(jù)133
6.2民航主要業(yè)務系統(tǒng)及發(fā)展方向134
6.3航空飛行器檢修135
6.3.1檢修需求分析135
6.3.2飛機外觀檢測類型136
6.3.3研究進展137
6.3.4繞機檢查技術方案實現(xiàn)142
6.4FOD檢測146
6.4.1FOD檢測需求分析146
6.4.2研究進展147
6.4.3無人機FOD檢測實現(xiàn)149
6.5機場跑道病害檢測150
6.5.1機場跑道病害檢測需求分析150
6.5.2機場道面自動化運維方法151
6.5.3機場道面病害圖像檢測算法實現(xiàn)151
6.5.4機場道面地表病害檢測算法實現(xiàn)153
習題及實驗156
第7章港口應用157
7.1港口業(yè)務及數(shù)據(jù)157
7.1.1港口主要業(yè)務157
7.1.2港口主要數(shù)據(jù)159
7.2港口主要系統(tǒng)及發(fā)展方向160
7.3港口作業(yè)調(diào)度164
7.3.1港口作業(yè)調(diào)度需求分析164
7.3.2研究進展165
7.3.3碼頭外部主要影響因素分析167
7.3.4基于云緩沖區(qū)設計思路168
7.3.5三級云緩沖區(qū)模型及實現(xiàn)169
7.3.6云緩沖區(qū)調(diào)度模型及實現(xiàn)170
7.3.7作業(yè)趨勢分析模型及實現(xiàn)170
7.3.8作業(yè)機力兌現(xiàn)率分析模型及實現(xiàn)171
7.4集裝箱貨車到港預約172
7.4.1集裝箱貨車到港預約需求分析172
7.4.2研究進展173
7.4.3基于大數(shù)據(jù)的預約模型設計方法173
習題及實驗175
第8章交通大數(shù)據(jù)發(fā)展展望177
8.1運輸行業(yè)新業(yè)態(tài)發(fā)展177
8.2數(shù)據(jù)深入融合應用發(fā)展178
8.3高級分布式數(shù)據(jù)中心發(fā)展180
8.4數(shù)據(jù)安全、確權(quán)及交易發(fā)展182
習題及實驗183
附錄配套代碼清單184
參考文獻185
后記190