《計算機視覺技術：事件相機原理與應用》是一本關于事件相機原理基礎的入門類圖書。主要從計算機視覺技術的基礎和相關數學基礎開始講解，對事件信息的編碼、事件的卷積（普通卷積、稀疏卷積、圖卷積、3D 卷積）分別進行了生動的介紹，后又通過三個章節(jié)，對基于長短期記憶網絡（LSTM）、脈沖神經網絡（SNN）、生成對抗網絡（GAN）的事件處理的原理和方法做了解讀。
本書圖文并茂，文字生動有趣，內容淺顯易懂，并配有較多例題和習題，以便讀者理解和鞏固，適用于對事件相機方向感興趣的技術人員閱讀，同時也可供計算機視覺方向的初學者閱讀和學習。
1.本書對計算機視覺技術方向的基礎理論進行了講解，可作為該方向的入門類圖書。
2.本書是國內首本事件相機方向的圖書。
3.本書用較大篇幅對卷積神經網絡的相關原理和方法進行了論述。
4.本書包含LSTM/GAN/脈沖神經網絡等前沿技術。
5.本書理論性較強，為讀者打好理論基礎。
事件相機作為一種新型相機，也稱為動態(tài)視覺相機、硅視網膜相機、仿生相機等，近年來在計算機視覺領域初露頭角。十幾年前，數碼相機代替膠片相機，淘汰了一個時代，現在手機相機的拍照質量飛速提高，消費級數碼相機市場占有率也在逐步下降。傳統相機包括CMOS 相機、CCD 相機，或者RGBD相機，它們都有一個參數幀率，相機總是以恒定的幀率拍攝獲取圖像。因此，無論傳統相機拍攝有多快，都有一定的延遲問題。傳統相機需要曝光時間，使感光器件積累一定量的光子信息才能完成一次拍攝。因此，在夜間或者光照不足的情況下，以常規(guī)幀率進行拍照，成像效果并不好。而且在曝光時間之內，如果物體出現高速運動，則會產生模糊。另外，傳統相機的感光動態(tài)范圍較低，具體表現為在光線極差或者亮度極高時，相機無法獲取到需要的信息。
事件相機對光的變化敏感，可以發(fā)現在場景內只要亮度一有變化就會輸出光變化的事件信息，且僅輸出光變化的數據。由于每個像素單元獨立可訪問，所以占用了很小的帶寬，同時由于事件相機更擅長捕捉亮度變化，所以在較暗和強光場景下也能輸出有效數據。事件相機具有低延遲( ＜1s )、高動態(tài)范圍(140dB )、極低功耗(1mW )等特性。如果說傳統相機更像是對靜止物體信息的有效獲取，那么事件相機則提供了一種對場景內運動信息獲取的有效方式。事件相機作為一種新型的相機，可以構成對獲取場景靜止信息的傳統相機的有效補充，也可以獨立使用完成運動信息高效的輸出。
目前關于事件相機的書籍較少，多數信息仍然在相關的英文論文和產品介紹中。并且國內外的相關論文和介紹難度較高，要求數學能力較高。因此，撰寫本書的目的在于提供一本關于事件相機及其應用的基礎的入門類圖書。本書介紹了關于事件相機的相關基礎知識與操作，編排風格較為簡潔，配有較多圖片和例題，以便讀者理解與鞏固。全書內容分為三部分，部分為第1 章，主要介紹計算機視覺基礎；第二部分為第2 章，主要介紹相關數學基礎及事件相機的原理；第三部分為第3～第10 章，主要介紹事件相機的編碼、處理方法及應用。本書適用人群包括對計算機視覺感興趣的高中生、本科生、研究生以及有意了解事件相機的科研人員及愛好者。
本書由高山指導，喬詩展負責編寫，葉汝楷負責審核及校對。
編者水平有限，書中難免會有疏漏之處，請廣大學者批評指正。
編著者
第1 章 計算機視覺簡介 001
1.1 計算機視覺的概念 001
1.2 計算機視覺的應用 002
1.2.1 圖像分類 003
1.2.2 目標檢測 003
1.2.3 圖像分割 004
1.2.4 目標跟蹤 004
1.2.5 其他應用 005
1.3 思考與練習 005
第2 章 事件相機的原理 006
2.1 數學基礎知識 007
2.1.1 導數 007
2.1.2 積分 014
2.1.3 神經元模型 018
2.1.4 多層感知機與全連接層 023
2.1.5 損失函數 028
2.1.6 神經網絡的優(yōu)化 030
2.2 事件相機的概念及原理 034
2.3 常用的事件相機 042
2.3.1 DVS 相機 042
2.3.2 ATIS 相機 043
2.3.3 DAVIS 044
2.3.4 商業(yè)事件相機 044
2.4 思考與練習 045
第3 章 事件信息的編碼 046
3.1 點云式編碼 046
3.2 CountImage 編碼 047
3.3 張量式編碼 049
3.4 局部CountImage 編碼 050
3.5 TimeImage 編碼 051
3.6 Leaky Surface 編碼 053
3.7 思考與練習 056
第4 章 事件的普通卷積 057
4.1 2D 卷積的基本原理 057
4.2 卷積神經網絡的組成 064
4.2.1 卷積層 064
4.2.2 池化層 065
4.2.3 全連接層 066
4.2.4 全局/平均池化 067
4.3 事件2D 卷積的適用范圍 068
4.3.1 編碼要求 068
4.3.2 直接事件卷積存在的問題 070
4.4 思考與練習 071
第5 章 事件的稀疏卷積 072
5.1 稀疏卷積的基本原理 072
5.1.1 SC 層的定義 072
5.1.2 VSC 層的定義 074
5.2 稀疏池化與全連接層 079
5.2.1 稀疏池化層 079
5.2.2 稀疏全連接層 081
5.3 稀疏卷積的特征 082
5.3.1 編碼要求 082
5.3.2 流形擬合特性 082
5.3.3 稀疏卷積的缺點 083
5.4 思考與練習 083
第6 章 事件的圖卷積 084
6.1 圖卷積的基本原理 084
6.1.1 事件的采樣 084
6.1.2 圖的概念及事件圖的構建 088
6.1.3 圖卷積的定義 094
6.1.4 圖池化及圖全連接層的定義 097
6.2 圖卷積的特性 099
6.2.1 編碼要求 099
6.2.2 圖的普適性 099
6.2.3 方向可變性 100
6.3 思考與練習 101
第7 章 事件的3D 卷積 102
7.1 3D 卷積的原理 102
7.1.1 卷積層的擴展 102
7.1.2 池化層的擴展 105
7.2 事件輸入與3D 卷積的特點 108
7.2.1 事件輸入的編碼要求 108
7.2.2 直接3D 卷積的現存問題 109
7.2.3 3D 卷積的可分解性 110
7.3 4D 卷積簡介 110
7.4 思考與練習 114
第8 章 基于LSTM 的事件處理 115
8.1 LSTM 的基本原理 115
8.1.1 LSTM 細胞的定義 115
8.1.2 LSTM 的運算更新 118
8.2 LSTM 的變體及事件處理 123
8.2.1 ConvLSTM 123
8.2.2 PhasedLSTM 125
8.3 思考與練習 126
第9 章 基于脈沖神經網絡的事件處理 127
9.1 普通神經元的局限 127
9.2 脈沖神經網絡的概念 128
9.2.1 脈沖神經元模型 130
9.2.2 脈沖全連接層 133
9.2.3 脈沖卷積層 135
9.2.4 脈沖池化層 136
9.3 脈沖神經網絡的學習 137
9.4 脈沖神經網絡的特點 138
9.4.1 編碼要求 138
9.4.2 脈沖神經網絡的局限 139
9.5 思考與練習 140
第10 章 基于生成對抗網絡的事件處理 141
10.1 生成對抗網絡的基本原理 141
10.1.1 普通GAN 的對弈原理 141
10.1.2 cGAN 的對弈原理 148
10.1.3 Cycle-GAN 的對弈原理 149
10.1.4 Info-GAN 的對弈原理 154
10.2 事件圖像的生成 155
10.3 思考與練習 157
參考文獻 158
書單推薦
