前　　言

Reinforcement Learning for Cyber-Physical Systems: with Cybersecurity Case Studies

人工智能（Artificial Intelligence，AI）這一學科始創(chuàng)于1956年，經歷了幾次突飛猛進的發(fā)展，但每次都伴隨著漫長的寒冬，也就是AI寒冬—其原因是計算能力的限制、硬件技術成本的提高、科研經費的缺乏等。而包括無線技術、信息技術和集成電路（IC）在內的其他技術，在此時期已經有了顯著的進步并成為主流。從2010年開始，先進的計算技術、取自人們日�；顒拥拇髷�(shù)據(jù)，以及機器學習、神經網(wǎng)絡等人工智能研究子領域的整合，使社會風尚的主流轉向人工智能研究及其廣泛的應用。例如，谷歌DeepMind最近推出的人工智能圍棋玩家AlphaGo Zero，可以在零人工輸入的情況下實現(xiàn)超人類水平的性能。也就是說，這臺機器可以從不了解任何圍棋知識開始，通過與自己玩游戲成為自己的老師。AlphaGo的突破性成功表明，人工智能可以從一個“新生的嬰兒”開始，學會自己成長，最終表現(xiàn)出超人類水平的性能，幫助我們解決現(xiàn)在和未來面臨的最具挑戰(zhàn)性的任務。

本書的靈感來自強化學習（RL）與信息物理系統(tǒng)（CPS）領域近期的發(fā)展。強化學習植根于行為心理學，是機器學習的主要分支。與監(jiān)督學習和無監(jiān)督學習這樣的機器學習算法不同，強化學習的主要特征是其獨一無二的學習范式—試錯法。通過與深度神經網(wǎng)絡結合，深度強化學習變得十分強大，使得AI智能體能夠以超人類的水平自動管理許多復雜的系統(tǒng)。此外，人們期望CPS能夠在不久的將來給我們的社會帶來顛覆性改變，例如新興智能建筑、智能交通和電網(wǎng)。然而，CPS領域傳統(tǒng)的人工編程控制器，既不能處理日益復雜的系統(tǒng)，也不能自動適應它以前從未遇到過的新情況。如何應用現(xiàn)有的深度強化學習算法或開發(fā)新的強化學習算法以實現(xiàn)實時適應性CPS？此問題仍然懸而未決。本書通過系統(tǒng)介紹強化學習領域的基礎與算法，在兩個領域之間建立起聯(lián)系，并在每一部分列舉了一個或幾個最新的CPS示例，以幫助讀者直觀地理解強化學習技術的實用性。我們相信，書中大量關于強化學習算法的CPS示例會對所有正在使用或將使用強化學習工具解決現(xiàn)實世界問題的人非常有益。

本書系統(tǒng)介紹強化學習和深度強化學習的關鍵思想和算法，并全面介紹CPS和網(wǎng)絡安全。我們的目標是使所展示的內容易于機器學習、CPS或其他相關學科的讀者理解。因此，本書不是一本嚴格意義上的專注于強化學習和CPS理論的書籍。此外，本書并不是對現(xiàn)有的可用強化學習算法的最新總結（因為文獻數(shù)量龐大且發(fā)展迅速）。只有少數(shù)典型的強化學習算法被收錄在本書中用于教學。

本書第一部分對強化學習、CPS和網(wǎng)絡安全進行概要介紹。第1章介紹強化學習的概念和發(fā)展歷史。第2章介紹CPS和網(wǎng)絡安全的概念和框架。第二部分正式介紹強化學習的框架，并對強化學習問題進行定義，給出了兩類解決方案：基于模型的解決方案和無模型的解決方案。為了使本書各部分內容獨立，以便讀者不必事先了解強化學習就可以很容易地理解每一個知識點，我們在本書中采用Sutton和Barto（1998）的經典強化學習書籍中的一些資料，而不是在書中提供索引讓讀者到他們的書中查看相關的算法和討論。最后，我們用一章的篇幅介紹近年來發(fā)展極為迅速的新興研究領域—深度強化學習。第三部分通過回顧現(xiàn)有的網(wǎng)絡安全技術并描述新興的網(wǎng)絡威脅，將注意力轉移到網(wǎng)絡安全，其中這些新興的網(wǎng)絡攻擊不是傳統(tǒng)的網(wǎng)絡管理方法能直接解決的。之后給出了兩個案例研究，它們是基于（深度）強化學習解決這些新興網(wǎng)絡安全問題的典型案例。這兩個案例基于哥倫比亞大學研究生的研究成果。這一部分旨在說明如何應用強化學習知識來描述和解決與CPS相關的問題。

本書適用于科學與工程領域的研究生或大三/大四本科生，這些領域包括計算機科學/工程、電氣工程、機械工程、應用數(shù)學、經濟學等。目標讀者還包括與強化學習、CPS以及網(wǎng)絡安全等領域相關的研究人員和工程師。讀者所需的唯一背景知識是微積分和概率論的基礎知識。

從某種意義上說，我們已經花了相當長的時間來為本書做準備。在過去的一年里，我們從哥倫比亞大學研究生和同事的反饋中受益匪淺。他們中的許多人對本書做出了重大貢獻。在此特別鳴謝：Tashrif Billah（第1章），邱龍飛、曾毅、劉小洋（第2章），Andrew Atkinson Stirn（第3章），Tingyu Mao（第4章），張靈鈺（第5章），顏禎佑（第6章），邱龍飛、劉小洋（第7章），Mehmet Necip Kurt、Oyetunji Enoch Ogundijo（第8章參考了他們的研究成果），胡曉天、胡洋（第9章參考了他們的研究成果）。我們還感謝Urs Niesen、Jon Krohn、張鵬、王振東和劉躍明對書稿的仔細審查和提出的建設性反饋。王振東和張磊貢獻了本書第3、4、5章的練習。本書中的一些練習和示例是從一些（在線）大學課程中獲取的，或由這些課程中的一些練習和示例修改而來，這些課程包括斯坦福大學的課程CS221和CS234、伯克利大學的課程CS294-129、卡內基–梅隆大學的課程10-701、倫敦大學學院的課程GI13/4C60、猶他大學的課程CS6300和華盛頓大學的課程CSE573。

最后，李崇博士非常感謝他的博士導師Nicola Elia。Elia教授對科學研究的嚴謹態(tài)度和方法，特別是他在最優(yōu)反饋控制和信息理論方面令人印象深刻的見解，極大地影響了本書的寫作方式。事實上，最優(yōu)反饋控制一直被視為強化學習歷史上的兩條主要線索之一。而另一條線索來自動物學習心理學。本書是對反饋控制理論和反饋信息理論的長期思考和深入研究的直接成果。邱美康教授感謝他的研究小組成員蓋珂珂教授和邱龍飛先生在將強化學習應用于網(wǎng)絡安全方面的研究洞察力和奉獻精神。我們相信由人工智能引領的新興領域將從根本上改變世界、人類和整個宇宙。