"智能運維的核心目標包括故障預測、自動化修復、效能優(yōu)化,最終推動運維從經驗驅動向數據驅動轉型,降低非計劃停機損失并提升系統(tǒng)可靠性!吨悄苓\維實踐》從智能運維基本理論入手,詳細講解智能運維方法和應用案例,幫助讀者掌握智能運維的核心技術本書配套示例源碼、PPT課件與教學大綱。 《智能運維實踐》共分12章,內容包括智能運維概述、智能運維框架、搭建Ubuntu運維和開發(fā)環(huán)境、Python編程基礎、數據采集與存儲、數據預處理、機器學習、深度學習、自然語言處理、日志異常檢測、面向微服務的根因定位、網絡流量異常檢測。 《智能運維實踐》理論與實踐相結合,從基礎概念出發(fā),逐步深入技術細節(jié),適合智能運維初學者、智能運維應用開發(fā)人員、系統(tǒng)與網絡運維人員閱讀!吨悄苓\維實踐》也適合作為高等院;蚋呗毟邔T盒V悄苓\維課程的教材。"
(1)《智能運維實踐》介紹智能運維的基礎理論和相關技術,包括智能運維整體框架以及機器學習、深度學習和自然語言處理的常用算法。
(2)《智能運維實踐》通過面向實際場景需求的日志異常檢測、根因定位、網絡流量異常檢測等項目案例,由淺入深地闡述如何將人工智能應用到IT運維實踐中。
(3)配套示例源碼、PPT課件、教學大綱、配圖PDF文件。
前 言
本書背景
近年來,隨著云計算、大數據和人工智能技術的廣泛應用,傳統(tǒng)運維模式在應對復雜IT系統(tǒng)時逐漸顯現出局限性。智能運維(AIOps)作為運維領域的新興方向,嘗試通過引入機器學習、自動化分析等技術來提升運維效率,但其理論體系和技術實踐仍在不斷演進中。
我們編寫本書的初衷是為讀者提供一個相對系統(tǒng)的智能運維學習參考。書中內容基于現有的AIOps技術實踐整理而成,雖然力求全面,但受限于編者的水平和智能運維領域的發(fā)展速度,難免存在不足之處。我們期待通過本書拋磚引玉,與廣大讀者共同探討智能運維的未來發(fā)展方向。
本書目的
本書旨在為讀者構建智能運維領域的系統(tǒng)性學習路徑,通過理論與實踐相結合的方式,幫助不同背景的讀者掌握AIOps的核心技術。本書注重知識體系的完整性和實踐指導性,力求使學術研究者獲得理論支撐,同時讓工程實踐者掌握落地方法,推動智能運維技術在實際工作場景中的應用與創(chuàng)新。
本書內容概述
本書系統(tǒng)介紹智能運維(AIOps)的核心技術與實踐應用,內容涵蓋智能運維的基本概念、技術框架、開發(fā)環(huán)境搭建等基礎知識,并深入講解數據采集與存儲、數據預處理、機器學習、深度學習等關鍵技術。書中特別設計了日志異常檢測、微服務根因定位、網絡流量異常檢測等典型運維場景的實戰(zhàn)案例,通過Python代碼幫助讀者掌握智能運維的實踐方法。
本書特點
(1)理論與實踐相結合:不僅講解算法原理,還提供完整的代碼實現和案例分析。
(2)案例驅動:圍繞真實運維場景(如日志分析、故障定位等)展開,增強實用性,方便讀者在類似的場景中直接借鑒。
(3)內容安排循序漸進:從基礎環(huán)境搭建到高階算法應用,適合不同水平的讀者學習。
(4)開源工具支持:采用Python、scikit-learn、PyTorch等主流技術棧,確?蓮同F性。
本書配套資源
本書配套實例源碼、PPT課件與教學大綱,讀者使用自己的微信掃描右側的二維碼即可獲取。如果在閱讀過程中發(fā)現問題或有任何建議,請下載資源中提供的相關電子郵箱或微信進行聯系。
本書適合的讀者
本書采用循序漸進的方式組織內容,從基礎概念到算法原理再到工程實踐,既適合作為高校智能運維課程的教材,也可供運維工程師和開發(fā)人員參考使用。書中提供的Ubuntu環(huán)境配置指南、Python編程示例和智能運維示例代碼,能夠有效降低學習門檻,使讀者快速上手并應用于實際工作場景。
作者與鳴謝
本書作者蘇娜、孫琳和王鴿均為高校計算機專業(yè)教師,主要從事智能運維、大數據分析與挖掘等方面的研究和教學工作。
本書的編寫得到了眾多專家、同行以及開源社區(qū)的大力支持,在此表示衷心的感謝。特別感謝裴厚清、徐力、劉文羽三位同學在實驗驗證和資料整理方面對本書作出的貢獻。
同時,本書的順利出版離不開清華大學出版社各位編輯老師的專業(yè)指導和辛勤付出,在此謹致謝忱。
我們誠摯歡迎廣大讀者提出寶貴意見和建議,以便在未來的版本中持續(xù)優(yōu)化和改進。
作 者
2025年3月
蘇娜,副教授,工學博士,碩士生導師,中國自動化學會網絡信息服務專業(yè)委員會委員,中國自動化學會會員,泰安市高層次人才。主要研究方向為數據挖掘、人工智能等。主持或參與10余項科研項目,發(fā)表學術論文20余篇,撰寫專著1部,取得發(fā)明專利2項、軟件著作權多項。
孫琳,學術副教授,碩士生導師。主要研究方向為數據分析與數據挖掘等。主持并參與多項省部級科研項目,發(fā)表科研、教學論文十余篇,其中多篇被SCI、EI檢索。
王鴿,副教授,博士,碩士生導師。主要研究方向為大數據分析、人工智能、自然語言處理、機器學習等。主持并參與多項省部級科研項目,發(fā)表論文20余篇,參編教材4部,取得發(fā)明專利2項、軟件著作權多項。
目 錄
第1章 智能運維概述 1
1.1 引言 1
1.1.1 智能運維的興起 1
1.1.2 智能運維的發(fā)展歷程 2
1.1.3 智能運維的技術基礎 3
1.1.4 智能運維的目標 4
1.2 智能運維的應用 4
1.2.1 智能運維的應用領域 4
1.2.2 智能運維要解決的問題 5
1.3 智能運維的相關標準 6
1.3.1 運維相關的現有標準 7
1.3.2 人工智能的現有標準 9
1.3.3 智能運維的現有標準 10
第2章 智能運維框架 12
2.1 整體框架 12
2.2 組織治理 13
2.3 場景實現 14
2.4 能力域 15
第3章 搭建Ubuntu運維和開發(fā)環(huán)境 20
3.1 Ubuntu安裝準備 20
3.2 安裝Oracle VM VirtualBox 22
3.3 安裝Ubuntu服務器系統(tǒng) 26
3.3.1 創(chuàng)建虛擬機 26
3.3.2 安裝Ubuntu Server系統(tǒng) 32
3.4 搭建VS Code遠程開發(fā)環(huán)境 40
第4章 Python編程基礎 44
4.1 Python快速入門 44
4.1.1 Python簡介 44
4.1.2 數據類型 47
4.1.3 運算符 50
4.1.4 函數 52
4.1.5 程序控制結構 53
4.1.6 類和對象 54
4.2 NumPy快速入門 55
4.2.1 數組創(chuàng)建與初始化 55
4.2.2 數組的核心屬性、操作與計算 56
4.2.3 數學運算與統(tǒng)計 60
4.3 Pandas快速入門 61
4.3.1 Pandas系列 61
4.3.2 Pandas數據幀 65
4.3.3 Pandas示例 69
第5章 數據采集與存儲 84
5.1 數據采集 84
5.1.1 數據采集方法 85
5.1.2 數據采集工具 86
5.1.3 數據采集的關鍵考慮因素 88
5.2 數據存儲 88
5.2.1 數據存儲類型 89
5.2.2 數據存儲架構 90
5.2.3 數據備份與恢復 90
5.2.4 數據安全 91
5.2.5 數據管理與優(yōu)化 91
5.2.6 數據訪問與檢索 92
第6章 數據預處理 94
6.1 數據清洗 95
6.1.1 處理缺失值 95
6.1.2 去除重復記錄 106
6.2 數據集成 112
6.3 數據轉換 113
6.4 數據離散化 119
6.4.1 等距離散化 120
6.4.2 等頻離散化 120
6.4.3 基于聚類的離散化 121
6.4.4 基于決策樹的離散化 122
6.5 特征選擇 123
6.5.1 特征選擇方法 123
6.5.2 特征選擇示例 124
第7章 機器學習 129
7.1 回歸方法 129
7.1.1 常見的回歸方法 130
7.1.2 回歸模型的評估與優(yōu)化 131
7.1.3 回歸模型的示例 132
7.2 分類方法 140
7.2.1 分類的一般流程 140
7.2.2 評估指標 141
7.3 決策樹 143
7.3.1 基本概念 143
7.3.2 構建步驟 145
7.3.3 決策樹示例 147
7.3.4 決策樹的特點 152
7.4 其他分類算法 152
7.4.1 隨機森林 152
7.4.2 支持向量機 153
7.4.3 貝葉斯分類器 156
7.4.4 分類算法小結與示例 158
7.5 聚類分析 165
7.5.1 劃分聚類方法 165
7.5.2 基于密度的聚類方法及示例 169
7.5.3 層次聚類方法 173
7.5.4 基于網格的聚類方法 173
7.6 關聯分析 174
7.6.1 關聯分析相關概念 174
7.6.2 FP-Growth算法 175
7.6.3 關聯分析示例 176
7.7 時間序列分析 181
7.7.1 時間序列的基本概念 181
7.7.2 時間序列的平穩(wěn)性 181
7.7.3 時間序列的建模方法 182
7.7.4 時間序列的預測 183
7.7.5 時間序列分析示例 184
7.8 異常點檢測 192
7.8.1 異常點檢測概述 192
7.8.2 異常點檢測方法 193
7.8.3 異常點檢測示例 193
第8章 深度學習 199
8.1 深度學習基礎 199
8.2 卷積神經網絡 202
8.2.1 CNN的基本原理 202
8.2.2 CNN應用示例 204
8.3 循環(huán)神經網絡及其特殊架構 217
8.3.1 循環(huán)神經網絡 217
8.3.2 長短期記憶網絡 219
8.3.3 門控循環(huán)神經網絡 221
8.4 注意力機制 222
8.5 Transformer模型 226
第9章 自然語言處理 229
9.1 自然語言處理概述 229
9.2 文本表示方法 230
9.2.1 獨熱編碼 231
9.2.2 TF-IDF方法 231
9.2.3 Word2Vec模型 232
9.2.4 GloVe預訓練模型 233
9.2.5 BERT預訓練模型 234
9.3 大語言模型及示例 236
第10章 日志異常檢測 244
10.1 數據預處理 245
10.1.1 常用數據集介紹 245
10.1.2 日志數據處理 246
10.2 HDFS日志異常檢測 247
10.2.1 日志解析與模板匹配 248
10.2.2 事件序列構建 252
10.2.3 滑動窗口處理 257
10.2.4 特征工程與標簽關聯 259
10.2.5 模型訓練與評估 262
10.3 日志異常檢測經典模型及示例 264
10.3.1 DeepLog模型及示例 265
10.3.2 LogAnomaly模型及示例 274
10.3.3 LogRobust模型及示例 278
第11章 面向微服務的根因定位 281
11.1 引言 281
11.2 數據集 282
11.2.1 數據采集 282
11.2.2 公開數據集 284
11.3 根因定位方法 286
11.4 根因定位的關鍵技術 288
11.4.1 異常檢測 288
11.4.2 PageRank算法及示例 289
11.4.3 隨機游走算法 296
11.4.4 深度優(yōu)先搜索 297
11.4.5 皮爾遜相關系數 298
11.4.6 根因定位關鍵技術總結 298
第12章 網絡流量異常檢測 300
12.1 引言 300
12.2 網絡流量分類與數據集 301
12.2.1 網絡異常流量分類 301
12.2.2 公開數據集 302
12.3 數據預處理 308
12.4 網絡流量異常檢測方法 313
12.5 網絡流量異常檢測示例 315
12.5.1 基于SVM的網絡流量異常檢測 315
12.5.2 基于DNN的網絡流量異常檢測 322