目 錄

第1章 現(xiàn)代軟件測試的工程理念··· 1

1.1 軟件的可測試性·· 1

1.1.1 可測試性的定義·· 1

1.1.2 可測試性引發(fā)的問題 2

1.1.3 可測試性的三個(gè)核心觀點(diǎn) 4

1.1.4 可測試性的四個(gè)維度 5

1.1.5 不同級(jí)別的可測試性與工程實(shí)踐·· 8

1.2 測試左移和開發(fā)者自測·· 13

1.2.1 傳統(tǒng)瀑布模型下軟件測試面臨的挑戰(zhàn)·· 13

1.2.2 測試左移的早期實(shí)踐 14

1.2.3 軟件測試工程化面臨的挑戰(zhàn)與機(jī)遇·· 16

1.2.4 測試左移的進(jìn)階實(shí)踐 19

1.2.5 測試左移的深度思考 21

1.3 測試右移的工程實(shí)踐·· 21

1.3.1 生產(chǎn)環(huán)境冒煙測試·· 22

1.3.2 全鏈路壓力測試·· 22

1.3.3 混沌工程·· 24

1.3.4 紅藍(lán)對(duì)抗·· 26

1.3.5 A/B測試·· 27

1.3.6 灰度發(fā)布·· 28

1.3.7 線上監(jiān)控·· 30

1.3.8 用戶體驗(yàn)分析·· 31

1.4 DevSecOps：從安全測試到安全工程·· 34

1.4.1 傳統(tǒng)軟件安全開發(fā)體系面臨的挑戰(zhàn)·· 34

1.4.2 新技術(shù)對(duì)軟件安全開發(fā)提出的挑戰(zhàn)·· 35

1.4.3 DevSecOps概念的誕生與內(nèi)涵·· 36

1.4.4 DevSecOps工具·· 37

1.4.5 典型DevSecOps流程解讀 39

1.5 DevPerfOps：從性能測試到性能工程·· 41

1.5.1 DevPerfOps的由來·· 41

1.5.2 全鏈路壓測的局限性 41

1.5.3 DevPerfOps全流程解讀 42

第2章 軟件測試策略··· 46

2.1 什么是測試策略·· 46

2.1.1 測試策略不等于測試方針 47

2.1.2 測試策略不等于測試計(jì)劃 48

2.1.3 測試策略不等于測試方案 48

2.1.4 測試策略本質(zhì)上是一種選擇 49

2.2 常用的測試策略·· 50

2.2.1 基于產(chǎn)品質(zhì)量的測試策略 50

2.2.2 基于產(chǎn)品特性價(jià)值的測試策略·· 52

2.2.3 不同產(chǎn)品階段下的測試策略·· 57

2.2.4 基于探索的測試策略啟發(fā)式測試策略·· 58

2.2.5 自動(dòng)化持續(xù)測試策略 60

2.3 測試策略的制定方法·· 62

2.3.1 四步測試策略制定法 63

2.3.2 產(chǎn)品質(zhì)量評(píng)估模型·· 65

2.3.3 組合缺陷分析技術(shù)·· 69

2.4 測試風(fēng)險(xiǎn)分析·· 81

2.4.1 測試風(fēng)險(xiǎn)識(shí)別·· 82

2.4.2 測試風(fēng)險(xiǎn)評(píng)估·· 85

2.4.3 測試風(fēng)險(xiǎn)應(yīng)對(duì)·· 86

2.5 不同研發(fā)模式下的測試分層 88

2.5.1 瀑布模式下的測試分層 88

2.5.2 敏捷模式下的測試分層 89

第3章 測試分析和測試設(shè)計(jì)··· 93

3.1 測試分析和測試設(shè)計(jì)概述·· 93

3.1.1 好的測試設(shè)計(jì)的味道 93

3.1.2 當(dāng)前測試設(shè)計(jì)的困頓 93

3.1.3 測試分析和測試設(shè)計(jì)是兩個(gè)不同的活動(dòng)·· 94

3.2 測試分析的方法·· 95

3.2.1 深入理解質(zhì)量是做好測試分析的基礎(chǔ)·· 95

3.2.2 軟件產(chǎn)品質(zhì)量模型·· 96

3.2.3 深入理解測試類型·· 103

3.2.4 通過質(zhì)量屬性來探索測試方法·· 104

3.2.5 通過質(zhì)量屬性確定測試的深度和廣度·· 105

3.2.6 使用車輪圖進(jìn)行測試分析 105

3.3 測試設(shè)計(jì)的方法·· 107

3.3.1 基于路徑分析的測試設(shè)計(jì)方法·· 107

3.3.2 基于輸入-輸出表的測試設(shè)計(jì)方法·· 118

3.3.3 基于等價(jià)類-邊界值的測試設(shè)計(jì)方法·· 119

3.3.4 基于因子表的測試設(shè)計(jì)方法·· 123

3.3.5 幾種測試設(shè)計(jì)方法的比較 127

第4章 軟件測試與系統(tǒng)架構(gòu)·· 129

4.1 典型應(yīng)用系統(tǒng)架構(gòu)與測試關(guān)鍵指標(biāo)·· 129

4.1.1 典型應(yīng)用系統(tǒng)架構(gòu)·· 129

4.1.2 客戶端請求的網(wǎng)絡(luò)通信 131

4.1.3 與測試相關(guān)的系統(tǒng)架構(gòu)關(guān)鍵指標(biāo)·· 132

4.2 緩存架構(gòu)及其對(duì)緩存測試的影響 134

4.2.1 緩存架構(gòu)·· 134

4.2.2 緩存對(duì)測試的影響·· 136

4.3 異步消息驅(qū)動(dòng)架構(gòu)及其對(duì)測試的影響·· 137

4.3.1 異步消息驅(qū)動(dòng)架構(gòu)·· 137

4.3.2 異步消息驅(qū)動(dòng)架構(gòu)對(duì)測試的影響·· 138

4.4 負(fù)載均衡架構(gòu)及灰度發(fā)布對(duì)測試的影響·· 139

4.4.1 負(fù)載均衡架構(gòu)·· 139

4.4.2 灰度發(fā)布及其對(duì)測試的影響·· 141

4.5 分布式數(shù)據(jù)庫架構(gòu)及高可用性測試·· 142

4.5.1 分布式數(shù)據(jù)庫架構(gòu)·· 142

4.5.2 分布式數(shù)據(jù)的高可用性測試·· 144

4.6 微服務(wù)架構(gòu)及其對(duì)測試的影響 145

4.6.1 微服務(wù)架構(gòu)·· 146

4.6.2 微服務(wù)架構(gòu)對(duì)測試的影響 147

4.7 大數(shù)據(jù)架構(gòu)及機(jī)器學(xué)習(xí)對(duì)測試的影響·· 148

4.7.1 大數(shù)據(jù)架構(gòu)·· 148

4.7.2 機(jī)器學(xué)習(xí)對(duì)測試的影響 149

第5章 Web測試技術(shù)精要··· 151

5.1 Web測試技術(shù)概述·· 151

5.1.1 Web測試技術(shù)要點(diǎn)·· 151

5.1.2 Web自動(dòng)化測試技術(shù) 155

5.2 基于編程語言的Web測試框架 157

5.2.1 Selenium· 157

5.2.2 Airtest 164

5.2.3 Playwright 165

5.3 基于編程語言的測試代碼的組織 169

5.3.1 未經(jīng)組織的測試代碼 171

5.3.2 組織后的測試代碼·· 173

5.4 Web自動(dòng)化測試的痛點(diǎn)·· 180

5.5 高效執(zhí)行自動(dòng)化測試·· 181

5.5.1 并行模式·· 181

5.5.2 無頭模式·· 183

5.5.3 模擬登錄·· 183

5.6 穩(wěn)定的自動(dòng)化測試·· 184

5.6.1 基于頁面或元素狀態(tài)的等待·· 184

5.6.2 重試機(jī)制·· 186

5.7 視覺驗(yàn)證測試·· 186

5.7.1 Appilitools Eyes 187

5.7.2 Recheck-Web· 190

5.8 自我修復(fù)測試·· 193

5.8.1 Healenium· 193

5.8.2 Recheck-Web· 198

5.9 無代碼/低代碼自動(dòng)化測試·· 201

第6章 移動(dòng)端測試技術(shù)精要··· 204

6.1 移動(dòng)端測試基礎(chǔ)技能·· 204

6.1.1 通過HTTP Debug Proxy深入了解移動(dòng)端測試·· 204

6.1.2 設(shè)計(jì)測試用例·· 205

6.2 移動(dòng)端測試進(jìn)階·· 208

6.2.1 UI自動(dòng)化測試·· 208

6.2.2 穩(wěn)定性測試·· 220

6.3 移動(dòng)端測試的左移和右移·· 224

第7章 接口測試技術(shù)精要··· 226

7.1 接口測試概述·· 226

7.2 接口測試關(guān)鍵技術(shù)·· 227

7.2.1 模擬協(xié)議客戶端·· 228

7.2.2 接口邏輯模擬·· 228

7.2.3 數(shù)據(jù)驅(qū)動(dòng)·· 236

7.2.4 測試斷言·· 239

7.2.5 解耦技術(shù)·· 239

7.2.6 關(guān)鍵字驅(qū)動(dòng)·· 242

7.2.7 測試報(bào)告·· 242

7.3 自動(dòng)化接口測試關(guān)鍵技術(shù)·· 243

7.4 接口測試的新技術(shù)·· 244

7.4.1 契約測試·· 244

7.4.2 流量錄制·· 245

7.4.3 精準(zhǔn)測試·· 246

7.5 接口測試平臺(tái)化·· 246

7.6 測試右移下的接口測試·· 249

第8章 代碼級(jí)測試技術(shù)精要··· 250

8.1 代碼級(jí)測試技術(shù)概述·· 250

8.2 靜態(tài)代碼分析技術(shù)·· 251

8.2.1 靜態(tài)代碼分析概述·· 251

8.2.2 靜態(tài)代碼分析的優(yōu)勢 253

8.2.3 靜態(tài)代碼分析方法的類型 254

8.2.4 靜態(tài)代碼分析的原理 256

8.2.5 常見靜態(tài)代碼分析工具 258

8.2.6 靜態(tài)代碼分析工具面臨的挑戰(zhàn)·· 261

8.2.7 靜態(tài)代碼分析工具的選擇 262

8.3 代碼評(píng)審技術(shù)·· 263

8.3.1 代碼評(píng)審概述·· 263

8.3.2 代碼評(píng)審的價(jià)值·· 263

8.3.3 代碼評(píng)審的類型·· 264

8.3.4 代碼評(píng)審的內(nèi)容·· 265

8.3.5 代碼評(píng)審最佳實(shí)踐·· 266

8.4 契約測試技術(shù)·· 274

8.4.1 契約測試概述·· 274

8.4.2 契約測試基本要素·· 277

8.4.3 繼承與契約·· 280

8.4.4 一些說明·· 283

8.5 單元測試技術(shù)·· 286

8.5.1 單元測試概述·· 286

8.5.2 設(shè)計(jì)方法·· 291

8.5.3 測試先行·· 300

8.6 智能測試技術(shù)·· 301

8.6.1 智能測試技術(shù)概述·· 301

8.6.2 智能測試技術(shù)階段劃分 302

8.6.3 智能測試關(guān)鍵技術(shù)·· 304

第9章 性能測試技術(shù)精要··· 312

9.1 性能市場現(xiàn)狀·· 312

9.2 RESAR性能工程概述·· 313

9.2.1 RESAR性能工程·· 313

9.2.2 性能容量規(guī)劃·· 326

9.2.3 性能工具解析·· 328

9.3 性能測試階段·· 329

9.3.1 需求階段·· 329

9.3.2 準(zhǔn)備階段·· 333

9.3.3 執(zhí)行階段·· 334

9.3.4 報(bào)告階段·· 336

9.3.5 環(huán)比階段·· 337

9.4 性能監(jiān)控分析邏輯·· 338

9.4.1 操作系統(tǒng)監(jiān)控分析邏輯 338

9.4.2 開發(fā)語言監(jiān)控分析邏輯 353

9.4.3 數(shù)據(jù)庫監(jiān)控分析邏輯 366

9.5 性能分析案例·· 391

9.5.1 場景運(yùn)行數(shù)據(jù)·· 391

9.5.2 分析系統(tǒng)架構(gòu)·· 391

9.5.3 拆分響應(yīng)時(shí)間·· 392

第10章 可靠性測試技術(shù)精要··· 420

10.1 可靠性測試概述·· 420

10.1.1 可靠性測試目的·· 420

10.1.2 可靠性測試設(shè)計(jì)·· 420

10.1.3 可靠性測試環(huán)境·· 422

10.1.4 可靠性測試執(zhí)行·· 422

10.1.5 可靠性測試工具·· 424

10.1.6 可靠性評(píng)估指標(biāo)·· 424

10.1.7 可靠性測試報(bào)告·· 426

10.2 可靠性設(shè)計(jì)驗(yàn)證·· 426

10.2.1 可靠性故障管理驗(yàn)證 427

10.2.2 可靠性冗余設(shè)計(jì)驗(yàn)證 428

10.2.3 可靠性容災(zāi)設(shè)計(jì)驗(yàn)證 428

10.2.4 可靠性過載控制驗(yàn)證 430

10.3 可靠性負(fù)向驗(yàn)證·· 431

10.3.1 故障模式·· 431

10.3.2 故障預(yù)案·· 432

10.3.3 混沌工程·· 433

第11章 自動(dòng)化測試框架設(shè)計(jì)和實(shí)現(xiàn)··· 435

11.1 自動(dòng)化測試框架概述·· 435

11.1.1 自動(dòng)化測試框架的定義 435

11.1.2 自動(dòng)化測試框架的目標(biāo) 435

11.1.3 自動(dòng)化測試框架和測試庫的區(qū)別·· 436

11.2 自動(dòng)化測試框架類型·· 437

11.2.1 簡單測試框架·· 437

11.2.2 x-Driven測試框架·· 439

11.2.3 混合型測試框架·· 442

11.2.4 不同類型測試框架對(duì)比 443

11.3 自動(dòng)化測試框架的通用實(shí)現(xiàn)原理·· 444

11.3.1 分層架構(gòu)模型·· 444

11.3.2 gTAA模型·· 446

11.3.3 通用型測試框架·· 447

11.4 自動(dòng)化測試框架開發(fā)設(shè)計(jì)指南 448

11.4.1 測試框架特征 448

11.4.2 代碼編寫原則·· 449

11.4.3 設(shè)計(jì)模式的使用·· 455

第12章 測試基礎(chǔ)設(shè)施能力建設(shè)··· 462

12.1 測試執(zhí)行環(huán)境架構(gòu)設(shè)計(jì)基礎(chǔ) 462

12.1.1 測試執(zhí)行環(huán)境概述 462

12.1.2 測試基礎(chǔ)架構(gòu)的設(shè)計(jì) 464

12.1.3 早期的測試基礎(chǔ)架構(gòu) 464

12.1.4 經(jīng)典的測試基礎(chǔ)架構(gòu) 465

12.2 測試執(zhí)行環(huán)境架構(gòu)設(shè)計(jì)進(jìn)階 466

12.2.1 基于Docker實(shí)現(xiàn)的SeleniumGrid測試基礎(chǔ)架構(gòu)·· 466

12.2.2 引入統(tǒng)一測試執(zhí)行平臺(tái)的測試基礎(chǔ)架構(gòu)·· 467

12.2 .3 基于Jenkins集群的測試基礎(chǔ)架構(gòu)·· 469

12.2.4 測試負(fù)載自適應(yīng)的測試基礎(chǔ)架構(gòu)·· 470

12.2.5 測試基礎(chǔ)架構(gòu)的選擇 471

12.3 實(shí)戰(zhàn)案例：大型全球化電商網(wǎng)站的測試基礎(chǔ)架構(gòu)設(shè)計(jì)·· 471

第13章 軟件測試新實(shí)踐和新方法··· 477

13.1 測試驅(qū)動(dòng)開發(fā)·· 477

13.1.1 測試驅(qū)動(dòng)開發(fā)的基本理念 477

13.1.2 UTDD、ATDD與BDD 479

13.1.3 測試驅(qū)動(dòng)開發(fā)的誤區(qū) 482

13.2 精準(zhǔn)測試·· 483

13.2.1 精準(zhǔn)測試的技術(shù)實(shí)現(xiàn) 484

13.2.2 精準(zhǔn)測試的前沿探索 487

13.3 代碼注入測試·· 489

13.3.1 灰盒測試面臨的挑戰(zhàn) 489

13.3.2 OOP的困境及AOP的解決思路·· 490

13.3.3 AOP基本概念及其啟示 493

13.3.4 基于AOP的測試實(shí)戰(zhàn)案例·· 498

13.3.5 AOP的局限性·· 512

13.4 混沌工程·· 512

13.4.1 混沌工程的起源·· 513

13.4.2 混沌工程的原則·· 513

13.4.3 攻防演練·· 515

13.4.4 混沌工程的相關(guān)工具 515

13.5 變異測試·· 518

13.5.1 變異測試的基本流程 519

13.5.2 變異測試的核心概念 520

13.5.3 變異測試的應(yīng)用案例 522

13.5.4 變異測試的工程化實(shí)踐 525

13.6 探索式測試·· 527

13.6.1 探索式測試的基本理念 527

13.6.2 探索式測試的思維模型 528

13.6.3 探索式測試的方法 529

13.6.4 探索式測試的開展 533

13.6.5 探索式測試的誤區(qū) 534

13.7 微服務(wù)測試·· 535

13.7.1 云原生和微服務(wù)·· 535

13.7.2 微服務(wù)測試體系建設(shè) 541

第14章 智能化測試技術(shù)··· 557

14.1 從測試視角看AI 557

14.2 基于數(shù)據(jù)的智能化測試·· 561

14.3 基于目標(biāo)的智能化測試·· 564

14.4 智能化測試的實(shí)踐·· 570

第15章 AI產(chǎn)品測試技術(shù)··· 574

15.1 AI產(chǎn)品測試技術(shù)概述·· 574

15.1.1 AI相關(guān)概念·· 574

15.1.2 AI產(chǎn)品對(duì)測試提出的挑戰(zhàn)·· 575

15.2 AI產(chǎn)品的功能測試·· 576

15.2.1 AI產(chǎn)品功能測試面臨的挑戰(zhàn)·· 577

15.2.2 蛻變測試·· 578

15.2.3 AI產(chǎn)品的測試評(píng)估 579

15.3 AI產(chǎn)品的非功能測試·· 583

15.3.1 模型相關(guān)的性能度量指標(biāo) 583

15.3.2 AI產(chǎn)品相關(guān)的性能指標(biāo) 586

15.3.3 倫理道德驗(yàn)證·· 587

第16章 大數(shù)據(jù)產(chǎn)品測試技術(shù)··· 591

16.1 大數(shù)據(jù)基礎(chǔ)知識(shí)·· 591

16.1.1 初識(shí)大數(shù)據(jù)·· 591

16.1.2 什么是大數(shù)據(jù)·· 592

16.1.3 主流大數(shù)據(jù)架構(gòu)和產(chǎn)品 593

16.2 大數(shù)據(jù)產(chǎn)品測試與傳統(tǒng)軟件測試 594

16.2.1 大數(shù)據(jù)產(chǎn)品測試與傳統(tǒng)軟件測試的聯(lián)系·· 594

16.2.2 大數(shù)據(jù)產(chǎn)品測試面臨的挑戰(zhàn)·· 595

16.3 測試數(shù)據(jù)的準(zhǔn)備·· 597

16.3.1 測試數(shù)據(jù)的重要性 597

16.3.2 數(shù)據(jù)準(zhǔn)備方式·· 597

16.4 大數(shù)據(jù)產(chǎn)品的功能性測試·· 602

16.4.1 ETL測試·· 602

16.4.2 數(shù)據(jù)質(zhì)量測試·· 607

16.5 大數(shù)據(jù)產(chǎn)品的非功能性測試 610

16.5.1 大數(shù)據(jù)產(chǎn)品非功能性測試面臨的挑戰(zhàn)·· 611

16.5.2 非功能性測試設(shè)計(jì) 612

第17章 區(qū)塊鏈測試技術(shù)·· 618

17.1 區(qū)塊鏈概述·· 618

17.1.1 區(qū)塊鏈定義·· 618

17.1.2 區(qū)塊鏈特征·· 618

17.1.3 區(qū)塊鏈分類·· 619

17.1.4 區(qū)塊鏈的應(yīng)用場景 619

17.2 區(qū)塊鏈測試技術(shù)總覽·· 620

17.2.1 區(qū)塊鏈通用架構(gòu)體系 621

17.2.2 區(qū)塊鏈四橫四縱測試體系·· 625

17.3 DApp測試·· 626

17.3.1 DApp概述·· 626

17.3.2 專項(xiàng)測試·· 630

17.3.3 異常測試·· 640

17.3.4 安全測試·· 644

17.3.5 穩(wěn)定性測試·· 648

17.4 分布式共識(shí)測試·· 651

17.4.1 常見共識(shí)算法·· 651

17.4.2 專項(xiàng)測試·· 654

17.4.3 異常測試·· 667

17.4.4 安全測試·· 676

17.4.5 穩(wěn)定性測試·· 681

17.5 智能合約測試·· 685

17.5.1 智能合約·· 685

17.5.2 專項(xiàng)測試·· 696

17.5.3 異常測試·· 709

17.5.4 安全測試·· 715

17.5.5 穩(wěn)定性測試·· 729

17.6 P2P網(wǎng)絡(luò)測試·· 731

17.6.1 P2P· 731

17.6.2 專項(xiàng)測試·· 738

17.6.3 異常測試·· 745

17.6.4 安全測試·· 752

17.6.5 穩(wěn)定性測試·· 760

第18章 圖形圖像相關(guān)應(yīng)用的測試技術(shù)實(shí)踐··· 765

18.1 機(jī)器視覺產(chǎn)品的測試概述·· 765

18.1.1 機(jī)器視覺概述·· 765

18.1.2 測試機(jī)器視覺產(chǎn)品的挑戰(zhàn)和策略·· 765

18.2 AI技術(shù)在畫質(zhì)增強(qiáng)方向的產(chǎn)品 767

18.2.1 畫質(zhì)客觀測試·· 777

18.2.2 畫質(zhì)測試的效能提升實(shí)踐 779

18.3 AI技術(shù)在人臉識(shí)別方向的產(chǎn)品 780

18.3.1 人臉解鎖概述·· 780

18.3.2 AI技術(shù)在人群畫像、人群追蹤客流技術(shù)方向綜合應(yīng)用的產(chǎn)品·· 787

第19章 大模型賦能下的測試智能化··· 790

19.1 大模型和大語言模型·· 790

19.1.1 大語言模型與代碼生成 791

19.1.2 多模態(tài)大模型·· 794

19.2 大模型時(shí)代的智能化測試·· 795

19.2.1 軟件測試本質(zhì)探討 796

19.2.2 更聰明的猴子·· 798

19.3 大模型智能化測試的探索實(shí)戰(zhàn) 799

19.3.1 智能探索型測試·· 799

19.3.2 測試用例生成·· 803

19.3.3 測試結(jié)果分析和診斷建議 805

19.3.4 利用Hydra Lab搭建智能化測試平臺(tái)·· 805

第20章 XRunner應(yīng)用案例··· 809

20.1 信息系統(tǒng)領(lǐng)域性能保障痛點(diǎn) 809

20.1.1 業(yè)務(wù)挑戰(zhàn)·· 809

20.1.2 技術(shù)挑戰(zhàn)·· 810

20.1.3 工具挑戰(zhàn)·· 810

20.2 解決思路·· 812

20.2.1 技術(shù)突破·· 812

20.2.2 業(yè)務(wù)突破·· 814

20.2.3 工具突破·· 815

20.3 案例·· 815

20.3.1 背景簡介·· 815

20.3.2 壓測需求·· 816

20.3.3 壓測目標(biāo)·· 816

20.3.4 壓測方案·· 816

20.3.5 壓測方法和范圍·· 816

20.4 實(shí)踐后的效果對(duì)比與總結(jié)·· 818

20.4.1 壓測結(jié)果··· 818

20.4.2 總結(jié)報(bào)告·· 820