本書涵蓋數(shù)值分析、統(tǒng)計(jì)計(jì)算的核心內(nèi)容,既包含一些經(jīng)典的數(shù)值方法,又系統(tǒng)地介紹了統(tǒng)計(jì)計(jì)算中的新方法。本書共8章,內(nèi)容包括計(jì)算統(tǒng)計(jì)引論、矩陣計(jì)算、函數(shù)逼近與最小二乘法、方程與方程組的數(shù)值解法、數(shù)值積分與數(shù)值微分、馬爾可夫鏈蒙特卡洛模擬、EM優(yōu)化算法、組合優(yōu)化與啟發(fā)式算法等。
本書結(jié)合理論算法、計(jì)算機(jī)程序與計(jì)算機(jī)專業(yè)領(lǐng)域應(yīng)用案例,較為全面地介紹數(shù)值計(jì)算方法和統(tǒng)計(jì)計(jì)算方法,讓學(xué)生真正了解計(jì)算統(tǒng)計(jì)中重要算法的基本思想,掌握相關(guān)程序的編寫和培養(yǎng)學(xué)生的編程思維,使其具備解決復(fù)雜工程問題的能力。本書除附了Python程序外,還可提供MATLAB部分程序,適合計(jì)算機(jī)類新工科專業(yè)本科生及研究生使用,而且對數(shù)學(xué)、統(tǒng)計(jì)、科學(xué)計(jì)算等專業(yè)學(xué)生也有參考價(jià)值。
新書具有鮮明的理論與應(yīng)用相結(jié)合特色,融合經(jīng)典計(jì)算方法和較新的統(tǒng)計(jì)計(jì)算方法,創(chuàng)設(shè)了計(jì)算統(tǒng)計(jì)在計(jì)算機(jī)中綜合應(yīng)用案例,具有很好的專業(yè)針對性,系統(tǒng)介紹核心理論、算法與應(yīng)用,適合于計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)專業(yè)本科生及研究生。
習(xí)近平總書記指出,我們對高等教育的需要比以往任何時(shí)候都更加迫切,對科學(xué)知識和卓越人才的渴求比以往任何時(shí)候都更加強(qiáng)烈。鐘登華院士認(rèn)為,新工科是基于國家戰(zhàn)略發(fā)展新需求、國際競爭新形勢、立德樹人新要求而提出的我國工程教育改革方向。面對第四次工業(yè)革命,新工科應(yīng)該積極應(yīng)對變化,引領(lǐng)創(chuàng)新,探索不斷變化背景下的工程教育新理念、新結(jié)構(gòu)、新模式、新質(zhì)量和新體系。新工科教育的最終目的是培養(yǎng)能適應(yīng)和引領(lǐng)未來發(fā)展的創(chuàng)新型工程人才。
多學(xué)科交叉融合將成為未來工程發(fā)展的顯著趨勢,復(fù)雜性是現(xiàn)代工程問題的本質(zhì)特征,綠色化、信息化和智能化將對未來工程產(chǎn)生十分重要的影響,倫理問題將成為未來工程發(fā)展必須高度重視的內(nèi)容。在大數(shù)據(jù)時(shí)代催生的巨量人才缺口背景下,數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能、智能科學(xué)與技術(shù)專業(yè)應(yīng)運(yùn)而生,它們屬于典型的數(shù)學(xué)、統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)等多學(xué)科交叉融合的新興工科專業(yè)。
圖靈獎(jiǎng)得主吉姆·格雷(Jim Gray)將科學(xué)研究分為實(shí)驗(yàn)、理論、計(jì)算和數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)四類范式。作為新工科專業(yè)的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)集多范式于一身。信息技術(shù)新工科產(chǎn)學(xué)研聯(lián)盟發(fā)布的《數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)建設(shè)方案(建議稿)》的培養(yǎng)目標(biāo)中要求學(xué)生掌握面向數(shù)據(jù)應(yīng)用的統(tǒng)計(jì)學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)以及應(yīng)用領(lǐng)域?qū)W科的基礎(chǔ)理論和方法,并能利用統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)的基本理論、方法對數(shù)據(jù)進(jìn)行深度分析和產(chǎn)品化開發(fā)。
在大數(shù)據(jù)時(shí)代,計(jì)算統(tǒng)計(jì)(Computational Statistics)正是由以計(jì)算密集為特征的統(tǒng)計(jì)方法及其支持理論所構(gòu)成的一門學(xué)科,它融合了多學(xué)科交叉融合的領(lǐng)域,通常包含科學(xué)計(jì)算中的數(shù)值計(jì)算和統(tǒng)計(jì)計(jì)算的理論與算法等,將數(shù)學(xué)、信息科學(xué)、計(jì)算科學(xué)等完美融合,已經(jīng)成為現(xiàn)代數(shù)據(jù)科學(xué)的重要支柱。
在數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能、智能科學(xué)與技術(shù)等新工科專業(yè)開設(shè)計(jì)算統(tǒng)計(jì)課程,對于支撐復(fù)合型專業(yè)人才培養(yǎng)目標(biāo)十分重要。但是,面臨的最大問題是無法找到適合培養(yǎng)目標(biāo)的計(jì)算統(tǒng)計(jì)課程教材。國外的《計(jì)算統(tǒng)計(jì)》和《統(tǒng)計(jì)計(jì)算:使用R》教材主要面向統(tǒng)計(jì)學(xué)專業(yè)的學(xué)生,大多使用MATLAB程序或R程序,翻譯教材也比較難懂。
國內(nèi)的《數(shù)值分析》和《計(jì)算方法》等教材,對于數(shù)學(xué)思維的培養(yǎng)非常重要。從國內(nèi)研究現(xiàn)狀和以往的教學(xué)經(jīng)驗(yàn)看,學(xué)生普遍認(rèn)為這些教材理論性太強(qiáng),對數(shù)學(xué)基礎(chǔ)要求較高,學(xué)起來比較吃力。較多例題和習(xí)題偏推導(dǎo),還有些數(shù)字特別復(fù)雜的計(jì)算題,不利于學(xué)生鞏固知識!稊(shù)值分析》教材側(cè)重代數(shù)數(shù)值算法,缺少統(tǒng)計(jì)計(jì)算內(nèi)容,這對后續(xù)學(xué)習(xí)機(jī)器學(xué)習(xí)及其數(shù)據(jù)統(tǒng)計(jì)分析課程的作用有限!稊(shù)值分析》類教材中的案例以及單一的教學(xué)模式也無法適應(yīng)新工科人才培養(yǎng)的需求。
本書借鑒了國內(nèi)外經(jīng)典教材中的相關(guān)內(nèi)容,吸收了較新的高級統(tǒng)計(jì)和優(yōu)化方法,采用通俗易懂的語言由淺入深地介紹統(tǒng)計(jì)計(jì)算和計(jì)算統(tǒng)計(jì)中的理論方法,有利于學(xué)生統(tǒng)計(jì)思維、計(jì)算思維與科學(xué)計(jì)算能力的養(yǎng)成。本書具有鮮明的理論與應(yīng)用相結(jié)合的特色,融合經(jīng)典計(jì)算方法和較新的統(tǒng)計(jì)計(jì)算方法,創(chuàng)設(shè)了計(jì)算統(tǒng)計(jì)在計(jì)算機(jī)中綜合應(yīng)用案例,具有很好的專業(yè)針對性。在矩陣計(jì)算中,介紹了用于網(wǎng)頁排序的PageRank計(jì)算方法。在馬爾可夫鏈蒙特卡洛方法中,介紹了自然語言處理領(lǐng)域中的文本主題模型等。
本書由汪文義統(tǒng)稿、定稿,宋麗紅編寫了第1~4章,汪文義編寫了第5~8章,李佳負(fù)責(zé)校對。本書入選江西師范大學(xué)2020年度本科規(guī)劃教材立項(xiàng),得到國家自然科學(xué)基金(62267004,62067005)和江西省普通本科高校教育教學(xué)改革研究課題理工融合、科魂匠心視域下計(jì)算統(tǒng)計(jì)課程混合式教學(xué)模式改革與實(shí)踐(JXJG2326)、混合式課程精準(zhǔn)教學(xué)模式構(gòu)建與實(shí)踐(JXJG22244)的資助。
本書系統(tǒng)介紹核心理論、算法與應(yīng)用,適用于計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)等專業(yè)本科生及研究生。
作者2025年1月
第1章計(jì)算統(tǒng)計(jì)引論1
1.1科學(xué)研究范式與科學(xué)計(jì)算1
1.1.1科學(xué)研究范式1
1.1.2科學(xué)計(jì)算的興起和發(fā)展3
1.1.3計(jì)算統(tǒng)計(jì)的主要研究對象4
1.1.4科學(xué)計(jì)算的誤差7
1.2統(tǒng)計(jì)基礎(chǔ)14
1.2.1隨機(jī)變量和概率分布14
1.2.2似然推斷18
1.2.3貝葉斯推斷18
1.2.4統(tǒng)計(jì)極限理論19
1.3計(jì)算統(tǒng)計(jì)軟件20
1.3.1Python軟件20
1.3.2R軟件26
1.3.3MATLAB軟件26
1.4擴(kuò)展閱讀27
1.5習(xí)題27第2章矩陣計(jì)算29
2.1內(nèi)積與范數(shù)29
2.1.1向量的內(nèi)積與范數(shù)29
2.1.2矩陣的內(nèi)積與范數(shù)32
2.2逆矩陣37
2.2.1逆矩陣的定義與性質(zhì)37
2.2.2矩陣求逆引理37
2.2.3可逆矩陣的求逆方法38
2.3矩陣微商41
2.3.1向量的微商41
2.3.2矩陣的微商及其性質(zhì)43
2.4矩陣特征值計(jì)算45
2.4.1特征值及其性質(zhì)45
2.4.2冪法47
2.5矩陣特征值計(jì)算的應(yīng)用50
2.5.1網(wǎng)頁排序問題50
2.5.2網(wǎng)頁排序算法51
2.6擴(kuò)展閱讀53
2.7習(xí)題53第3章函數(shù)逼近與最小二乘法56
3.1插值法56
3.1.1插值問題的提出56
3.1.2多項(xiàng)式插值56
3.1.3拉格朗日插值57
3.1.4牛頓插值62
3.1.5埃爾米特插值66
3.2插值法在圖像處理中的應(yīng)用69
3.2.1雙線性插值69
3.2.2插值法應(yīng)用70
3.3函數(shù)逼近71
3.3.1函數(shù)逼近與函數(shù)空間71
3.3.2函數(shù)內(nèi)積與范數(shù)72
3.3.3正交函數(shù)與正交多項(xiàng)式74
3.3.4最佳逼近與最小二乘法82
3.4函數(shù)逼近的應(yīng)用87
3.4.1回歸分析和回歸模型87
3.4.2回歸參數(shù)的估計(jì)89
3.4.3參數(shù)估計(jì)量的性質(zhì)92
3.4.4多元線性回歸模型的統(tǒng)計(jì)檢驗(yàn)94
3.4.5多元線性回歸模型應(yīng)用96
3.5擴(kuò)展閱讀97
3.6習(xí)題98第4章方程與方程組的數(shù)值解法100
4.1非線性方程的數(shù)值解法100
4.1.1方程求根問題100
4.1.2二分法101
4.1.3不動(dòng)點(diǎn)迭代法及其收斂性103
4.1.4迭代收斂的加速方法109
4.1.5自適應(yīng)運(yùn)動(dòng)估計(jì)算法(Adam)111
4.1.6牛頓法112
4.1.7弦截法與拋物線法116
4.2非線性方程組的數(shù)值解法118
4.2.1非線性方程組118
4.2.2多元不動(dòng)點(diǎn)迭代法119
4.2.3牛頓迭代法120
4.2.4牛頓迭代法變形121
4.3方程和方程組的數(shù)值解法的應(yīng)用124
4.3.1極大似然估計(jì)問題124
4.3.2極大似然估計(jì)的迭代求解125
4.4擴(kuò)展閱讀127
4.5習(xí)題127第5章數(shù)值積分與數(shù)值微分129
5.1數(shù)值積分概論129
5.1.1數(shù)值積分的基本思想129
5.1.2代數(shù)精度的概念130
5.1.3插值型求積公式132
5.1.4求積公式的余項(xiàng)132
5.1.5插值型求積公式的收斂性與穩(wěn)定性134
5.2牛頓柯特斯公式135
5.2.1柯特斯系數(shù)與辛普森公式135
5.2.2偶數(shù)階求積公式的代數(shù)精度136
5.2.3牛頓柯特斯公式的余項(xiàng)137
5.3復(fù)合求積公式138
5.3.1復(fù)合梯形公式138
5.3.2復(fù)合辛普森公式139
5.4龍貝格求積公式140
5.4.1梯形法的遞推法140
5.4.2外推技巧140
5.4.3龍貝格算法142
5.5高斯求積公式143
5.5.1一般理論143
5.5.2高斯勒讓德求積公式147
5.5.3高斯切比雪夫求積公式148
5.5.4高斯拉蓋爾求積公式149
5.5.5高斯埃爾米特求積公式150
5.6數(shù)值微分151
5.6.1中點(diǎn)方法與誤差分析151
5.6.2插值型的求導(dǎo)公式152
5.6.3數(shù)值微分的外推方法152
5.7數(shù)值積分在貝葉斯推斷中的應(yīng)用153
5.7.1(共軛)先驗(yàn)分布與后驗(yàn)分布153
5.7.2后驗(yàn)分布的數(shù)值計(jì)算155
5.8擴(kuò)展閱讀156
5.9習(xí)題156第6章馬爾可夫鏈蒙特卡洛模擬159
6.1馬爾可夫鏈159
6.1.1馬爾可夫過程及其概率分布159
6.1.2多步轉(zhuǎn)移概率矩陣160
6.1.3遍歷理論164
6.2馬爾可夫鏈蒙特卡洛模擬167
6.2.1馬爾可夫鏈蒙特卡洛模擬算法167
6.2.2收斂性評價(jià)與分析172
6.2.3參數(shù)設(shè)置、結(jié)果與示例174
6.3馬爾可夫鏈蒙特卡洛模擬在文本分類中的應(yīng)用179
6.3.1文本主題模型179
6.3.2文本主題模型參數(shù)估計(jì)算法180
6.4擴(kuò)展閱讀185
6.5習(xí)題185第7章EM優(yōu)化算法187
7.1EM算法187
7.1.1缺失數(shù)據(jù)與邊際化187
7.1.2EM算法188
7.1.3EM算法的收斂性189
7.1.4方差估計(jì)192
7.2EM算法的變形193
7.2.1MCEM算法193
7.2.2ECM算法194
7.3EM算法在高斯混合分布參數(shù)學(xué)習(xí)中的應(yīng)用195
7.3.1高斯混合分布195
7.3.2高斯混合分布參數(shù)估計(jì)算法195
7.4擴(kuò)展閱讀199
7.5習(xí)題199第8章組合優(yōu)化與啟發(fā)式算法200
8.1組合優(yōu)化200
8.1.1P問題200
8.1.2NP問題與NPC問題200
8.2啟發(fā)式算法202
8.2.1局部搜索算法202
8.2.2模擬退火算法203
8.2.3遺傳算法204
8.3啟發(fā)式算法在回歸模型變量(模型)選擇中的應(yīng)用207
8.3.1多元線性回歸模型的變量(模型)選擇問題207
8.3.2部分子集回歸208
8.4擴(kuò)展閱讀210
8.5習(xí)題210附錄212
附錄A部分習(xí)題答案212
附錄BPython程序示例215參考文獻(xiàn)240