貝葉斯統(tǒng)計(jì)這個(gè)名字取自長老會(huì)牧師兼業(yè)余數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes，17021761)，他最先推導(dǎo)出了貝葉斯定理，該定理于其逝世后的1763年發(fā)表。但真正開發(fā)貝葉斯方法的第一人是Pierre-Simon Laplace(17491827)，因此將其稱為拉普拉斯統(tǒng)計(jì)也許更合理。盡管如此，我們將遵循斯蒂格勒的同名法則，在本書的其余部分使用傳統(tǒng)的貝葉斯方法命名。從貝葉斯和拉普拉斯(以及許多其他人)的開創(chuàng)性時(shí)代至今，發(fā)生了很多事情，特別是開發(fā)了很多新想法，其中大部分是由計(jì)算機(jī)技術(shù)推動(dòng)和/或?qū)崿F(xiàn)的。本書旨在提供一個(gè)關(guān)于此主題的現(xiàn)代視角，涵蓋從基礎(chǔ)知識(shí)到使用現(xiàn)代貝葉斯工作流和工具等各方面內(nèi)容。
本書旨在幫助貝葉斯初學(xué)者成為中級(jí)從業(yè)者。這并不代表你讀完本書后會(huì)自動(dòng)達(dá)到中等水平，但希望本書能夠引導(dǎo)你朝富有成效的方向發(fā)展。如果你通讀這本書，認(rèn)真做練習(xí)，把書中的想法應(yīng)用于自己的問題，并繼續(xù)向他人學(xué)習(xí)，那么將更容易進(jìn)步。
要特別指出，本書面向?qū)��?yīng)用貝葉斯模型解決數(shù)據(jù)分析問題感興趣的貝葉斯從業(yè)者。通常，學(xué)術(shù)界和工業(yè)界是有區(qū)別的。但本書沒有做這樣的區(qū)分，因?yàn)闊o論是大學(xué)生還是就職于公司的機(jī)器學(xué)習(xí)工程師，都能從本書中受益。
我們的目標(biāo)是：閱讀本書后，你不僅能夠熟悉貝葉斯推斷，而且能輕松地對(duì)貝葉斯模型進(jìn)行探索性分析，包括模型比較、模型診斷、模型評(píng)估和結(jié)果交流等。我們計(jì)劃從現(xiàn)代計(jì)算的角度講授這些內(nèi)容。對(duì)我們來說，如果采用計(jì)算方法，貝葉斯統(tǒng)計(jì)會(huì)更易于理解和應(yīng)用。例如，我們更關(guān)注實(shí)證檢查假設(shè)被推翻的原因，而不試圖從理論上證明假設(shè)是正確的。這也意味著我們會(huì)使用許多可視化的表達(dá)手段。通讀后，建模方法的其他含義將會(huì)逐步變得清晰。
如本書標(biāo)題所表明的，書中使用Python編程語言。更具體地說，本書將主要使用PYMC3[138]和TensorFlow Probability(TFP)[47]作為模型構(gòu)建和推斷的主要概率編程語言(PPL)，并使用ArviZ作為探索性分析貝葉斯模型的主要軟件庫[91]。本書并未對(duì)所有Python PPL進(jìn)行詳盡評(píng)述和比較，因?yàn)檫x擇較多而且發(fā)展迅速。反之，我們專注于貝葉斯分析的實(shí)踐方面。編程語言和軟件庫只是用于達(dá)到目的的手段。
雖然本書選擇的編程語言是Python及少量軟件庫，但書中涵蓋的統(tǒng)計(jì)和建模概念基本與編程語言和軟件庫無關(guān)，可以應(yīng)用于許多計(jì)算機(jī)編程語言，如R、Julia和Scala等。因此，雖不了解Python但掌握上述編程語言的讀者，也可以從本書中受益。當(dāng)然，如果能夠在自身熟悉的編程語言中找到等效的軟件庫或代碼進(jìn)行實(shí)踐則最好。此外，我們鼓勵(lì)將本書中的Python示例代碼轉(zhuǎn)換為其他編程語言或框架。有意者請(qǐng)與我們聯(lián)系。
知識(shí)準(zhǔn)備
為使本書幫助初學(xué)者向中級(jí)從業(yè)者轉(zhuǎn)變，希望讀者能事先接觸乃至掌握貝葉斯統(tǒng)計(jì)的基本概念(如先驗(yàn)、似然和后驗(yàn))，以及一些基本統(tǒng)計(jì)概念(如隨機(jī)變量、概率分布、期望等)。對(duì)于技藝生疏的讀者，第11章回顧了基本統(tǒng)計(jì)概念。有關(guān)這些概念的更深入解釋，參見Understanding Advanced Statistical Methods[158]和Introduction to Probability[21]。后者更具理論性，但兩者都比較重視應(yīng)用。
如果你因?qū)嵺`或訓(xùn)練對(duì)統(tǒng)計(jì)學(xué)有很好的理解，但從未接觸過貝葉斯統(tǒng)計(jì)學(xué)，也可以將本書作為對(duì)該主題的入門讀物，只是開始幾章(主要是前兩章)的節(jié)奏會(huì)有點(diǎn)快，可能需要通讀數(shù)次。
我們希望你能夠熟悉一些數(shù)學(xué)概念，如積分、導(dǎo)數(shù)和對(duì)數(shù)的性質(zhì)等，寫作水平最好能夠達(dá)到技術(shù)高中或者科學(xué)、技術(shù)、工程和數(shù)學(xué)專業(yè)的大學(xué)第一學(xué)年以上的水平。若需要復(fù)習(xí)這些數(shù)學(xué)概念，推薦3Blue1Brown的系列視頻。這里不要求做過多數(shù)學(xué)練習(xí)，但要求使用代碼和交互式計(jì)算環(huán)境來理解和解決問題。本書中出現(xiàn)數(shù)學(xué)公式是為了幫助你更好地理解貝葉斯統(tǒng)計(jì)建模。
本書假定讀者具備一定的計(jì)算機(jī)編程能力。使用Python語言時(shí)，還會(huì)使用一些專門的軟件庫，特別是概率編程語言。在閱讀本書之前，至少利用概率編程語言擬合一個(gè)模型，對(duì)你會(huì)有幫助，但也不是必須的。關(guān)于如何設(shè)置本書所需要的計(jì)算環(huán)境或Python參考，可以閱讀GitHub中的README.md，了解如何設(shè)置編碼環(huán)境。
閱讀方法
我們將使用模擬模型來解釋一些重要概念，而不會(huì)讓數(shù)據(jù)模糊了主要概念；然后使用真實(shí)數(shù)據(jù)集來近似一些實(shí)踐中會(huì)面臨的真實(shí)問題，如采樣問題、重參數(shù)化、先驗(yàn)/后驗(yàn)校準(zhǔn)等。鼓勵(lì)你閱讀本書時(shí)，在交互式編程環(huán)境中運(yùn)行這些模型。
強(qiáng)烈建議你閱讀并使用各種軟件庫的在線文檔。盡管我們已經(jīng)盡最大努力使本書涵蓋海量信息，從而自成一體，但在網(wǎng)上還有大量關(guān)于這些工具的文檔，參考這些文檔有助于學(xué)習(xí)本書，并幫助你獨(dú)立使用這些工具。
第1章回顧、簡介貝葉斯推斷中的基本和核心概念。該章中的概念將在本書其余部分被反復(fù)提及和應(yīng)用。
第2章介紹了貝葉斯探索性分析(Exploratory Analysis of Bayesian)模型。介紹了許多屬于貝葉斯工作流但并非推斷本身的概念。該章中的概念將在本書其余部分被反復(fù)應(yīng)用和提及。
第3章開始介紹特定模型架構(gòu)。介紹了線性回歸(Linear Regression)模型，并為接下來的5章奠定了基礎(chǔ)。第3章還全面介紹了本書使用的主要概率編程語言：PyMC3和TFP。
第4章擴(kuò)展了線性回歸模型，并討論了更高級(jí)的主題，如魯棒回歸、分層模型和模型重參數(shù)化。本章使用PyMC3和TFP。
第5章介紹了基函數(shù)，并著重介紹了線性模型的擴(kuò)展樣條，使我們能夠構(gòu)建更靈活的模型。本章使用PyMC3。
第6章側(cè)重于時(shí)間序列模型，包括從時(shí)間序列建模為回歸模型，以及更復(fù)雜的模型[如ARIMA和線性高斯?fàn)顟B(tài)空間(Gaussian State Space)模型]等內(nèi)容。本章使用TFP。
第7章介紹了名為貝葉斯加性回歸樹的非參數(shù)模型。本章討論了這個(gè)模型的可解釋性和變量的重要性。本章使用PyMC3。
第8章聚焦于逼近貝葉斯計(jì)算(Approximate Bayesian Computation，ABC)框架，該框架有助于解決沒有明確似然函數(shù)的問題。本章使用PyMC3。
第9章概述了端到端的貝葉斯工作流。本章展示了商業(yè)應(yīng)用中的觀測(cè)性研究和科研環(huán)境中的試驗(yàn)性研究。本章使用PyMC3。
第10章深入探討了概率編程語言，展示了各種不同的概率編程語言。
第11章為閱讀其他章節(jié)提供輔助，各主題之間相關(guān)度不高，因此可以有選擇地閱讀。
強(qiáng)調(diào)內(nèi)容
本書對(duì)文本突出強(qiáng)調(diào)的方式是用粗體。粗體文本表示強(qiáng)調(diào)新概念或概念的重點(diǎn)。當(dāng)提到特定代碼時(shí)，也會(huì)突出顯示，如pymc3.sample。
代碼
書中的代碼塊用陰影框標(biāo)記，左側(cè)帶有行號(hào)，并使用章節(jié)編號(hào)后跟代碼塊編號(hào)進(jìn)行引用，如代碼清單0.1所示。
代碼清單0.1

1 for i in range(3):
2 print(i**2)

0
1
4

每次看到代碼塊時(shí)都會(huì)想查看運(yùn)行結(jié)果。結(jié)果通常體現(xiàn)為一張圖、一個(gè)數(shù)字、一份代碼輸出或一個(gè)表格。反之，書中大部分圖都有相關(guān)的代碼，有時(shí)會(huì)省略一些代碼以節(jié)省篇幅，但你可以在GitHub庫(https://github.com/BayesianModelingandComputationInPython)中訪問完整代碼。該庫還包括一些用于練習(xí)的附加材料。其中的筆記還可能包含其他圖、代碼或輸出，這些內(nèi)容未出現(xiàn)在書中但用于開發(fā)書中所見模型。GitHub中還包含說明，指導(dǎo)如何根據(jù)已有設(shè)備創(chuàng)建標(biāo)準(zhǔn)計(jì)算環(huán)境。
方框
本書使用方框簡要提及重要的統(tǒng)計(jì)、數(shù)學(xué)或(Python)編程概念。書中還會(huì)提供參考資料，供你繼續(xù)學(xué)習(xí)相應(yīng)主題。
中心極限定理(Central Limit Theorem)
在概率論中，中心極限定理規(guī)定：在某些情況下，添加獨(dú)立隨機(jī)變量時(shí)，即使原始變量本身不呈正態(tài)分布，但它們的適當(dāng)歸一化總和也會(huì)趨于正態(tài)分布。
設(shè)X1，X2，X3，…獨(dú)立同分布，平均值為，標(biāo)準(zhǔn)差為。當(dāng)n 時(shí)，有：

Introduction to Probability [21]一書介紹了許多概率基礎(chǔ)理論，可用于實(shí)踐。
代碼導(dǎo)入
在本書中，導(dǎo)入Python包時(shí)使用代碼清單0.2所示的約定。
代碼清單0.2

1 # 基本的
2 import numpy as np
3 from scipy import stats
4 import pandas as pd
5 from patsy import bs, dmatrix
6 import matplotlib.pyplot as plt
7
8 # 貝葉斯模型探索性分析
9 import arviz as az
10
11 # 概率編程語言
12 import bambi as bmb
13 import pymc3 as pm
14 import tensorflow_probability as tfp
15
16 tfd = tfp.distributions
17
18 # 計(jì)算后端
19 import theano
20 import theano.tensor as tt
21 import tensorflow as tf

本書還會(huì)使用ArviZ樣式：az.style.use("arviz-grayscale")。
由于本書是黑白印刷，本書中的彩圖為方便讀者閱讀，以彩插形式放在封底二維碼，讀者可自行下載。
與本書互動(dòng)
本書的受眾不是貝葉斯讀者，而是貝葉斯從業(yè)者。我們將提供材料，幫助練習(xí)貝葉斯推斷和貝葉斯模型探索性分析。由于利用計(jì)算和代碼是現(xiàn)代貝葉斯從業(yè)者所需要的核心技能，因此將提供示例，以供你在多次嘗試中建立思維。對(duì)于本書代碼，我們期望你閱讀、執(zhí)行、修改，并再次執(zhí)行多次。我們只能在本書中展示有限示例，但你可以使用計(jì)算機(jī)自己制作無數(shù)的示例。通過這種方式，你不僅可以學(xué)習(xí)統(tǒng)計(jì)概念，還可以學(xué)習(xí)如何使用計(jì)算機(jī)將這些概念應(yīng)用于實(shí)踐。
計(jì)算機(jī)還將使你擺脫印刷文本的限制，例如缺乏顏色、缺乏動(dòng)畫和并排比較�，F(xiàn)代貝葉斯從業(yè)者利用監(jiān)視器和快速可計(jì)算雙重檢查提供的靈活性，本書專門創(chuàng)建了示例以允許相同級(jí)別的交互性。每章的末尾都設(shè)有練習(xí)，用于測(cè)試學(xué)習(xí)和實(shí)踐成果。練習(xí)按難易程度標(biāo)記為簡單(E)、中等(M)和困難(H)，可根據(jù)需要酌情解答。
本書參考文獻(xiàn)可下載封底二維碼獲取。
致謝
感謝我們的朋友和同事，他們犧牲了大量時(shí)間和精力來閱讀早期書稿，提出了建設(shè)性的反饋，幫助我們改進(jìn)了本書，也幫助我們修復(fù)了書中的許多錯(cuò)誤。非常感謝：
Oriol Abril-Pla、Alex Andorra、Paul Anzel、Dan Becker、Tomás Capretto、Allen Downey、Christopher Fonnesbeck、Meenal Jhajharia、Will Kurt、Asael Matamoros、Kevin Murphy以及Aki Vehtari。