貝氏推論

貝氏推論（英語：Bayesian inference）是推論統計的一種方法。這種方法使用貝氏定理，在有更多證據及資訊時，更新特定假設的概率。貝氏推論是統計學（特別是數理統計學）中很重要的技巧之一。貝葉斯更新（Bayesian updating）在序列分析中格外的重要。貝氏推論應用在許多的領域中，包括科學、工程學、哲學、醫學、體育運動、法律等。在決策論的哲學中，貝氏推論和主觀概率有密切關係，常常稱為貝氏機率。

貝氏定理是由統計學家托馬斯·貝葉斯（Thomas Bayes）根據許多特例推導而成，後來被許多研究者推廣為一普遍的定理。

貝葉斯定理的簡介

貝氏定理的圖示說明。在表中，3,1,2及6的值是在對應條件及情形下的比重。分數中的概率是指陰影部份的概率。可以看出P(A|B) P(B) = P(B|A) P(A) i.e. P(A|B) = P(B|A) P(A)/P(B)。類似的方式可以證明P(Ā|B) = P(B|Ā) P(Ā)/P(B)

主條目：貝氏定理

參見：貝氏機率

正式的介紹貝氏推論

貝氏推論將後驗概率（考慮相關證據或數據後，某一事件的條件概率）作為先驗概率（考慮相關證據或數據前，某一事件不確定性的概率）和似然函數（由觀測數據的統計模型（概率模型）推導而得）這兩個前因導出的結果。貝氏推論根據貝氏定理計算後驗概率：

$P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}$

其中

• $\textstyle \mid$表示將某事件成立作為條件（因此$\textstyle (A\mid B)$表示「假定 B 事件成立下，A 事件發生」）
• $\textstyle H$表示假說，其概率可能會受實驗數據（以下會稱為證據）影響。一般來說會有許多互相矛盾的假說，任務是要確認哪一個假說可能性最高。
• $\textstyle E$表示證據。證據對應新的數據，也就是還沒用來計算先驗概率的數據。
• $\textstyle P(H)$，先驗概率，是觀察到數據$\textstyle E$（目前證據）之前，假說$\textstyle H$的概率。
• $\textstyle P(H\mid E)$，後驗概率，是在給定證據 $\textstyle E$之後，假說$\textstyle H$的概率，是希望求得的資訊，也就是在有目前證據時，假說$\textstyle H$的概率。
• $\textstyle P(E\mid H)$是假定 $\textstyle H$成立時，觀察到$\textstyle E$的概率。在$\textstyle H$不變時，這是$\textstyle E$的函數，也是似然函數，指出在給定假設下假說和證據的相容程度。似然函數是證據$\textstyle E$的函數，而後驗概率是假說$\textstyle H$的函數。
• $\textstyle P(E)$有時會稱為邊緣似然率。此系數對所有可能的假說都是定值，因此在判斷不同假說的相對概率時，不會用到這個系數中。

針對不同的$\textstyle H$數值，只有$\textstyle P(H)$和$\textstyle P(E\mid H)$（都在分子）會影響$\textstyle P(H\mid E)$的數值。假說的後驗概率和其先驗概率（固有似然率）和新產生的似然率（假說和新得到證據的相容性）乘積成正比。

貝氏定理也可以寫成下式：

$P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)$

其中系數$\textstyle {\frac {P(E\mid H)}{P(E)}}$可以解釋成$E$對$H$概率的影響。

非正式的介紹貝氏推論

貝氏推論最關鍵的點是可以利用貝氏定理結合新的證據及以前的先驗概率，來得到新的概率（這和頻率學派推論相反，頻率論推論只考慮證據，不考慮先驗概率）。

而且貝氏推論可以迭代使用：在觀察一些證據後得到的後設概率可以當作新的先驗概率，再根據新的證據得到新的後設概率。因此貝氏定理可以應用在許多不同的證據上，不論這些證據是一起出現或是不同時出現都可以，這個程序稱為貝葉斯更新（Bayesian updating）。

貝氏推論的描述

定義

• $x$是數據點，可能是一個有許多數值形成的向量。
• $\theta$是數據點分佈的參數，也就是說$x\sim p(x\mid \theta )$。這也有可能是參數形成的向量。
• $\alpha$是參數的超參數，也就是說$\theta \sim p(\theta \mid \alpha )$。這也有可能是超參數形成的向量。
• $\mathbf {X}$，由觀測到的$n$個數據點組成的一組數據，$x_{1},\ldots ,x_{n}$.
• ${\tilde {x}}$，需預測分佈的新數據點。

貝氏推論

• 先驗分布是在觀測資料前的參數分佈$p(\theta \mid \alpha )$。
• 先驗分布可能不容易確認，此時可以用傑佛里斯事前分配在更新較新的觀測值時，先獲得後驗分佈。
• 取樣分佈是以觀測資料的條件，其參數的分佈$p(\mathbf {X} \mid \theta )$。這也稱為似然函數，尤其是視為是參數的函數時，有時會寫成$\operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )$。
• 邊緣似然率（有時也稱為證據）是觀測資料在參數上的邊緣分佈$p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta$。
• 後驗分布是考慮觀測資料後的參數分佈。可以由貝氏定理確認，也是貝氏推論的核心：

$p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )$

若用文字表示，即為「後驗和先驗及似然率的乘積成正比」，有時也會寫成「後驗 = 先驗 × 似然率，在有證據的情形下」。

應用

電腦應用

貝氏推論有在人工智能及專家系統上應用。自1950年代後期開始，貝氏推論技巧就是電腦模式識別技術中的基礎。現在也越來越多將貝氏推論和以模擬為基礎的蒙地卡羅方法合併使用的應用，因為一些模雜的模型無法用貝葉斯分析得到解析解，因圖模式結構可以配合一些快速的模擬方式（例如吉布斯抽樣或是其他Metropolis–Hastings演算法）。因為上述理由，貝氏推論在系統發生學研究社群中來越受到重視，許多的應用可以用同時估測許多人口和進化參數。

歷史

「貝葉斯」是指托馬斯·貝葉斯（1702–1761），他證明了一個特例（現在知道是貝氏定理的特例），不過皮埃爾-西蒙·拉普拉斯（1749–1827）推導了此定理的一般版本，應用在天體力學、醫療統計學、可靠度及法學上。早期的貝氏推論是用拉普拉斯不充分理由原則所得的均勻先驗，稱為逆向概率（因為是由觀測值倒推參數的歸納推理，或是從結果倒推到原因）。在1920年代以後，逆向概率很大程度的被另一群稱為頻率論統計的方式取代。

二十世紀時，拉普拉斯的概念往下分支為二派，開始出現主觀貝葉斯方法及客觀貝葉斯方法。客觀貝葉斯方法（或是不提供資訊的貝葉斯方法）中，統計分析只依照假設的模型、分析的資料以及給定先驗分布的方式（不同的客觀貝葉斯方法會有不同給定先驗分布的方式）。主觀貝葉斯方法（或是提供資訊的貝葉斯方法）中，先驗的規格依信念（也是分析希望要呈現的主張）而定，信念可以由專家整理資訊後總結產生，也可以根據以往的研究等。

1980年代發現了馬爾科夫蒙地卡羅方法，讓貝葉斯方法的研究及應用有大幅的發展，除去了許多運算上的問題，也有越來越多人願意參與非標準的複雜問題。不過雖然貝葉斯方法的研究仍在成長，大部份大學本科的教學仍是以頻率論統計為基礎 。不過貝葉斯方法也廣為許多領域接受及應用，例如在機器學習的領域中。

相關條目

• 貝氏統計
• 貝氏定理
• 貝斯分析，ISBA期刊
• 貝葉斯分級模型
• 貝氏機率
• 歸納概率
• 國際貝斯分析協會（ISBA）
• 傑佛里斯事前分配
• 貝斯結構性時間序列（BSTS）
• 蒙提霍爾問題