芯片峰會
您正在使用IE低版瀏覽器,為了您的雷鋒網賬號安全和更好的產品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
人工智能開發者 正文
發私信給skura
發送

0

深度學習必懂的13種概率分布

本文作者:skura 2019-10-21 19:35
導語:面向深度學習研究者的基本分布概率教程

作為機器學習從業者,你需要知道概率分布相關的知識。這里有一份最常見的基本概率分布教程,大多數和使用 python 庫進行深度學習有關。

概率分布概述

深度學習必懂的13種概率分布

  • 共軛意味著它有共軛分布的關系。

在貝葉斯概率論中,如果后驗分布 p(θx)與先驗概率分布 p(θ)在同一概率分布族中,則先驗和后驗稱為共軛分布,先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這里

  • 多分類表示隨機方差大于 2。

  • n 次意味著我們也考慮了先驗概率 p(x)。

  • 為了進一步了解概率,我建議閱讀 [pattern recognition and machine learning,Bishop 2006]。

分布概率與特征

1.均勻分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py 

均勻分布在 [a,b] 上具有相同的概率值,是簡單概率分布。

深度學習必懂的13種概率分布

2.伯努利分布(離散)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py 

  • 先驗概率 p(x)不考慮伯努利分布。因此,如果我們對最大似然進行優化,那么我們很容易被過度擬合。

  • 利用二元交叉熵對二項分類進行分類。它的形式與伯努利分布的負對數相同。

深度學習必懂的13種概率分布

3.二項分布(離散)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py 

  • 參數為 n 和 p 的二項分布是一系列 n 個獨立實驗中成功次數的離散概率分布。

  • 二項式分布是指通過指定要提前挑選的數量而考慮先驗概率的分布。

深度學習必懂的13種概率分布

4.多伯努利分布,分類分布(離散)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py 

  • 多伯努利稱為分類分布。

  • 交叉熵和采取負對數的多伯努利分布具有相同的形式。

深度學習必懂的13種概率分布

5.多項式分布(離散)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py 

多項式分布與分類分布的關系與伯努爾分布與二項分布的關系相同。

深度學習必懂的13種概率分布

6.β分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py 

  • β分布與二項分布和伯努利分布共軛。

  • 利用共軛,利用已知的先驗分布可以更容易地得到后驗分布。

  • 當β分布滿足特殊情況(α=1,β=1)時,均勻分布是相同的。

深度學習必懂的13種概率分布

7.Dirichlet 分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py 

  • dirichlet 分布與多項式分布是共軛的。

  • 如果 k=2,則為β分布。

深度學習必懂的13種概率分布

8.伽馬分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py 

  • 如果 gamma(a,1)/gamma(a,1)+gamma(b,1)與 beta(a,b)相同,則 gamma 分布為β分布。

  • 指數分布和卡方分布是伽馬分布的特例。

深度學習必懂的13種概率分布

9.指數分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py 

指數分布是 α 為 1 時 γ 分布的特例。

深度學習必懂的13種概率分布

10.高斯分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py 

高斯分布是一種非常常見的連續概率分布。

深度學習必懂的13種概率分布

11.正態分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py 

正態分布為標準高斯分布,平均值為 0,標準差為 1。

深度學習必懂的13種概率分布

12.卡方分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py 

  • k 自由度的卡方分布是 k 個獨立標準正態隨機變量的平方和的分布。

  • 卡方分布是 β 分布的特例

深度學習必懂的13種概率分布

13.t 分布(連續)

代碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py 

t 分布是對稱的鐘形分布,與正態分布類似,但尾部較重,這意味著它更容易產生遠低于平均值的值。

深度學習必懂的13種概率分布

via:https://github.com/graykode/distribution-is-all-you-need

雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知

深度學習必懂的13種概率分布
分享:
相關文章

文章點評:

表情
最新文章
請填寫申請人資料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經綁定,現在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說
浙江十一选五开奖直播