Teaching Topics(教學主題)
本區塊整理機率論 (probability theory)、數理統計 (mathematical statistics)、統計推論 (statistical inference)、電腦實驗 (computer experiments) 與高斯過程 (Gaussian processes) 等主題式短篇教材。文章以課程講義為基礎重新精簡,保留必要的定義、定理與證明,同時加入更適合網頁閱讀的例子與導讀。
部分主題會搭配互動展示 (interactive demos)。同一篇文章可能出現在不同課程中,依據不同課程的綱要,可能以不同的順序被串聯在該課程的內容當中。
機率概論
第 1 章 事件機率與條件化 9 個主題
- 主題 1 機率論的起點,隨機實驗、樣本空間與事件 — 機率論可從一個可重複、結果不確定、但所有可能結果可先描述的隨機實驗開始。樣本空間負責收納所有可能結果,事件則是我們真正關心的那些結果集合。
- 主題 2 哪些集合可以被賦予機率,事件集合族與 $\sigma$-域 — 樣本空間只說明隨機實驗的所有可能結果;事件集合族則說明哪些由結果構成的集合值得被賦予機率。本篇以 $\sigma$-域作為可測事件的清單,說明可測空間與機率空間的第一層結構。
- 主題 3 機率如何被指定,古典機率、計數測度與幾何機率 — 公理化機率給出合法機率函數的條件,卻不直接說明機率應該怎麼算。本篇以古典機率、計數測度、幾何機率、客觀機率與主觀機率說明不同的指定方式。
- 主題 4 由公理推出機率運算,餘事件、單調性與加法原理 — Kolmogorov 公理本身很短,卻能推出一整套機率運算規則。本篇從虛無事件、有限可加性與餘事件公式開始,進一步整理單調性、加法原理、排容原理與常用機率不等式。
- 主題 5 條件機率,資訊進來以後,機率如何改變 — 條件機率描述在已知某個事件已經發生之後,我們如何重新評估另一個事件的機率。本篇從資訊的意義出發,介紹條件機率、乘法原理與廣義乘法原理。
- 主題 6 分割與全機率定理,從分類到加總 — 當樣本空間被一組互斥且周延的事件分割時,事件可以被拆成互斥片段;全機率定理將各來源的貢獻加總,並為辛普森悖論與貝氏定理提供共同骨架。
- 主題 7 分組、混合與辛普森悖論 — 同一個比較在每個分組內都成立,混合後卻可能反向。辛普森悖論說明,條件機率與全機率定理不只用來計算,也用來檢查比較是否公平。
- 主題 8 貝氏定理,資訊如何帶來更新 — 貝氏定理把全機率定理反過來讀。當某個結果已經被觀察到時,它說明我們如何重新分配對不同可能來源的相信程度。
- 主題 9 獨立性,資訊不再改變機率 — 獨立性描述的是一種特別的資訊關係。若知道事件 B 發生後,事件 A 的機率完全不變,則 B 對 A 沒有提供新的機率資訊。
第 2 章 隨機變數 7 個主題
- 主題 1 隨機變數,從樣本空間到數線 — 事件機率把事件送到機率數值;隨機變數則先把樣本點送到實數,使我們可以用數線、函數與微積分方法描述機率。
- 主題 2 累積分配函數如何累積機率 — CDF 描述隨機變數不超過門檻 x 的事件機率;離散型靠單點機率加總,連續型靠密度面積積分。
- 主題 3 離散型隨機變數與機率質量函數 — 離散型隨機變數的機率集中在有限或可數個取值上。PMF 記錄各單點機率,事件機率則由對應單點機率加總取得。
- 主題 4 連續型隨機變數與機率密度函數 — 連續型隨機變數的單點不具有正機率,事件機率改由密度函數在區間上的面積計算。PDF 可視為 CDF 的變化率,區間機率則由積分取得。
- 主題 5 期望值,隨機變數的平均位置 — 分佈說明隨機變數的機率如何分佈在數線上。期望值則依照這些機率作加權平均,給出隨機變數的平均位置。離散型以 PMF 加總,連續型以 PDF 積分。
- 主題 6 變異數與標準差 — 期望值給出隨機變數的平均位置。變異數則衡量隨機變數離開此平均位置的平均程度,標準差再把單位還原回原來的尺度。
- 主題 7 混合型隨機變數 — 混合型隨機變數同時具有單點機率與連續密度。CDF 可同時呈現跳躍與連續累積,計算時則把離散部分加總、連續部分積分。
