累積分配函數
Cumulative Distribution Functions
上一篇以機率質量函數描述離散型隨機變數，把機率逐點記在值域的質點上。但機率質量函數只定義在離散型隨機變數上，Definition 2.2 所分出的另一型並不適用。
另一方面，Definition 2.1 要求對任意 $x\in\mathbb{R}$，能使 $X(\omega)\leqslant x$ 的樣本點所形成的集合都是事件，故 $\mathbb{P}(X\leqslant x)$ 對每一個實數 $x$ 都有定義。把 $x$ 看成變數，這個機率本身就是一個定義在實數上的函數，且不必事先區分 $X$ 屬於哪一型。
若 $X$ 為定義於機率空間 $(S,\mathcal{F},\mathbb{P})$ 上之隨機變數，則定義函數
\[F_{\sssig X}(x)=\mathbb{P}(X\leqslant x),\ x\in\mathbb{R}\]我們稱 $F_{\sssig X}(x)$ 為 $X$ 的累積分配函數 (cumulative distribution function, cdf) 或簡稱為分配函數 (distribution function, df)。
累積分配函數有一些地方需要注意:
(1) 累積分配函數 $F_{\sssig X}(x)$ 是一種定義在實數 $\mathbb{R}$ 上的函數，且將其對應到 $[0,1]$ 區間中的函數，可以記為
\[F\colon\mathbb{R}\to[0,1]\]有些教科書將 cdf 的定義寫為
這個版本中，如果搭配 $X^{\sssig -1}(\cdot)$ 的定義，我們將更容易看出 cdf 是如何將一個實數範圍上的集合，對應回樣本點進行機率的計算的。
(2) 累積分配函數的定義中，並不限制 $X$ 是一個離散型隨機變數，或是連續型隨機變數，但是由於 $\mathbb{P}(X\leqslant x)$ 的運算，在離散型隨機變數上是採用累加的方式，故亦有教科書認為應分開定義，且應翻譯為累加分配函數。
連續型隨機變數中的累積分配函數，其運算性質是採用微積分中的積分 (integration)，雖然其本質仍為累加，但由於運算細節有所不同，故許多教科書並不將其認為是一種加總 (summation)。
若 $F_{\sssig X}(x)$ 為 $X$ 之累積分配函數，則其具以下性質:
- $$ 0\leqslant F_{\sssig X}(x)\leqslant 1,\ \forall x\in\mathbb{R} $$
- $F_{\sssig X}(x)$ 非遞減 (non-decreasing)
- $F_{\sssig X}(x)$ 右連續 (right-continuous)
- 若 $X$ 為離散型隨機變數，$F_{\sssig X}(x)$ 為一階梯函數 (step function)
- $$ \lim_{x\to-\infty}F_{\sssig X}(x)=0,\quad\lim_{x\to\infty}F_{\sssig X}(x)=1 $$$$ \begin{gathered} \lim_{x\to-\infty}F_{\sssig X}(x)=0\\[0.5em] \lim_{x\to\infty}F_{\sssig X}(x)=1 \end{gathered} $$
累積分配函數是一種累積的機率，以離散型隨機變數而言，其定義 $\mathbb{P}(X\leqslant x)$ 代表「小於等於 $x$ 的所有機率總和」，即
\[\sum_{t\leqslant x}\mathbb{P}(X=t)\]故其當然介在 $0$ 至 $1$ 之間。
又因為其機率為累積 (或累加)，隨著 $x$ 的增長，函數值 $F_{\sssig X}(x)$ 只會向上增加或持平，故其累積分配函數當然具有非遞減之性質。至於右連續，累積本身只保證非遞減，尚須用到機率的連續性: 令 $x_1>x_2>\cdots$ 為任一遞減至 $x$ 的數列，則 $\lbrace X\leqslant x_n\rbrace$ 為一非遞增的事件序列，其極限為 $\lbrace X\leqslant x\rbrace$，故由單調事件序列的機率極限可得
\[\lim_{n\to\infty}F_{\sssig X}(x_n)=\mathbb{P}(X\leqslant x)=F_{\sssig X}(x)\]此即右連續。
事實上在連續型隨機變數中 $F_{\sssig X}(x)$ 是一連續函數 (即左連續且右連續)；而僅右連續的狀況發生在離散型隨機變數，或稍後的章節中會談到的混合型隨機變數中。
在離散型隨機變數中，$x$ 在累加到具有機率的質點時，其 cdf 會具跳躍式的成長；接著到 $x$ 再累加至具有機率的下一個質點前，由於沒有新的質點，小於等於 $x$ 的機率總和並不會成長，故其函數值會維持水平的狀態，這樣的函數便被稱為階梯函數。
Theorem 2.1 第 (4) 款尚需一個前提: 值域中的質點在每一個有界區間內都只有有限多個，等價於值域在 $\mathbb{R}$ 中沒有聚點。只要求每一個質點都是孤立點並不夠。取值域為 $\lbrace\,1/n\mid n=1,2,\ldots\,\rbrace$、$p_{\sssig X}(1/n)=2^{-n}$，每一個質點都有一個不含其他質點的鄰域，但 $0$ 的右側任一鄰域內都有無窮多個跳躍，含 $0$ 的區間無法分成有限多段水平線段，$F_{\sssig X}$ 因而不是階梯函數；此時第 (1)、(2)、(3)、(5) 四款仍然成立。
若箱中有四顆大小形狀完全相同、分別編號 $0$ 至 $3$ 的球，若 $X$ 表示隨機從中一次抽取兩顆球的號碼總和，則試列出且畫出其 cdf。
$X$ 的 pmf 已於 Example 2.2 求得: $p_{\sssig X}(3)=\frac{2}{6}=\frac{1}{3}$，其餘四個質點 $1,2,4,5$ 的機率各為 $\frac{1}{6}$。$F_{\sssig X}(x)$ 為小於等於 $x$ 的各質點機率之總和，以 pmf 寫出即
\[F_{\sssig X}(x)=\sum_{t\leqslant x}p_{\sssig X}(t)\]五個質點由小至大依序累加，可得
\[F_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} 0, & x<1\\[0.55em] \dfrac{1}{6}, & 1\leqslant x<2\\[0.55em] \dfrac{2}{6}, & 2\leqslant x<3\\[0.55em] \dfrac{4}{6}, & 3\leqslant x<4\\[0.55em] \dfrac{5}{6}, & 4\leqslant x<5\\[0.55em] 1, & 5\leqslant x \end{array} \right.\]
五個質點 $1,2,3,4,5$ 同時是各段的分界，由於定義取的是小於等於，分界一律歸入右側的那一段: $x=1$ 時 $p_{\sssig X}(1)$ 已計入，$F_{\sssig X}(1)=\frac{1}{6}$，與 $x$ 自右側趨近 $1$ 的極限相同，此即 Theorem 2.1 第 (3) 款右連續在本題的具體情形。最外側的 $x<1$ 與 $5\leqslant x$ 兩段則分別恆為 $0$ 與 $1$，Theorem 2.1 第 (5) 款的兩個極限在本題即由這兩段給出。
上圖是典型的離散型 cdf，每一階的跳躍點，都對應到原本的 pmf 中的機率質點，且躍升的高度即是該點的機率，故我們可以由離散型 cdf 轉換為其對應的 pmf，如下圖:
關於躍升的高度是否恰為該質點的機率，讀者可以在 Demos 的 From pmf to cdf 中改變表中各點的機率值，觀察 cdf 上各階的躍升高度隨之改變；移動當前的 $x$ 逐一掃過各個質點，即可逐點核對。
Suppose that a random variable $X$ has probability mass function
\[p_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \left(\dfrac{1}{2}\right)^{x}, & x=1,2,\ldots\\[0.6em] 0, & \text{otherwise} \end{array} \right.\]- Determine the cumulative distribution function of $X$.
- \[F_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} 0, & x<1\\[0.7em] \dfrac{\frac{1}{2}\left(1-\left(\frac{1}{2}\right)^{\lfloor x\rfloor}\right)}{1-\frac{1}{2}} =1-\left(\dfrac{1}{2}\right)^{[x]}, & x\geqslant 1 \end{array} \right.\]\[F_{\sssig X}(x)= \left\lbrace \begin{array}{@{}l@{}} 0,\ \ x<1\\[0.7em] \dfrac{\frac{1}{2}\left(1-\left(\frac{1}{2}\right)^{\lfloor x\rfloor}\right)}{1-\frac{1}{2}}\\[0.35em] \quad =1-\left(\dfrac{1}{2}\right)^{[x]},\ \ x\geqslant 1 \end{array} \right.\]
其中 $\lfloor x\rfloor$ 表取底函數 (floor function)，亦稱為高斯符號 (記為 $[x]$)，表不大於 $x$ 之最大整數。
若 $X$ 為一隨機變數，且其 cdf 為
\[F_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} 0, & x<0\\[0.4em] 1, & x\geqslant 0 \end{array} \right.\]則求其 pmf 為何？
$F_{\sssig X}(x)$ 在 $x=0$ 處發生一高度為 $1$ 之跳躍，故可由此得知
\[p_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} 1, & x=0\\[0.4em] 0, & \text{otherwise} \end{array} \right.\]本篇小結
累積分配函數定義為 $F_{\sssig X}(x)=\mathbb{P}(X\leqslant x)$，定義域是整條實數線，函數值落在 $[0,1]$ 之中。它的定義並不限制 $X$ 的型態，離散型與連續型都適用，這是它與只定義在離散型上的機率質量函數最大的不同。
Theorem 2.1 列出五項性質: 函數值介於 $0$ 與 $1$ 之間、非遞減、右連續、$X$ 為離散型時是階梯函數，以及兩端的極限分別為 $0$ 與 $1$。前兩項可由「累積」二字直接看出，右連續另需機率的連續性，第 (4) 款另需質點不聚集的前提。
離散型 cdf 的每一階都對應到一個質點，躍升的高度就是該點的機率，故 pmf 與 cdf 之間可以互推。Example 2.2 (Continued) 由 pmf 累加得到 cdf，Example 2.5 則由 cdf 的單一跳躍回頭求得 pmf。下一篇進入連續型隨機變數的機率密度函數。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- Sheldon Ross. 2019. A First Course in Probability. 10th ed. Pearson.
- Morris H. DeGroot and Mark J. Schervish. 2012. Probability and Statistics. 4th ed. Pearson.
- Vijay K. Rohatgi and A. K. Md. Ehsanes Saleh. 2015. An Introduction to Probability and Statistics. 3rd ed. Wiley.