連續型隨機變數與機率密度函數
Continuous Random Variables and Probability Density Functions
上一篇文章細講離散型隨機變數。離散型的機率集中在可逐一列出的單點上，因此事件機率可由 PMF 加總取得。若單點不具有正機率，機率便不再逐點相加，而要改由區間上的面積計算。
本篇討論的正是這種情形。若一個隨機變數的累積分配函數可由某個非負函數積分而成，則稱此隨機變數為連續型隨機變數。該非負函數稱為機率密度函數 (probability density function, PDF)。
由累積分配函數到密度
令 $X$ 為隨機變數，$F_X$ 為其累積分配函數。
\[F_X(x)=\mathbb{P}(X\leq x)\]若存在非負函數 $f_X$，使得對任意 $x\in\mathbb{R}$ 皆有
\[F_X(x)=\int_{-\infty}^{x} f_X(t)\,dt\]則 $F_X(x)$ 可被視為密度函數從 $-\infty$ 到 $x$ 的累積面積。
令 $X$ 為隨機變數。若存在非負函數 $f_X$，使得對任意 $x\in\mathbb{R}$ 皆有
\[F_X(x)=\mathbb{P}(X\leq x)=\int_{-\infty}^{x} f_X(t)\,dt\]則稱 $X$ 為連續型隨機變數 (continuous random variable)，並稱 $f_X$ 為 $X$ 的機率密度函數 (probability density function, PDF)。
這裡的 PDF 並不是單點機率。$f_X(x)$ 描述的是機率在 $x$ 附近累積的快慢，而真正的機率仍然來自面積。因此 $f_X(x)$ 可以大於 $1$，只要整條曲線下方的總面積等於 $1$。
嚴格而言，並非所有連續的 CDF 都能由一般 PDF 積分表示。測度論中還有更細緻的分解。本章先採統計課程中最常使用的情形，也就是可由密度函數描述的連續型隨機變數。
PDF 的基本性質
PDF 必須滿足兩個基本條件。第一，密度不可為負。第二，整條實數線下方的總面積必須為 $1$。
若 $f_X$ 為連續型隨機變數 $X$ 的 PDF，則
\[f_X(x)\geq 0,\qquad x\in\mathbb{R}\]且
\[\int_{-\infty}^{\infty} f_X(x)\,dx=1\]反過來，若一個非負函數在整條實數線上的積分為 $1$，則它可以作為某個連續型隨機變數的 PDF。這一點和 PMF 的條件十分相似。離散型把所有單點機率加總為 $1$，連續型則把整條密度曲線下方的面積積分為 $1$。
區間機率
連續型隨機變數的事件機率通常以區間為單位計算。若 $a<b$，則
\[\mathbb{P}(a<X\leq b) = F_X(b)-F_X(a) = \int_a^b f_X(t)\,dt\]
這個公式說明，PDF 不直接給出單點機率，而是透過積分給出區間機率。接下來若只看 $x$ 附近的一小段區間，就可把一般的端點 $a,b$ 改寫成 $x$ 與 $x+\Delta x$。這裡的 $\Delta x$ 表示沿著數線往右推進的一段很短距離。
若區間很短，且 $f_X$ 在該處變化不大，則
\[\mathbb{P}(x<X\leq x+\Delta x) = \int_x^{x+\Delta x} f_X(t)\,dt \approx f_X(x)\Delta x\]因此 $f_X(x)$ 可視為單位長度附近所累積的機率量。真正具有機率意義的是 $f_X(x)$ 乘上寬度後所形成的面積。
由 CDF 求得 PDF
離散型的 PMF 可由 CDF 的跳躍高度求得。連續型也有相應的關係，只是這裡看的不是跳躍高度，而是 CDF 的局部變化率。回到 Fig. 2.11，當門檻由 $x$ 推進到 $x+\Delta x$ 時，CDF 的增加量為
\[\Delta F = F_X(x+\Delta x)-F_X(x) = \mathbb{P}(x<X\leq x+\Delta x)\]若 $\Delta x$ 很小，則這個面積近似於
\[\Delta F\approx f_X(x)\Delta x\]將兩邊同除以 $\Delta x$，可得
\[\frac{\Delta F}{\Delta x}\approx f_X(x)\]若令這段寬度越來越小，也就是令 $\Delta x\downarrow 0$，則上式左側會逐漸逼近 $F_X$ 在 $x$ 的變化率。若 $F_X$ 在 $x$ 可微，則這個極限就是導數。
\[\lim_{\Delta x\downarrow 0} \frac{F_X(x+\Delta x)-F_X(x)}{\Delta x} = F_X'(x)\]因此，在 $F_X$ 可微之處，
\[f_X(x)=F_X'(x)\]也就是說，PDF 可視為 CDF 在該點的斜率。CDF 給出的是 $X$ 落在 $(-\infty,x]$ 中的機率；PDF 則描述當位置在 $x$ 附近微小推進時，這個機率增加得多快。
由前面的面積圖可知，連續型隨機變數的機率來自密度曲線下方的面積。若只看一個單點 $x$，這個點無法形成一段區間長，自然也就構不成面積。
這正是連續型隨機變數與離散型隨機變數最大的差異之一。離散型可以在某個點上具有正機率；連續型則必須透過一段區間累積機率。
單點機率為零
對任意實數 $a$，連續型隨機變數滿足
\[\mathbb{P}(X=a)=\int_a^a f_X(t)\,dt=0\]
這不表示 $a$ 不可能成為觀測值，而是說單點在連續模型中不具有正機率。這一點延續了第一章中飛鏢落點的直覺校準。因此，對連續型隨機變數而言，端點是否包含通常不會改變區間機率。
\[\mathbb{P}(a<X\leq b) = \mathbb{P}(a\leq X\leq b) = \mathbb{P}(a<X<b) = \mathbb{P}(a\leq X<b)\]這些式子在離散型情形中通常不可任意互換，因為離散型可能在端點上具有正機率。
令 $X$ 的 PDF 為
\[f_X(x)= \left\{ \begin{array}{c@{\quad}l} 1, & 0<x<1,\\[0.35em] 0, & \text{otherwise} \end{array} \right.\]由於 $f_X(x)\geq 0$，且
\[\int_{-\infty}^{\infty} f_X(x)\,dx = \int_0^1 1\,dx = 1\]故 $f_X$ 可作為 PDF。其 CDF 為
\[F_X(x)= \left\{ \begin{array}{c@{\quad}l} 0, & x\leq 0,\\[0.35em] x, & 0<x<1,\\[0.35em] 1, & x\geq 1 \end{array} \right.\]若要求 $X$ 落在 $0.2$ 到 $0.7$ 之間的機率，則由區間面積可得
\[\mathbb{P}(0.2<X\leq 0.7) = \int_{0.2}^{0.7}1\,dt = 0.5\]這個例子也說明，均勻分佈的密度曲線是平的，但機率並不在單點上。機率來自區間長度，區間越長，累積到的面積越大。
若想調整密度圖形並觀察面積如何形成 CDF，可以參考互動展示 From PDF to CDF。
本篇小結
連續型隨機變數的機率不以單點相加計算，而是以密度函數的面積計算。PDF 滿足
\[f_X(x)\geq 0,\qquad \int_{-\infty}^{\infty} f_X(x)\,dx=1\]區間機率由積分求得。
\[\mathbb{P}(a<X\leq b) = \int_a^b f_X(t)\,dt\]若 CDF 在某點可微，PDF 也可由 CDF 的斜率求得。
\[f_X(x)=F_X'(x)\]離散型與連續型的差異，不在於 CDF 的定義不同，而在於計算事件機率的方式不同。離散型以 PMF 加總，連續型以 PDF 積分。下一篇期望值，隨機變數的平均位置會開始討論如何用這些機率函數計算分佈的代表數值。
參考文獻與延伸閱讀
- Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, chapters on random variables and distribution functions.
- William Feller, An Introduction to Probability Theory and Its Applications, Volume I, 3rd ed., Wiley, 1968, chapters on distribution functions and continuous distributions.
- George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002, sections on continuous random variables and probability density functions.
- Sheldon M. Ross, A First Course in Probability, 10th ed., Pearson, 2019, chapters on continuous random variables.
- Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019, chapters on PDFs and CDFs.