隨機變數的函數轉換: 一對一的情形
Transformations of a Random Variable: The One-to-One Case
上一篇以鐘形分配的經驗法則，直接說出期望值左右一個、兩個與三個標準差之內各涵蓋多少機率。到這裡為止，我們處理的都是同一個隨機變數自身的機率與量數。
本篇要看的是另一件事情。已知 $X$ 的機率分配，令 $Y=g(X)$，$Y$ 的機率分配是什麼？我們先說明 $Y$ 在什麼條件之下仍然是一個隨機變數，接著分離散型與連續型兩節，各介紹三種求法，並以四道例題示範。這幾道例題所出現的轉換，其 $g(\cdot)$ 都是一對一函數，反函數直接存在；反函數不存在時的做法留到下一篇。
我們在處理機率問題時，時常會遇到需要將隨機變數取一個函數而進行轉換的情況，若僅是要計算其轉換後的期望值，則 Theorem 2.9 便已足矣；但若我們進一步地想知道其機率分配，則我們便需要使用這個小節的內容。
整體而言，隨機變數的函數轉換之形式如下:
不難想像，$Y=g(X)$ 在此也將是一個隨機變數，此即以下定理。
若 $X$ 為一隨機變數，且函數 $g(\cdot)$ 為一定義在實數上的實值可測函數，則 $Y=g(X)$ 亦為隨機變數。
計算 $Y$ 的機率分配之方法眾多，以下分列之。
離散型的函數轉換
在隨機變數為離散的時候，我們有以下的幾種做法:
(1) 直接列表法
利用 $Y=g(X)$ 列出與每個 $X$ 對應的 $Y$ 值來看出機率，形式如下
| $X$ | $Y=g(X)$ | 機率 |
|---|---|---|
| $x_1$ | $y_1=g(x_1)$ | $\mathbb{P}(X=x_1)$ |
| $\vdots$ | $\vdots$ | $\vdots$ |
| $x_n$ | $y_n=g(x_n)$ | $\mathbb{P}(X=x_n)$ |
再把轉換後位置相同的質點合併，即得
| $Y$ | 機率 |
|---|---|
| $y_1$ | $\mathbb{P}(Y=y_1)$ |
| $\vdots$ | $\vdots$ |
| $y_n$ | $\mathbb{P}(Y=y_n)$ |
直接列表法適用於質點數量有限，即使窮舉也能輕鬆列出所有的機率時。
這個做法的正式定義，可以寫為如下:
\[\mathbb{P}(Y=y)=\sum_{t\,:\,g(t)=y}\mathbb{P}(X=t)\]Proof. 由於
\[\lbrace Y=y\rbrace=\bigcup_{t\,:\,g(t)=y}\lbrace X=t\rbrace\]且右側各個事件 $\lbrace X=t\rbrace$ 兩兩互斥，故由機率的可加性可以得到下式
原式得證。 $\square$
其原理是利用離散分配在每個質點上，都有對應的機率，直接列出所有轉換後對應的質點，並且合併轉換後位置相同的質點，得到對應轉換後的質點機率。
(2) pmf 法
令 $X$ 為離散型隨機變數，其 pmf 為 $p_{\sssig X}(x)$，且 $g(\cdot)$ 在 $X$ 的值域 $\mathcal{R}_{\sssig X}$ 上為一對一函數，若令 $Y=g(X)$，則
pmf 法適用於無法窮舉列完所有機率，但彼此間的函數轉換是一一對應，且可輕鬆得到反函數關係的時候。
與直接列表法的原理事實上相同，只是在 $g(\cdot)$ 是一對一函數時，利用 $Y=g(X)$ 的函數關係直接反求得到 $X=g^{-1}(Y)$ 的關係，並且因為 $g(\cdot)$ 本身一一對應，二者為等價事件，機率必定相等，從而得到 $Y$ 的 pmf。
也因為此方法乃是操作 $Y=g(X)$ 的方程式關係，因此亦被稱作方程式解。
(3) mgf 法
令 $Y=g(X)$，並且求出 $M_{\sssig Y}(t)=\mathbb{E}\bigl(e^{tY}\bigr)=\mathbb{E}\bigl(e^{t\,g(X)}\bigr)$，再從 mgf 的唯一性得知 $Y$ 的機率分配。然而，欲透過此方法得知 $Y$ 的機率分配，我們必須熟知隨機變數之函數轉換的 mgf，見下列定理。
令 $X$ 為一隨機變數，其 mgf 為 $M_{\sssig X}(t)$，且 $a, b$ 為實數，若令 $Y=aX+b$，則
\[M_{\sssig Y}(t)=e^{bt}\,M_{\sssig X}(at)\]Proof. 由 mgf 的定義可知
原式得證。 $\square$
令 $X$ 為一離散型隨機變數，且 pmf 為
\[p_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{x}{10}, & x=1, 2, 3, 4\\[0.7em] 0, & \text{o.w.} \end{array} \right.\]若令 $Y=2X+1$，則求 $Y$ 之機率分配。
直接列表法
| $X$ | $Y=2X+1$ | 機率 |
|---|---|---|
| $1$ | $3$ | $\frac{1}{10}$ |
| $2$ | $5$ | $\frac{2}{10}$ |
| $3$ | $7$ | $\frac{3}{10}$ |
| $4$ | $9$ | $\frac{4}{10}$ |
由此可得
\[p_{\sssig Y}(y)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{\,y-1\,}{20}, & y=3, 5, 7, 9\\[0.7em] 0, & \text{o.w.} \end{array} \right.\]pmf 法
由 Proposition 2.1 可知
由此可得
\[p_{\sssig Y}(y)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{\,y-1\,}{20}, & y=3, 5, 7, 9\\[0.7em] 0, & \text{o.w.} \end{array} \right.\]mgf 法
由 mgf 的定義可知
又 $X$ 的 mgf 為
故
則由 mgf 的唯一性可知 $Y$ 的 pmf 為
\[p_{\sssig Y}(y)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{\,y-1\,}{20}, & y=3, 5, 7, 9\\[0.7em] 0, & \text{o.w.} \end{array} \right.\]An urn contains five chips numbered $1$ through $5$. Suppose that two of the chips are selected at random and without replacement, and let $X=5$ when the sum of the two numbers drawn is even and $X=-3$ when that sum is odd. Determine the moment generating function of $X$.
我們將所有的可能號碼組合與機率，及其所對應的 $X$ 值列在下方:
| 號碼 | 機率 | $X$ |
|---|---|---|
| $(1, 2)$ | $1/10$ | $-3$ |
| $(1, 3)$ | $1/10$ | $5$ |
| $(1, 4)$ | $1/10$ | $-3$ |
| $(1, 5)$ | $1/10$ | $5$ |
| $(2, 3)$ | $1/10$ | $-3$ |
| $(2, 4)$ | $1/10$ | $5$ |
| $(2, 5)$ | $1/10$ | $-3$ |
| $(3, 4)$ | $1/10$ | $-3$ |
| $(3, 5)$ | $1/10$ | $5$ |
| $(4, 5)$ | $1/10$ | $-3$ |
則可以整理出 $X$ 的機率分配為
\[p_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{3}{5}, & x=-3\\[0.7em] \dfrac{2}{5}, & x=5\\[0.7em] 0, & \text{o.w.} \end{array} \right.\]由此可知
連續型的函數轉換
與離散變數相似，連續變數的情況我們有以下幾種做法:
(1) cdf 法
由於連續變數無法像離散變數一樣列表，故我們只能從函數關係的方程式下手，但又因為方程式解法乃是基於等式兩側機率相等所得到的結果，故我們在此是採用 cdf 累積的機率相等，而不是與離散分配使用 pmf。其形式如下:
上述的形式若寫為數學步驟則如下列步驟所示:
令 $X$ 為連續型隨機變數，其 cdf 為 $F_{\sssig X}(x)$，且 $g(\cdot)$ 在 $X$ 的值域 $\mathcal{R}_{\sssig X}$ 上為嚴格單調函數，若令 $Y=g(X)$，則第一個步驟為
第二個步驟為
\[\frac{d\,F_{\sssig Y}(y)}{d\,y}=f_{\sssig Y}(y)\]第一個步驟最後的條件分為保序函數 (order-preserving function) 和反序函數 (order-reversing function) 二種，對應到在 $g(X)\leqslant y$ 兩側同時取反函數 $g^{-1}(\cdot)$ 的步驟時，此二種函數的特性將使得反函數存在，並且取反函數後的結果便分別為 $X\leqslant g^{-1}(y)$ 及 $X\geqslant g^{-1}(y)$ 二種。保序函數可以簡單理解為遞增函數，而反序函數則可理解為遞減函數。
(2) Jacobian 法
Jacobian 法被譯為亞可比法，這個方法就是微積分中變數代換的章節中所使用的 Jacobian 法，二者並無二致，是將隨機變數的 pdf 視為一個單純的函數時應具有的自然性質。方法如下:
令 $X$ 為連續型隨機變數，其 pdf 為 $f_{\sssig X}(x)$，且 $g(\cdot)$ 在 $X$ 的值域 $\mathcal{R}_{\sssig X}$ 上為一對一函數，即反函數 $g^{-1}(\cdot)$ 存在，並要求 $g^{-1}(\cdot)$ 連續可微且導數處處不為零，若令 $Y=g(X)$，則第一個步驟為由 $Y=g(X)$ 反求得 $X=g^{-1}(Y)$，第二個步驟為
\[f_{\sssig Y}(y)=f_{\sssig X}\bigl(g^{-1}(y)\bigr)\,\bigl\lvert\mathbf{J}\bigr\rvert\]其中
\[\mathbf{J}=\frac{d\,g^{-1}(y)}{d\,y}\]上述的 $\lvert\cdot\rvert$ 為絕對值，我們可以將這個方法的流程理解為將原變數的 pdf 以新變數表示，再乘上原變數對新變數微分的絕對值。
然而很多時候 $g(\cdot)$ 的反函數不存在，這時也不用太擔心，我們只需將原先的隨機變數分段，直到該段中 $g(\cdot)$ 的反函數存在，分段轉換為新變數的 pdf 後，再以分段隨機變數的概念將各段連接起來即可。
這個概念被稱為分治法 (divide-and-conquer)，在電腦科學中是非常常使用的手段，特別是當子問題明顯地比原問題容易解決時，我們常常傾向分別解決多個子問題，而非一個困難的原問題；在這裡的情況則是分段求取新的 pdf 後，再行合併得到所求。
(3) mgf 法
此處的 mgf 法與離散變數的 mgf 法並無不同。事實上，我們在離散變數時也沒有限定該 mgf 所對應的隨機變數必須是離散或是連續，就連 Theorem 2.39 也沒有限制離散或連續，故這是一個離散與連續通用的方法。
Let
\[f_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} 2x, & \text{if }0<x<1\\[0.4em] 0, & \text{elsewhere} \end{array} \right.\]be the pdf of $X$.
- Compute $\mathbb{E}\left(\frac{1}{X}\right)$.
- Find the cdf and the pdf of $Y=\frac{1}{X}$.
- Compute $\mathbb{E}(Y)$ and compare this result with the answer obtained in (1).
(1) 由函數期望值可知
\[\mathbb{E}\Bigl(\frac{1}{X}\Bigr)=\int_{0}^{1}\frac{1}{x}\,2x\,dx=\bigl[2x\bigr]_{0}^{1}=2\](2) 由 $Y=\frac{1}{X}$ 可反求得 $X=\frac{1}{Y}$，故
\[\mathbf{J}=\frac{d\,x}{d\,y}=\frac{-1}{\,y^{2}\,}\]由 Proposition 2.3 可知
並可由 cdf 之定義可知
(3) 所求為
下面這一題承接 Example 2.31 的邏輯斯分配。
Suppose that $X$ has the logistic pdf
- Determine the distribution of $Y=(1+e^{-X})^{-1}$.
(4) cdf 法
由 cdf 之定義與 Example 2.31 第 (1) 小題已求得的 $F_{\sssig X}(x)=\frac{1}{\,1+e^{-x}\,}$ 可知
又在 $y\leqslant0$ 時 $F_{\sssig Y}(y)=0$、在 $y\geqslant1$ 時 $F_{\sssig Y}(y)=1$，故
\[Y\sim\mathcal{U}(0, 1)\]Jacobian 法
由 $Y=\frac{1}{\,1+e^{-X}\,}$ 可反求得 $X=\ln Y-\ln(1-Y)$，故
則由 Proposition 2.3 可知 $Y$ 之 pdf 為
故
\[Y\sim\mathcal{U}(0, 1)\]這題使用的函數 $g(\cdot)$ 比較特殊，是 $X$ 本身的 cdf (捨棄了 cdf 的意義而直接當成一個函數)，這時候得到的結果必定會是 $\mathcal{U}(0, 1)$ 分配。這個性質我們將在均勻分配的小節中提到，是一個特殊的機率性質。
這個性質對任何連續型隨機變數都成立，反過來走也可以由 $\mathcal{U}(0, 1)$ 回到原來的分配，正式的敘述如下。
若 $X$ 為連續型隨機變數，其 cdf 為 $F_{\sssig X}(\cdot)$，並依分位函數的取法令
則
(1) $U=F_{\sssig X}(X)$ 服從 $\mathcal{U}(0, 1)$。
(2) 若 $U$ 服從 $\mathcal{U}(0, 1)$，則 $F^{-1}_{\sssig X}(U)$ 的 cdf 為 $F_{\sssig X}$。
其中 $u=0$ 與 $u=1$ 兩個端點的機率為 $0$，因此 $F^{-1}_{\sssig X}$ 在這兩點上如何取值，都不會改變 $F^{-1}_{\sssig X}(U)$ 的分配。
Proof.
(1) 取定 $0<u<1$ 並令 $x_{\sssig u}=F^{-1}_{\sssig X}(u)$。由 $F_{\sssig X}$ 連續可知 $F_{\sssig X}(x_{\sssig u})=u$。$X\leqslant x_{\sssig u}$ 時由 $F_{\sssig X}$ 遞增可得 $F_{\sssig X}(X)\leqslant u$；反之 $X>x_{\sssig u}$ 而 $F_{\sssig X}(X)\leqslant u$ 時，由 $F_{\sssig X}$ 遞增可得 $F_{\sssig X}(X)\geqslant F_{\sssig X}(x_{\sssig u})=u$，故必有 $F_{\sssig X}(X)=u$，即 $X$ 落在 $(x_{\sssig u}, b]$ 之內，其中 $b=\sup\lbrace x\in\mathbb{R}\mid F_{\sssig X}(x)=u\rbrace$，而 $F_{\sssig X}$ 在該區間上恆為 $u$，此時
因此 $\lbrace U\leqslant u\rbrace$ 與 $\lbrace X\leqslant x_{\sssig u}\rbrace$ 至多相差一個機率為 $0$ 的事件，由此可得
此即 $\mathcal{U}(0, 1)$ 的 cdf。
(2) 先證對任一 $x\in\mathbb{R}$ 與 $0<u<1$，$F^{-1}_{\sssig X}(u)\leqslant x$ 若且唯若 $u\leqslant F_{\sssig X}(x)$。若 $u\leqslant F_{\sssig X}(x)$，則 $x$ 屬於 $\lbrace t\in\mathbb{R}\mid F_{\sssig X}(t)\geqslant u\rbrace$，由下確界的定義可得 $F^{-1}_{\sssig X}(u)\leqslant x$；反之若 $F^{-1}_{\sssig X}(u)\leqslant x$，由 $F_{\sssig X}$ 右連續可知該下確界本身也滿足 $F_{\sssig X}\bigl(F^{-1}_{\sssig X}(u)\bigr)\geqslant u$，再由 $F_{\sssig X}$ 遞增可得 $F_{\sssig X}(x)\geqslant u$。故
原式得證。 $\square$
若想實際操作這兩個方向，可以在互動展示 Probability Integral Transform and Inverse Transform Sampling 中調整 $u$，觀察標準柯西分配 (standard Cauchy distribution) 的 $F^{-1}_{\sssig X}$ 與 $F_{\sssig X}$ 接連作用之後如何回到 $u$，並比較 $\mathcal{U}(0, 1)$ 樣本轉換前後的直方圖。
本篇小結
本篇處理的是已知 $X$ 的機率分配之後，如何求出 $Y=g(X)$ 的機率分配。Theorem 2.38 先確定了 $Y$ 的身分，只要 $g(\cdot)$ 是定義在實數上的實值可測函數，$Y$ 就仍然是一個隨機變數。
離散型有三種做法。直接列表法把每個質點轉換後的位置列出來，再把落在同一位置者合併，適用於質點數量有限的時候；Proposition 2.1 的 pmf 法則在 $g(\cdot)$ 一對一時，直接以 $p_{\sssig Y}(y)=p_{\sssig X}(g^{-1}(y))$ 求得，因為 $\lbrace Y=y\rbrace$ 與 $\lbrace X=g^{-1}(y)\rbrace$ 是等價事件；mgf 法先求出 $M_{\sssig Y}(t)$ 再由唯一性認出分配，Theorem 2.39 的 $M_{\sssig Y}(t)=e^{bt}M_{\sssig X}(at)$ 正是線性轉換時所需的工具。Example 2.47 以同一題並陳三種做法，Example 2.48 則由列表求出 pmf 之後直接寫出 mgf。
連續型無法列表。Proposition 2.2 的 cdf 法改由累積的機率相等下手，先依 $g(\cdot)$ 是保序或反序寫出 $F_{\sssig Y}(y)$，再微分得到 $f_{\sssig Y}(y)$；Proposition 2.3 的 Jacobian 法則把原變數的 pdf 以新變數表示，再乘上 $\lvert\mathbf{J}\rvert$。mgf 法在兩型之間並無不同。Example 2.49 與 Example 2.31 (Continued) 各示範一次，後者取 $g$ 為 $X$ 自身的 cdf，結果是 $\mathcal{U}(0, 1)$，這個現象由 Proposition 2.4 的機率積分轉換正式敘述，它同時給出反方向的走法。由 $\mathcal{U}(0, 1)$ 出發，經分位函數即可回到原來的分配。
本篇所處理的 $Y=2X+1$、$Y=\frac{1}{X}$ 與 $Y=\bigl(1+e^{-X}\bigr)^{-1}$，其中的 $g(\cdot)$ 都是一對一函數，反函數直接存在，套上公式即可。下一篇處理反函數不存在的情形，作法正是前面提過的分段。先把值域分成若干段，使 $g(\cdot)$ 在各段上一對一，分別求出各段的密度之後再合併起來。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- Robert V. Hogg, Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
- Walter Rudin. 1976. Principles of Mathematical Analysis. 3rd ed. McGraw-Hill.
- Luc Devroye. 1986. Non-Uniform Random Variate Generation. Springer.