上一篇以動差母函數的唯一性作結: 兩個隨機變數的 mgf 若相等，兩者的機率分配也相等，因此只要由各階原動差湊出 mgf，就能反過來認出分配是哪一個；離散型的 mgf 更可以把各個質點的機率一一取回。
本篇要看的是另外兩種母函數。機率母函數 (probability generating function, pgf) 只對非負整數隨機變數定義，它生成的是階乘動差，也能夠直接還原 pmf；累積量母函數 (cumulant generating function, cgf) 則由 mgf 取對數而得，生成的是一系列的累積量，其中前四個依序是期望值、變異數、三階主動差與 $\mu_{\sssig 4}-3\sigma^{4}_{\sssig X}$。最後我們說明 mgf 與 pgf 之間如何互相改寫。
事實上，母函數 (或稱生成函數) 並不只有 mgf 一種，其生成的東西各有不同。如同 mgf 可以生成原動差一樣，機率或部分主動差各自都有母函數可以生成，這裡先來看看機率的母函數。
Definition 2.17 (機率母函數, probability generating function, pgf)
若 $X$ 為非負整數隨機變數，則
\[G_{\sssig X}(t)=\mathbb{E}\bigl(t^{X}\bigr)=\sum_{x=0}^{\infty}t^{x}\,p_{\sssig X}(x)\]
被定義為 $X$ 之機率母函數。
機率母函數有一些地方需要注意:
(1) 機率母函數又被譯為階乘動差母函數或階乘動差生成函數，其原因是其能夠幫我們生成「階乘」的動差。
(2) 純粹以微積分的角度而言，機率母函數的定義中已經將所有的 $X$ 都積分 (加總) 完了，故其結果並不會再殘存有任何 $X$。
Note
和 mgf 相同，pgf 是 $t$ 的函數而非 $X$ 的。
(3) 要求非負整數是有原因的，稍後馬上會看到，這個原因與生機率的過程有關係。
Note
或至少是指，要透過 pgf 生機率的話，只有在非負整數的位置，才能夠生機率。
Note
若不是非負整數，或甚至是連續隨機變數的話，定義同樣是 $G_{\sssig X}(t)=\mathbb{E}\bigl(t^{X}\bigr)$，但此時不能稱 $G_{\sssig X}(t)$ 為機率母函數，而是階乘動差母函數，因為其功能只剩下生成階乘動差。
Theorem 2.24 (由 pgf 微分生成階乘動差, factorial moments generated by the pgf)
若 $X$ 為一隨機變數，其 pgf $G_{\sssig X}(t)$ 存在，則
\[G^{(r)}_{\sssig X}(1)=\frac{d^{r}\,G_{\sssig X}(t)}{d\,t^{r}}\biggr\rvert_{t=1}=\mathbb{E}\bigl[X(X-1)\cdots(X-r+1)\bigr]\]
\[\begin{aligned} &G^{(r)}_{\sssig X}(1)=\frac{d^{r}\,G_{\sssig X}(t)}{d\,t^{r}}\biggr\rvert_{t=1}\\[0.45em] &\quad =\mathbb{E}\bigl[X(X-1)\cdots(X-r+1)\bigr] \end{aligned}\]
Proof. 在此僅以連續型隨機變數證明，離散型同理可證。
\[\begin{aligned} \frac{d^{r}\,G_{\sssig X}(t)}{d\,t^{r}}\biggr\rvert_{t=1}&=\frac{d^{r}}{d\,t^{r}}\int_{-\infty}^{\infty}t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &=\int_{-\infty}^{\infty}\frac{d^{r}}{d\,t^{r}}\,t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &=\int_{-\infty}^{\infty}x\,(x-1)\cdots(x-r+1)\,t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &=\int_{-\infty}^{\infty}x\,(x-1)\cdots(x-r+1)\,f_{\sssig X}(x)\,dx\\[0.45em] &=\mathbb{E}\bigl[X(X-1)\cdots(X-r+1)\bigr] \end{aligned}\]
\[\begin{aligned} &\frac{d^{r}\,G_{\sssig X}(t)}{d\,t^{r}}\biggr\rvert_{t=1}\\[0.45em] &\quad =\frac{d^{r}}{d\,t^{r}}\int_{-\infty}^{\infty}t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &\quad =\int_{-\infty}^{\infty}\frac{d^{r}}{d\,t^{r}}\,t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &\quad =\int_{-\infty}^{\infty}x\,(x-1)\cdots(x-r+1)\\[0.2em] &\qquad \times t^{x}\,f_{\sssig X}(x)\,dx\biggr\rvert_{t=1}\\[0.45em] &\quad =\int_{-\infty}^{\infty}x\,(x-1)\cdots(x-r+1)\\[0.2em] &\qquad \times f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\mathbb{E}\bigl[X(X-1)\cdots(X-r+1)\bigr] \end{aligned}\]
原式得證。 $\square$
- 階乘動差 (factorial moment) 也是一種母體動差，其特別之處在於，動差的建構方式宛若階乘 (factorial) 一樣，由 $X$ 開始向下累乘。
Note
讀者或許注意到，pgf 生成階乘動差的方式，與 mgf 生成原動差的方式非常相像，但又巧妙地利用指數 ($e^{tX}$) 與多項式 ($t^{X}$) 在微分上的差異，構築出生成對應動差所需的「工具」，而我們要把這些工具給「收起來」的手段，也會因為不同的工具而有不同。mgf 中，「收起」工具變數 $t$ 的做法是在微分完後以 $t=0$ 代入，如此一來可以讓整個指數項都變為 $1$；而 pgf 為了「收起」整個多項式項，必須要代入 $t=1$。
- 階乘動差看似麻煩，但在特定的分配中 (尤其是離散分配)，要計算高階原動差，借助階乘動差反而是比較簡單的。
Note
這種情況大多發生在 mgf 比起 pgf 更不好微分時，後續我們會看到許多離散分配，都是屬於這種情形。
Note
此處以得到二階原動差為例，先由 pgf 得到第 1 階階乘動差
\[G^{\prime}_{\sssig X}(t)\Bigr\rvert_{t=1}=G^{\prime}_{\sssig X}(1)=\mathbb{E}(X)\]
與第 2 階階乘動差
\[G^{\prime\prime}_{\sssig X}(t)\Bigr\rvert_{t=1}=G^{\prime\prime}_{\sssig X}(1)=\mathbb{E}\bigl[X(X-1)\bigr]\]
則可知
\[\mathbb{E}(X^{2})=\mathbb{E}\bigl[X(X-1)\bigr]+\mathbb{E}(X)=G^{\prime}_{\sssig X}(1)+G^{\prime\prime}_{\sssig X}(1)\]
\[\begin{aligned} &\mathbb{E}(X^{2})=\mathbb{E}\bigl[X(X-1)\bigr]+\mathbb{E}(X)\\[0.45em] &\quad =G^{\prime}_{\sssig X}(1)+G^{\prime\prime}_{\sssig X}(1) \end{aligned}\]
Theorem 2.25 (由 pgf 還原 pmf, recovering the pmf from the pgf)
若 $X$ 為非負整數隨機變數，其 pgf $G_{\sssig X}(t)$ 存在，則
\[\mathbb{P}(X=k)=\Biggl[\frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}\Biggr]_{t=0}=\frac{\,G^{(k)}_{\sssig X}(0)\,}{k!}\]
\[\begin{aligned} &\mathbb{P}(X=k)=\Biggl[\frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}\Biggr]_{t=0}\\[0.45em] &\quad =\frac{\,G^{(k)}_{\sssig X}(0)\,}{k!} \end{aligned}\]
Proof. 由於 $X$ 為非負整數隨機變數，故由 pgf 的定義可知
\[\begin{aligned} \frac{d^{k}\,G_{\sssig X}(t)}{d\,t^{k}}&=\frac{d^{k}}{d\,t^{k}}\sum_{x=0}^{\infty}t^{x}\,p_{\sssig X}(x)=\sum_{x=k}^{\infty}\biggl[\frac{d^{k}}{d\,t^{k}}\,t^{x}\biggr]\,p_{\sssig X}(x)\\[0.45em] &=\sum_{x=k}^{\infty}\bigl[x\,(x-1)\cdots(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x)\\[0.45em] &=k!\,p_{\sssig X}(k)+\sum_{x=k+1}^{\infty}\bigl[x\,(x-1)\cdots(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x) \end{aligned}\]
\[\begin{aligned} &\frac{d^{k}\,G_{\sssig X}(t)}{d\,t^{k}}=\frac{d^{k}}{d\,t^{k}}\sum_{x=0}^{\infty}t^{x}\,p_{\sssig X}(x)\\[0.45em] &\quad =\sum_{x=k}^{\infty}\biggl[\frac{d^{k}}{d\,t^{k}}\,t^{x}\biggr]\,p_{\sssig X}(x)\\[0.45em] &\quad =\sum_{x=k}^{\infty}\bigl[x\,(x-1)\cdots\\[0.2em] &\qquad\quad \times(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x)\\[0.45em] &\quad =k!\,p_{\sssig X}(k)\\[0.2em] &\qquad +\sum_{x=k+1}^{\infty}\bigl[x\,(x-1)\cdots\\[0.2em] &\qquad\quad \times(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x) \end{aligned}\]
則有
\[\begin{aligned} \frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}&=p_{\sssig X}(k)+\frac{1}{\,k!\,}\sum_{x=k+1}^{\infty}\bigl[x\,(x-1)\cdots(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x)\\[0.45em] &=p_{\sssig X}(k)+\sum_{x=k+1}^{\infty}\binom{x}{k}\,t^{x-k}\,p_{\sssig X}(x) \end{aligned}\]
\[\begin{aligned} &\frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}=p_{\sssig X}(k)\\[0.2em] &\qquad +\frac{1}{\,k!\,}\sum_{x=k+1}^{\infty}\bigl[x\,(x-1)\cdots\\[0.2em] &\qquad\quad \times(x-k+1)\,t^{x-k}\bigr]\,p_{\sssig X}(x)\\[0.45em] &\quad =p_{\sssig X}(k)+\sum_{x=k+1}^{\infty}\binom{x}{k}\,t^{x-k}\,p_{\sssig X}(x) \end{aligned}\]
故
\[\Biggl[\frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}\Biggr]_{t=0}=p_{\sssig X}(k)+\sum_{x=k+1}^{\infty}\binom{x}{k}\,0^{x-k}\,p_{\sssig X}(x)=p_{\sssig X}(k)\]
\[\begin{aligned} &\Biggl[\frac{\,G^{(k)}_{\sssig X}(t)\,}{k!}\Biggr]_{t=0}\\[0.45em] &\quad =p_{\sssig X}(k)+\sum_{x=k+1}^{\infty}\binom{x}{k}\,0^{x-k}\,p_{\sssig X}(x)\\[0.45em] &\quad =p_{\sssig X}(k) \end{aligned}\]
原式得證。 $\square$
Note
特別注意到，一旦交換了加總跟微分的順序，則由於多項式有可能微分到變成 $0$，故微分 $k$ 次後，$0$ 次至 $k-1$ 次項將會消失，$k$ 次項則會變為常數，且會附加一個 $k!$，而 $k+1$ 次以上的高次項，仍然保有 $t$，故我們將常數 $k!$ 消掉之後，只要再將 $t=0$ 代入，再次將 $t$ 給「收起來」就可以留下單純的 $p_{\sssig X}(k)$ 了。
Example 2.35
Suppose that a coin turns up heads with probability $p>0$ and tails with probability $1-p$, and let $Y_{i}$ denote the number of tosses required to obtain $i$ heads.
- Find the probability generating function (pgf) of $Y_{i}$ when $i=1$.
- Determine the mean and the variance of $Y_{1}$.
(1) 令 $q=1-p$，可推知 $Y_{1}$ 的 pmf 為
\[p_{\sssig Y_1}(y)=p\,q^{y-1},\quad y=1, 2, 3, \ldots\]
由此可得
\[\begin{aligned} G_{\sssig Y_1}(t)&=\mathbb{E}\bigl(t^{Y_1}\bigr)=\sum_{y=1}^{\infty}t^{y}\,p\,q^{y-1}=\frac{p}{\,q\,}\sum_{y=1}^{\infty}(q\,t)^{y}=\frac{p}{\,q\,}\biggl(\frac{q\,t}{\,1-q\,t\,}\biggr)\\[0.45em] &=\frac{p\,t}{\,1-q\,t\,}=\frac{p\,t}{\,1-(1-p)\,t\,},\quad-\frac{1}{\,q\,}<t<\frac{1}{\,q\,} \end{aligned}\]
\[\begin{aligned} &G_{\sssig Y_1}(t)=\mathbb{E}\bigl(t^{Y_1}\bigr)=\sum_{y=1}^{\infty}t^{y}\,p\,q^{y-1}\\[0.45em] &\quad =\frac{p}{\,q\,}\sum_{y=1}^{\infty}(q\,t)^{y}\\[0.45em] &\quad =\frac{p}{\,q\,}\biggl(\frac{q\,t}{\,1-q\,t\,}\biggr)=\frac{p\,t}{\,1-q\,t\,}\\[0.45em] &\quad =\frac{p\,t}{\,1-(1-p)\,t\,},\\[0.45em] &\qquad -\frac{1}{\,q\,}<t<\frac{1}{\,q\,} \end{aligned}\]
其中的收斂條件為 $\lvert q\,t\rvert<1$，也就是 $-\frac{1}{q}<t<\frac{1}{q}$。
(2) 由 Theorem 2.24 可知
\[\begin{aligned} \mathbb{E}(Y_{1})&=G^{\prime}_{\sssig Y_1}(t)\Bigr\rvert_{t=1}=\biggl[\frac{p\,(1-q\,t)-p\,t\,(-q)}{(1-q\,t)^{2}}\biggr]_{t=1}\\[0.45em] &=\biggl[\frac{p}{(1-q\,t)^{2}}\biggr]_{t=1}=\frac{p}{\,(1-q)^{2}\,}=\frac{1}{\,p\,} \end{aligned}\]
\[\begin{aligned} \mathbb{E}(Y_{1})&=G^{\prime}_{\sssig Y_1}(t)\Bigr\rvert_{t=1}\\[0.45em] &=\biggl[\frac{p\,(1-q\,t)-p\,t\,(-q)}{(1-q\,t)^{2}}\biggr]_{t=1}\\[0.45em] &=\biggl[\frac{p}{(1-q\,t)^{2}}\biggr]_{t=1}\\[0.45em] &=\frac{p}{\,(1-q)^{2}\,}=\frac{1}{\,p\,} \end{aligned}\]
以及
\[\begin{aligned} \mathbb{E}\bigl[Y_{1}(Y_{1}-1)\bigr]&=G^{\prime\prime}_{\sssig Y_1}(t)\Bigr\rvert_{t=1}=\biggl[\frac{-2p\,(-q)}{(1-q\,t)^{3}}\biggr]_{t=1}\\[0.45em] &=\frac{2q}{\,(1-q)^{2}\,}=\frac{\,2q\,}{p^{2}} \end{aligned}\]
\[\begin{aligned} \mathbb{E}\bigl[Y_{1}(Y_{1}-1)\bigr]&=G^{\prime\prime}_{\sssig Y_1}(t)\Bigr\rvert_{t=1}\\[0.45em] &=\biggl[\frac{-2p\,(-q)}{(1-q\,t)^{3}}\biggr]_{t=1}\\[0.45em] &=\frac{2q}{\,(1-q)^{2}\,}=\frac{\,2q\,}{p^{2}} \end{aligned}\]
所求為
\[\begin{aligned} \mathrm{Var}(Y_{1})&=\mathbb{E}\bigl[Y_{1}(Y_{1}-1)\bigr]+\mathbb{E}(Y_{1})-\bigl[\mathbb{E}(Y_{1})\bigr]^{2}\\[0.45em] &=\frac{\,2q\,}{p^{2}}+\frac{1}{\,p\,}-\biggl(\frac{1}{\,p\,}\biggr)^{2}\\[0.45em] &=\frac{\,2q+p-1\,}{p^{2}}=\frac{q}{\,p^{2}\,}=\frac{\,1-p\,}{p^{2}} \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}(Y_{1})=\mathbb{E}\bigl[Y_{1}(Y_{1}-1)\bigr]\\[0.2em] &\qquad +\mathbb{E}(Y_{1})-\bigl[\mathbb{E}(Y_{1})\bigr]^{2}\\[0.45em] &\quad =\frac{\,2q\,}{p^{2}}+\frac{1}{\,p\,}-\biggl(\frac{1}{\,p\,}\biggr)^{2}\\[0.45em] &\quad =\frac{\,2q+p-1\,}{p^{2}}=\frac{q}{\,p^{2}\,}=\frac{\,1-p\,}{p^{2}} \end{aligned}\]
Definition 2.18 (累積量母函數, cumulant generating function, cgf)
若 $X$ 為一任意隨機變數，且其 mgf 為 $M_{\sssig X}(t)$，則
\[K_{\sssig X}(t)=\ln M_{\sssig X}(t)\]
被定義為 $X$ 之累積量母函數。
累積量母函數有一些地方需要注意:
(1) 累積量母函數又被譯為累積量生成函數，其原因是其能夠幫我們「生成」一系列的累積量 (cumulants)，其中包含期望值與變異數。
Note
累積量是指一系列能夠提供與動差同等訊息的量，我們並不打算在這裡花太多篇幅，但仍有一些地方非常值得注意，即累積量與「分配資訊」密切相關。
(2) 作為 mgf 改寫而來的函數，這個函數同樣是 $t$ 的函數而非 $X$ 的。
我們可以注意到，cgf 能夠幫我們直接生成關於分配的量數，其中包含 $\mu_{\sssig X}$、$\sigma^{2}_{\sssig X}$、$\mu_{\sssig 3}$ 與 $\mu_{\sssig 4}-3\sigma^{4}_{\sssig X}$，以下就來看看我們如何透過 cgf 生成這些累積量。
一階累積量為
\[\begin{aligned} \kappa_{\sssig 1}&=\frac{d\,K_{\sssig X}(t)}{d\,t}\biggr\rvert_{t=0}=\frac{d\ln M_{\sssig X}(t)}{d\,t}\biggr\rvert_{t=0}\\[0.45em] &=\frac{M^{\prime}_{\sssig X}(t)}{M_{\sssig X}(t)}\biggr\rvert_{t=0}=\frac{M^{\prime}_{\sssig X}(0)}{M_{\sssig X}(0)}=\frac{\mathbb{E}(X)}{1}=\mathbb{E}(X) \end{aligned}\]
\[\begin{aligned} \kappa_{\sssig 1}&=\frac{d\,K_{\sssig X}(t)}{d\,t}\biggr\rvert_{t=0}=\frac{d\ln M_{\sssig X}(t)}{d\,t}\biggr\rvert_{t=0}\\[0.45em] &=\frac{M^{\prime}_{\sssig X}(t)}{M_{\sssig X}(t)}\biggr\rvert_{t=0}=\frac{M^{\prime}_{\sssig X}(0)}{M_{\sssig X}(0)}\\[0.45em] &=\frac{\mathbb{E}(X)}{1}=\mathbb{E}(X) \end{aligned}\]
二階累積量為
\[\begin{aligned} \kappa_{\sssig 2}&=\frac{d^{2}K_{\sssig X}(t)}{d\,t^{2}}\biggr\rvert_{t=0}=\frac{M^{\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)-\bigl(M^{\prime}_{\sssig X}(t)\bigr)^{2}}{\bigl(M_{\sssig X}(t)\bigr)^{2}}\biggr\rvert_{t=0}\\[0.45em] &=\frac{M^{\prime\prime}_{\sssig X}(0)M_{\sssig X}(0)-\bigl(M^{\prime}_{\sssig X}(0)\bigr)^{2}}{\bigl(M_{\sssig X}(0)\bigr)^{2}}=\mathbb{E}(X^{2})-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\mathrm{Var}(X)=\sigma^{2}_{\sssig X}=\mu_{\sssig 2} \end{aligned}\]
\[\begin{aligned} \kappa_{\sssig 2}&=\frac{d^{2}K_{\sssig X}(t)}{d\,t^{2}}\biggr\rvert_{t=0}\\[0.45em] &=\frac{M^{\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)-\bigl(M^{\prime}_{\sssig X}(t)\bigr)^{2}}{\bigl(M_{\sssig X}(t)\bigr)^{2}}\biggr\rvert_{t=0}\\[0.45em] &=\frac{M^{\prime\prime}_{\sssig X}(0)M_{\sssig X}(0)-\bigl(M^{\prime}_{\sssig X}(0)\bigr)^{2}}{\bigl(M_{\sssig X}(0)\bigr)^{2}}\\[0.45em] &=\mathbb{E}(X^{2})-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &=\mathrm{Var}(X)=\sigma^{2}_{\sssig X}=\mu_{\sssig 2} \end{aligned}\]
三階累積量為
\[\begin{aligned} \kappa_{\sssig 3}&=\frac{d^{3}K_{\sssig X}(t)}{d\,t^{3}}\biggr\rvert_{t=0}\\[0.45em] &=\Biggl[\frac{\bigl[M^{\prime\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)+M^{\prime\prime}_{\sssig X}(t)M^{\prime}_{\sssig X}(t)-2M^{\prime}_{\sssig X}(t)M^{\prime\prime}_{\sssig X}(t)\bigr]\bigl(M_{\sssig X}(t)\bigr)^{2}}{\bigl(M_{\sssig X}(t)\bigr)^{4}}\\[0.45em] &\qquad -\frac{\bigl[M^{\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)-\bigl(M^{\prime}_{\sssig X}(t)\bigr)^{2}\bigr]\cdot 2M_{\sssig X}(t)M^{\prime}_{\sssig X}(t)}{\bigl(M_{\sssig X}(t)\bigr)^{4}}\Biggr]_{t=0}\\[0.45em] &=\mathbb{E}(X^{3})-3\mathbb{E}(X^{2})\mathbb{E}(X)+2\bigl[\mathbb{E}(X)\bigr]^{3}=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{3}\bigr]=\mu_{\sssig 3} \end{aligned}\]
\[\begin{aligned} \kappa_{\sssig 3}&=\frac{d^{3}K_{\sssig X}(t)}{d\,t^{3}}\biggr\rvert_{t=0}\\[0.45em] &=\left[\frac{\begin{array}{c}\bigl[M^{\prime\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)+M^{\prime\prime}_{\sssig X}(t)M^{\prime}_{\sssig X}(t)\\-2M^{\prime}_{\sssig X}(t)M^{\prime\prime}_{\sssig X}(t)\bigr]\bigl(M_{\sssig X}(t)\bigr)^{2}\end{array}}{\bigl(M_{\sssig X}(t)\bigr)^{4}}\right.\\[0.45em] &\qquad \left.-\frac{\begin{array}{c}\bigl[M^{\prime\prime}_{\sssig X}(t)M_{\sssig X}(t)-\bigl(M^{\prime}_{\sssig X}(t)\bigr)^{2}\bigr]\\ \cdot\,2M_{\sssig X}(t)M^{\prime}_{\sssig X}(t)\end{array}}{\bigl(M_{\sssig X}(t)\bigr)^{4}}\right]_{t=0}\\[0.45em] &=\mathbb{E}(X^{3})-3\mathbb{E}(X^{2})\mathbb{E}(X)+2\bigl[\mathbb{E}(X)\bigr]^{3}\\[0.45em] &=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{3}\bigr]=\mu_{\sssig 3} \end{aligned}\]
四階累積量的求法相同，逐次微分後代入 $t=0$，可得
\[\begin{aligned} \kappa_{\sssig 4}&=\frac{d^{4}K_{\sssig X}(t)}{d\,t^{4}}\biggr\rvert_{t=0}\\[0.45em] &=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{4}\bigr]-3\Bigl[\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\Bigr]^{2}\\[0.45em] &=\mu_{\sssig 4}-3\mu^{2}_{\sssig 2}=\mu_{\sssig 4}-3\sigma^{4}_{\sssig X} \end{aligned}\]
\[\begin{aligned} \kappa_{\sssig 4}&=\frac{d^{4}K_{\sssig X}(t)}{d\,t^{4}}\biggr\rvert_{t=0}\\[0.45em] &=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{4}\bigr]\\[0.2em] &\qquad -3\Bigl[\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\Bigr]^{2}\\[0.45em] &=\mu_{\sssig 4}-3\mu^{2}_{\sssig 2}=\mu_{\sssig 4}-3\sigma^{4}_{\sssig X} \end{aligned}\]
Note
讀者應該也注意到了，cgf 所生成的累積量，直接與分配的中央趨勢、分散趨勢以及形狀量數有關，忘記的讀者不妨往前翻閱相關的小節。
Theorem 2.26 (mgf、pgf 與 cgf 的關係, relations among mgf, pgf and cgf)
若 $X$ 為任意隨機變數，其 mgf $M_{\sssig X}(t)$，pgf $G_{\sssig X}(t)$ 與 cgf $K_{\sssig X}(t)$ 存在，則
- $$ G_{\sssig X}(t)=M_{\sssig X}(\ln t) $$
- $$ M_{\sssig X}(t)=G_{\sssig X}\bigl(e^{t}\bigr) $$
Proof.
(1) 由 pgf 的定義可知
\[G_{\sssig X}(t)=\mathbb{E}\bigl(t^{X}\bigr)=\mathbb{E}\bigl(e^{\ln t^{X}}\bigr)=\mathbb{E}\bigl[e^{X\,(\ln t)}\bigr]=M_{\sssig X}(\ln t)\]
\[\begin{aligned} &G_{\sssig X}(t)=\mathbb{E}\bigl(t^{X}\bigr)=\mathbb{E}\bigl(e^{\ln t^{X}}\bigr)\\[0.45em] &\quad =\mathbb{E}\bigl[e^{X\,(\ln t)}\bigr]=M_{\sssig X}(\ln t) \end{aligned}\]
(2) 由 mgf 的定義可知
\[M_{\sssig X}(t)=\mathbb{E}\bigl(e^{tX}\bigr)=\mathbb{E}\bigl[(e^{t})^{X}\bigr]=G_{\sssig X}\bigl(e^{t}\bigr)\]
\[\begin{aligned} &M_{\sssig X}(t)=\mathbb{E}\bigl(e^{tX}\bigr)\\[0.45em] &\quad =\mathbb{E}\bigl[(e^{t})^{X}\bigr]=G_{\sssig X}\bigl(e^{t}\bigr) \end{aligned}\]
原式得證。 $\square$
本篇小結
Definition 2.17 以 $G_{\sssig X}(t)=\mathbb{E}(t^{X})$ 界定機率母函數，適用的對象是非負整數隨機變數。它與 mgf 的差別在於工具函數的形式。mgf 用的是指數 $e^{tX}$，pgf 用的是多項式 $t^{X}$，因此「收起」工具變數的方式也不同，mgf 代入 $t=0$，pgf 則代入 $t=1$。Theorem 2.24 說明對 pgf 微分 $r$ 次後代入 $t=1$，得到的是階乘動差 $\mathbb{E}[X(X-1)\cdots(X-r+1)]$；由 $G^{\prime}_{\sssig X}(1)$ 與 $G^{\prime\prime}_{\sssig X}(1)$ 就可以得到二階原動差，在許多離散分配中，這比直接微分 mgf 簡便。
Theorem 2.25 則是 pgf 之名的由來。對 pgf 微分 $k$ 次之後代入 $t=0$，低次項全部消失、高次項仍帶著 $t$ 而歸零，只留下 $k!\,p_{\sssig X}(k)$，再除以 $k!$ 就得到 $\mathbb{P}(X=k)$。Example 2.35 以擲硬幣至第一次出現正面所需的次數為例，先求得 pgf 為 $\frac{p\,t}{1-q\,t}$，再由前兩階階乘動差得到 $\mathbb{E}(Y_{1})=\frac{1}{p}$ 與 $\mathrm{Var}(Y_{1})=\frac{1-p}{p^{2}}$。
Definition 2.18 的累積量母函數 $K_{\sssig X}(t)=\ln M_{\sssig X}(t)$ 由 mgf 取對數而得，逐次微分後代入 $t=0$，前四個累積量依序是 $\mathbb{E}(X)$、$\sigma^{2}_{\sssig X}$、$\mu_{\sssig 3}$ 與 $\mu_{\sssig 4}-3\sigma^{4}_{\sssig X}$，正好對應分配的中央趨勢、分散趨勢與形狀。Theorem 2.26 說明 mgf 與 pgf 之間只差一個變數的代換，$G_{\sssig X}(t)=M_{\sssig X}(\ln t)$ 而 $M_{\sssig X}(t)=G_{\sssig X}(e^{t})$。下一篇介紹的特徵函數，把工具函數換成 $e^{itX}$，因而對每一個隨機變數都存在。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- William Feller. 1968. An Introduction to Probability Theory and Its Applications, Volume I. 3rd ed. Wiley.
- Norman L. Johnson, Adrienne W. Kemp, and Samuel Kotz. 2005. Univariate Discrete Distributions. 3rd ed. Wiley.
- Peter McCullagh. 1987. Tensor Methods in Statistics. Chapman and Hall.