Wei-Ann Lin · 林蔚安
機率論 · Chapter II · Topic 15

動差母函數

Moment Generating Functions


Abstract. 動差母函數把 $e^{tX}$ 的期望值看成 $t$ 的函數: 只要存在某個 $h>0$,使 $\mathbb{E}(e^{tX})$ 對一切 $t\in(-h,h)$ 皆存在,這個期望值就稱為 $X$ 的動差母函數 $M_{X}(t)$。它起先是以工具函數的角色被引入。對 $t$ 微分 $r$ 次後在 $t=0$ 取值,所得的 $M_{X}^{(r)}(0)$ 正是 $r$ 階原動差 $\mathbb{E}(X^{r})$;反過來把 $M_{X}(t)$ 在 $t=0$ 泰勒展開,$\frac{t^{r}}{r!}$ 的係數也正是各階原動差。由於 $e^{tX}$ 無限可微,動差母函數一旦存在便保證各階動差都存在,但它並不是任何時候都存在。

上一篇以三階與四階主動差建立了偏態係數與峰態係數,用來描述一個分配的形狀。在前面兩篇,我們已經看到動差是如何描述一個分配的各種特徵。讀者可能會思考,動差既然能用以描述一個分配,那如果我們知道一個分配的各階動差,我們應能夠掌握關於這個分配的所有資訊。

這個想法基本上是正確的,但問題在於很多時候直接求取各階動差,並不是一件容易達成的事情,這個時候數學家引入了動差母函數 (moment generating function, mgf),或名動差生成函數,作為一個工具函數,進而幫我們達成求取所有動差的可能性。本篇先給出動差母函數的定義與三點須注意之處,再看它如何以微分生成各階原動差、它的存在與各階動差的存在之間有何關係,接著看它在 $t=0$ 的泰勒展開,最後以三道例題示範動差母函數的求算與運用。這三道例題分別由 pmf 求動差母函數並據以算出變異數、由已知的動差母函數逐階微分求變異數,以及由 pdf 求動差母函數。

Definition 2.16 (動差母函數, moment generating function, mgf)

若 $X$ 為離散型隨機變數,值域為 $\mathcal{R}_{\sssig X}$、pmf 為 $p_{\sssig X}(x)$,且存在某個 $h>0$,使得下列期望值在 $-h<t<h$ 區間內皆存在,則

\[M_{\sssig X}(t)=\mathbb{E}\bigl(e^{tX}\bigr)=\sum_{x\in\mathcal{R}_{\sssig X}}e^{tx}\,p_{\sssig X}(x)\]

被定義為 $X$ 之動差母函數

若 $X$ 為連續型隨機變數,pdf 為 $f_{\sssig X}(x)$,且存在某個 $h>0$,使得下列期望值在 $-h<t<h$ 區間內皆存在,則

\[M_{\sssig X}(t)=\mathbb{E}\bigl(e^{tX}\bigr)=\int_{-\infty}^{\infty}e^{tx}\,f_{\sssig X}(x)\,dx\]
\[\begin{aligned} M_{\sssig X}(t)&=\mathbb{E}\bigl(e^{tX}\bigr)\\[0.45em] &=\int_{-\infty}^{\infty}e^{tx}\,f_{\sssig X}(x)\,dx \end{aligned}\]

被定義為 $X$ 之動差母函數

動差母函數有一些地方需要注意:

(1) 動差母函數又被譯為動差生成函數,其原因是它能夠幫我們「生成」所有的原動差

(2) 純粹以微積分的角度而言,動差母函數的定義中已經將所有的 $X$ 都積分 (加總) 完了,故其結果並不會再殘存有任何 $X$。

Note

換句話說,動差母函數是 $t$ 的函數而非 $X$ 的函數,且其定義要求該函數在 $-h<t<h$ 的區間內,都必須要有定義 (即存在);換言之,至少在 $t=0$ 的點上,該函數必須有定義,其原因在生成各階動差的方式中會談到。

(3) 動差母函數起先是以工具函數的角色被定義,其生成各階動差的方式,稍後會談到。

Note

然而動差母函數後來被發現一個更有用的用途,即動差母函數的唯一性,這個定理讓動差母函數不僅僅是工具函數,而有了更多的用途,下一篇我們便會看到這些實用之處。

Theorem 2.21 (由 mgf 微分生成原動差, moments generated by the mgf)

若 $X$ 為一隨機變數,其 mgf $M_{\sssig X}(t)$ 存在,且對任意正數 $h$,$M_{\sssig X}(t)$ 於 $-h<t<h$ 皆存在,則

\[M^{(r)}_{\sssig X}(0)=\left.\frac{d^{r}M_{\sssig X}(t)}{d\,t^{r}}\right|_{t=0}=\mathbb{E}\bigl(X^{r}\bigr)=\mu_{\sssig r}^{\prime}\]
\[\begin{aligned} M^{(r)}_{\sssig X}(0)&=\left.\frac{d^{r}M_{\sssig X}(t)}{d\,t^{r}}\right|_{t=0}\\[0.45em] &=\mathbb{E}\bigl(X^{r}\bigr)=\mu_{\sssig r}^{\prime} \end{aligned}\]

Proof. 在此僅以連續型隨機變數證明,離散型同理可證。由 Definition 2.16 可以寫出下式

\[\begin{aligned} \left.\frac{d^{r}M_{\sssig X}(t)}{d\,t^{r}}\right|_{t=0}&=\left.\frac{d^{r}}{d\,t^{r}}\int_{-\infty}^{\infty}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &=\left.\int_{-\infty}^{\infty}\frac{d^{r}}{d\,t^{r}}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &=\left.\int_{-\infty}^{\infty}x^{r}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &=\int_{-\infty}^{\infty}x^{r}e^{0}\,f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{-\infty}^{\infty}x^{r}\,f_{\sssig X}(x)\,dx=\mathbb{E}\bigl(X^{r}\bigr) \end{aligned}\]
\[\begin{aligned} &\left.\frac{d^{r}M_{\sssig X}(t)}{d\,t^{r}}\right|_{t=0}\\[0.45em] &\quad =\left.\frac{d^{r}}{d\,t^{r}}\int_{-\infty}^{\infty}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &\quad =\left.\int_{-\infty}^{\infty}\frac{d^{r}}{d\,t^{r}}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &\quad =\left.\int_{-\infty}^{\infty}x^{r}e^{tx}\,f_{\sssig X}(x)\,dx\right|_{t=0}\\[0.45em] &\quad =\int_{-\infty}^{\infty}x^{r}e^{0}\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{-\infty}^{\infty}x^{r}\,f_{\sssig X}(x)\,dx=\mathbb{E}\bigl(X^{r}\bigr) \end{aligned}\]

原式得證。 $\square$

Theorem 2.21 即是 mgf 的初始用途,也是其為何被稱為「工具函數」的原因。

我們可以運用微分與積分在不互相影響的狀況下可交換順序的性質,得到這個結論,即透過將複雜的 pdf (或 pmf) 先行算出一個與 $t$ 有關,且形式較為簡單的期望值,再透過連鎖律 (chain rule) 尋求 $t$ 的各階微分,並在 $t=0$ 取值,從而得到其各階原動差。

這個性質也同時展示了,為何對任意 $h>0$,$M_{\sssig X}(t)$ 在 $-h<t<h$ 的範圍內都需要有定義的原因 (因為其需要代入 $t=0$)。

Note

在更嚴謹的機率論專書中,這個條件會被定義成在 $-h<t<h$ 內,$M_{\sssig X}(t)$ 都必須可微 (differentiable)

然而 mgf 雖然看似方便,能夠幫我們生出各階原動差,但細心一點的讀者或許已經產生一個疑惑: 稍早在 Theorem 2.20 之後不是曾說過,一個隨機變數的各階動差未必都存在嗎?難道有了 mgf 就能夠忽略這個限制嗎?

這個答案當然是否定的,mgf 並沒有如此萬能。mgf 最大的問題在於,由於 $e^{tX}$ 對 $t$ 來說是一個無限可微 (infinitely differentiable) 的函數,故若其定義的這個特殊的期望值存在,則保證了該隨機變數的各階動差都存在;反之,若一隨機變數並非各階動差皆存在,則其動差母函數不存在。簡而言之,動差母函數不是任何時候都存在

Note

值得注意的一個小地方是,對任何存在 mgf $M_{\sssig X}(t)$ 的 $X$ 而言,皆有

\[M_{\sssig X}(0)=\mathbb{E}\bigl(X^{0}\bigr)=1\]

這事實上僅是其機率密度在值域上的積分而已。

讀者可能會有疑問,若我們有一個隨機變數 $X$,且其有存在的 mgf $M_{\sssig X}(t)$,則我們可以由 $M_{\sssig X}(t)$ 生出 $X$ 的各階原動差;但若情況反過來,已知 $X$ 的各階原動差,我們可以由此組合出 $M_{\sssig X}(t)$ 嗎?這個答案是有條件的: 只要 $M_{\sssig X}(t)$ 本身存在,它在 $t=0$ 的泰勒展開就正是由各階原動差組成的級數,我們便來看下面的定理。

Theorem 2.22 (mgf 的動差級數展開, moment series expansion of the mgf)

若 $X$ 為一隨機變數,且其動差母函數 $M_{\sssig X}(t)$ 存在,則

\[\begin{aligned} M_{\sssig X}(t)&=\sum_{r=0}^{\infty}\mathbb{E}\bigl(X^{r}\bigr)\frac{\,t^{r}\,}{r!}\\[0.45em] &=\mathbb{E}\bigl(X^{0}\bigr)\frac{\,t^{0}\,}{0!}+\mathbb{E}\bigl(X^{1}\bigr)\frac{\,t^{1}\,}{1!}+\mathbb{E}\bigl(X^{2}\bigr)\frac{\,t^{2}\,}{2!}+\cdots \end{aligned}\]
\[\begin{aligned} M_{\sssig X}(t)&=\sum_{r=0}^{\infty}\mathbb{E}\bigl(X^{r}\bigr)\frac{\,t^{r}\,}{r!}\\[0.45em] &=\mathbb{E}\bigl(X^{0}\bigr)\frac{\,t^{0}\,}{0!}+\mathbb{E}\bigl(X^{1}\bigr)\frac{\,t^{1}\,}{1!}\\[0.45em] &\quad +\mathbb{E}\bigl(X^{2}\bigr)\frac{\,t^{2}\,}{2!}+\cdots \end{aligned}\]

Proof.Theorem 2.21 已知 $\mathbb{E}(X^{r})=M^{(r)}_{\sssig X}(0)$,又由泰勒級數 (Taylor’s series) 將 $M_{\sssig X}(t)$ 在 $t=0$ 展開得到

\[M_{\sssig X}(t)=\sum_{r=0}^{\infty}M^{(r)}_{\sssig X}(0)\frac{\,t^{r}\,}{r!}=\sum_{r=0}^{\infty}\mathbb{E}\bigl(X^{r}\bigr)\frac{\,t^{r}\,}{r!}\]
\[\begin{aligned} M_{\sssig X}(t)&=\sum_{r=0}^{\infty}M^{(r)}_{\sssig X}(0)\frac{\,t^{r}\,}{r!}\\[0.45em] &=\sum_{r=0}^{\infty}\mathbb{E}\bigl(X^{r}\bigr)\frac{\,t^{r}\,}{r!} \end{aligned}\]

原式得證。 $\square$

Note

Theorem 2.22 只在單一方向成立。mgf 若已知在 $0$ 的附近存在,它就保證各階原動差都存在,而上式的泰勒係數正是這些原動差;反過來說,單憑各階原動差都存在,並不足以保證 mgf 在 $0$ 的附近存在: 對數常態分配 (lognormal distribution) 的各階動差都有限,它的 mgf 卻在任何 $t>0$ 都不存在。日後若要由泰勒展開反推 mgf,必須另行確認該級數在 $0$ 的附近確實代表一個有限的 mgf。

Example 2.29

Suppose that $Y$ is a discrete random variable whose pmf is

\[p_{\sssig Y}(y)=\left(\frac{1}{\,2\,}\right)^{y},\quad y=1, 2, 3, \ldots\]
  1. Determine the moment generating function of $Y$.
  2. Find the variance of $Y$.

(1) 由 Definition 2.16 可知

\[\begin{aligned} M_{\sssig Y}(t)&=\sum_{y=1}^{\infty}e^{ty}\left(\frac{1}{\,2\,}\right)^{y}=\sum_{y=1}^{\infty}\left(\frac{1}{\,2\,}e^{t}\right)^{y}\\[0.45em] &=\frac{\frac{1}{\,2\,}e^{t}}{\,1-\frac{1}{\,2\,}e^{t}\,}=\frac{e^{t}}{\,2-e^{t}\,} \end{aligned}\]
\[\begin{aligned} M_{\sssig Y}(t)&=\sum_{y=1}^{\infty}e^{ty}\left(\frac{1}{\,2\,}\right)^{y}\\[0.45em] &=\sum_{y=1}^{\infty}\left(\frac{1}{\,2\,}e^{t}\right)^{y}\\[0.45em] &=\frac{\frac{1}{\,2\,}e^{t}}{\,1-\frac{1}{\,2\,}e^{t}\,}=\frac{e^{t}}{\,2-e^{t}\,} \end{aligned}\]

其中幾何級數收斂的條件為 $\frac{1}{\,2\,}e^{t}<1$,

\[t<\ln2\]

(2) 由第 (1) 小題已得 $M_{\sssig Y}(t)=\frac{e^{t}}{\,2-e^{t}\,}$ (其中 $t<\ln2$),先求出一階導數

\[\begin{aligned} M^{\prime}_{\sssig Y}(t)&=\frac{d}{d\,t}\frac{e^{t}}{\,2-e^{t}\,}=\frac{e^{t}(2-e^{t})-e^{t}(-e^{t})}{(2-e^{t})^{2}}\\[0.45em] &=\frac{2e^{t}}{(2-e^{t})^{2}} \end{aligned}\]
\[\begin{aligned} M^{\prime}_{\sssig Y}(t)&=\frac{d}{d\,t}\frac{e^{t}}{\,2-e^{t}\,}\\[0.45em] &=\frac{e^{t}(2-e^{t})-e^{t}(-e^{t})}{(2-e^{t})^{2}}\\[0.45em] &=\frac{2e^{t}}{(2-e^{t})^{2}} \end{aligned}\]

在 $t=0$ 取值即得

\[\mathbb{E}(Y)=M^{\prime}_{\sssig Y}(0)=2\]

再微分一次得

\[\begin{aligned} M^{\prime\prime}_{\sssig Y}(t)&=\frac{d}{d\,t}\frac{2e^{t}}{(2-e^{t})^{2}}\\[0.45em] &=\frac{2e^{t}(2-e^{t})^{2}-2e^{t}\cdot2(2-e^{t})(-e^{t})}{(2-e^{t})^{4}} \end{aligned}\]
\[\begin{aligned} &M^{\prime\prime}_{\sssig Y}(t)=\frac{d}{d\,t}\frac{2e^{t}}{(2-e^{t})^{2}}\\[0.45em] &\quad =\frac{\begin{aligned}&2e^{t}(2-e^{t})^{2}\\[0.1em]&\quad -2e^{t}\cdot2(2-e^{t})(-e^{t})\end{aligned}}{(2-e^{t})^{4}} \end{aligned}\]

同樣在 $t=0$ 取值即得

\[\mathbb{E}\bigl(Y^{2}\bigr)=M^{\prime\prime}_{\sssig Y}(0)=6\]

再由 Theorem 2.11 可知,所求為

\[\mathrm{Var}(Y)=\mathbb{E}\bigl(Y^{2}\bigr)-\bigl[\mathbb{E}(Y)\bigr]^{2}=6-2^{2}=2\]
\[\begin{aligned} \mathrm{Var}(Y)&=\mathbb{E}\bigl(Y^{2}\bigr)-\bigl[\mathbb{E}(Y)\bigr]^{2}\\[0.45em] &=6-2^{2}=2 \end{aligned}\]
Example 2.30

Suppose that the mgf of a random variable $X$ is given by

\[M_{\sssig X}(t)=\frac{\,e^{t}\,}{5}+\frac{\,2e^{4t}\,}{5}+\frac{\,2e^{8t}\,}{5},\quad -\infty<t<\infty\]
\[\begin{gathered} M_{\sssig X}(t)=\frac{\,e^{t}\,}{5}+\frac{\,2e^{4t}\,}{5}+\frac{\,2e^{8t}\,}{5}\\[0.45em] -\infty<t<\infty \end{gathered}\]

Determine the variance of $X$.

Theorem 2.21 可知

\[\mathbb{E}(X)=M^{\prime}_{\sssig X}(0)=\left.\frac{\,e^{t}\,}{5}+\frac{\,8e^{4t}\,}{5}+\frac{\,16e^{8t}\,}{5}\right|_{t=0}=5\]
\[\begin{aligned} \mathbb{E}(X)&=M^{\prime}_{\sssig X}(0)\\[0.45em] &=\left.\frac{\,e^{t}\,}{5}+\frac{\,8e^{4t}\,}{5}\right.\\[0.45em] &\qquad \left.+\frac{\,16e^{8t}\,}{5}\right|_{t=0}=5 \end{aligned}\]

\[\mathbb{E}\bigl(X^{2}\bigr)=M^{\prime\prime}_{\sssig X}(0)=\left.\frac{\,e^{t}\,}{5}+\frac{\,32e^{4t}\,}{5}+\frac{\,128e^{8t}\,}{5}\right|_{t=0}=\frac{\,161\,}{5}\]
\[\begin{aligned} \mathbb{E}\bigl(X^{2}\bigr)&=M^{\prime\prime}_{\sssig X}(0)\\[0.45em] &=\left.\frac{\,e^{t}\,}{5}+\frac{\,32e^{4t}\,}{5}\right.\\[0.45em] &\qquad \left.+\frac{\,128e^{8t}\,}{5}\right|_{t=0}=\frac{\,161\,}{5} \end{aligned}\]

再由 Theorem 2.11 可知,所求為

\[\mathrm{Var}(X)=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}=\frac{\,161\,}{5}-5^{2}=\frac{\,36\,}{5}\]
\[\begin{aligned} \mathrm{Var}(X)&=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &=\frac{\,161\,}{5}-5^{2}=\frac{\,36\,}{5} \end{aligned}\]
Example 2.31

Suppose that $X$ has the logistic pdf

\[f_{\sssig X}(x)=\frac{e^{-x}}{\,(1+e^{-x})^{2}\,},\quad -\infty<x<\infty\]
\[\begin{gathered} f_{\sssig X}(x)=\frac{e^{-x}}{\,(1+e^{-x})^{2}\,}\\[0.45em] -\infty<x<\infty \end{gathered}\]
  1. Determine the distribution function $F_{\sssig X}(x)$ of $X$.
  2. Show that $f_{\sssig X}(x)=F_{\sssig X}(x)\bigl[1-F_{\sssig X}(x)\bigr]$.
  3. Show that the mgf of $X$ is $M_{\sssig X}(t)=\Gamma(1-t)\,\Gamma(1+t)$ for $-1<t<1$.

(1) 由 cdf 的定義可知

\[\begin{aligned} F_{\sssig X}(x)&=\int_{-\infty}^{x}\frac{e^{-s}}{\,(1+e^{-s})^{2}\,}\,ds=-\int_{-\infty}^{x}\frac{d\,e^{-s}}{\,(1+e^{-s})^{2}\,}\\[0.45em] &=-\int_{-\infty}^{x}\frac{d\,(1+e^{-s})}{\,(1+e^{-s})^{2}\,}=\left[\frac{1}{\,1+e^{-s}\,}\right]_{-\infty}^{x}\\[0.45em] &=\frac{1}{\,1+e^{-x}\,},\quad x\in\mathbb{R} \end{aligned}\]
\[\begin{aligned} &F_{\sssig X}(x)=\int_{-\infty}^{x}\frac{e^{-s}}{\,(1+e^{-s})^{2}\,}\,ds\\[0.45em] &\quad =-\int_{-\infty}^{x}\frac{d\,e^{-s}}{\,(1+e^{-s})^{2}\,}\\[0.45em] &\quad =-\int_{-\infty}^{x}\frac{d\,(1+e^{-s})}{\,(1+e^{-s})^{2}\,}\\[0.45em] &\quad =\left[\frac{1}{\,1+e^{-s}\,}\right]_{-\infty}^{x}\\[0.45em] &\quad =\frac{1}{\,1+e^{-x}\,},\quad x\in\mathbb{R} \end{aligned}\]

(2) 由第 (1) 小題所得的 cdf 可知

\[\begin{aligned} f_{\sssig X}(x)&=\frac{e^{-x}}{\,(1+e^{-x})^{2}\,}=\frac{1}{\,1+e^{-x}\,}\left[1-\frac{1}{\,1+e^{-x}\,}\right]\\[0.45em] &=F_{\sssig X}(x)\bigl[1-F_{\sssig X}(x)\bigr] \end{aligned}\]
\[\begin{aligned} f_{\sssig X}(x)&=\frac{e^{-x}}{\,(1+e^{-x})^{2}\,}\\[0.45em] &=\frac{1}{\,1+e^{-x}\,}\left[1-\frac{1}{\,1+e^{-x}\,}\right]\\[0.45em] &=F_{\sssig X}(x)\bigl[1-F_{\sssig X}(x)\bigr] \end{aligned}\]

原式得證。

(3) 由 Definition 2.16 可知

\[\begin{aligned} M_{\sssig X}(t)&=\mathbb{E}\bigl(e^{tX}\bigr)=\int_{-\infty}^{\infty}e^{tx}\,\frac{e^{-x}}{\,(1+e^{-x})^{2}\,}\,dx\\[0.45em] &=-\int_{\infty}^{0}u^{-t}\,\frac{1}{\,(1+u)^{2}\,}\,du\qquad\bigl(\text{令}\ u=e^{-x}\bigr)\\[0.45em] &=-\int_{0}^{1}(1-y)^{-t}y^{t}y^{2}(-y^{-2})\,dy\qquad\bigl(\text{令}\ y=(1+u)^{-1}\bigr)\\[0.45em] &=\int_{0}^{1}y^{(t+1)-1}(1-y)^{(1-t)-1}\,dy=\frac{\,\Gamma(t+1)\,\Gamma(1-t)\,}{\Gamma\bigl((t+1)+(1-t)\bigr)}\\[0.45em] &=\frac{\,\Gamma(t+1)\,\Gamma(1-t)\,}{1!}=\Gamma(t+1)\,\Gamma(1-t),\quad -1<t<1 \end{aligned}\]
\[\begin{aligned} &M_{\sssig X}(t)=\mathbb{E}\bigl(e^{tX}\bigr)\\[0.45em] &\quad =\int_{-\infty}^{\infty}e^{tx}\,\frac{e^{-x}}{\,(1+e^{-x})^{2}\,}\,dx\\[0.45em] &\quad =-\int_{\infty}^{0}u^{-t}\,\frac{1}{\,(1+u)^{2}\,}\,du\\[0.2em] &\qquad\quad \bigl(\text{令}\ u=e^{-x}\bigr)\\[0.45em] &\quad =-\int_{0}^{1}(1-y)^{-t}y^{t}y^{2}(-y^{-2})\,dy\\[0.2em] &\qquad\quad \bigl(\text{令}\ y=(1+u)^{-1}\bigr)\\[0.45em] &\quad =\int_{0}^{1}y^{(t+1)-1}(1-y)^{(1-t)-1}\,dy\\[0.45em] &\quad =\frac{\,\Gamma(t+1)\,\Gamma(1-t)\,}{\Gamma\bigl((t+1)+(1-t)\bigr)}\\[0.45em] &\quad =\frac{\,\Gamma(t+1)\,\Gamma(1-t)\,}{1!}\\[0.45em] &\quad =\Gamma(t+1)\,\Gamma(1-t),\ -1<t<1 \end{aligned}\]

原式得證。

Note

此為邏輯斯分配 (logistic distribution),在邏輯斯迴歸 (logistic regression) 具有核心的地位。

證明 mgf 的過程中,我們首先令了 $u=e^{-x}$,則以萊布尼茲微分符號的運算,我們有 $\frac{\,du\,}{dx}=-e^{-x}$,即 $du=-e^{-x}\,dx$;再令 $y=(1+u)^{-1}$,即 $u=\frac{\,1-y\,}{y}$,又一次地,我們有 $du=\frac{\,-1\,}{y^{2}}\,dy$,再搭配貝塔積分 (beta integral),方可將本題的 mgf 證明出來。

值得提醒的是,由於這題連續使用了兩個代換積分,積分的上下界需要特別留意,不可任意顛倒順序。

本篇小結

Definition 2.16 把 $\mathbb{E}(e^{tX})$ 定義為 $X$ 的動差母函數 $M_{\sssig X}(t)$,前提是存在某個 $h>0$,使這個期望值在 $-h<t<h$ 內皆存在。定義已把 $X$ 加總 (積分) 完畢,所得的結果是 $t$ 的函數而不再殘存 $X$;它至少必須在 $t=0$ 有定義,這一點在下一個定理便派上用場。

動差母函數的初始角色是工具函數。Theorem 2.21 說明它如何生成原動差。對 $t$ 微分 $r$ 次後在 $t=0$ 取值,所得的 $M^{(r)}_{\sssig X}(0)$ 正是 $r$ 階原動差 $\mathbb{E}(X^{r})$,證明的關鍵在於微分與積分可以交換順序。由於 $e^{tX}$ 對 $t$ 無限可微,動差母函數一旦存在就保證各階動差都存在;反過來說,各階動差不全存在的隨機變數沒有動差母函數,可見動差母函數不是任何時候都存在。Theorem 2.22 則走另一個方向。動差母函數存在時,把它在 $t=0$ 泰勒展開,$\frac{\,t^{r}\,}{r!}$ 的係數正是 $\mathbb{E}(X^{r})$。

三道例題示範了三種出發點: Example 2.29 由 pmf 出發,以幾何級數求和得到 $M_{\sssig Y}(t)=\frac{e^{t}}{\,2-e^{t}\,}$ 並附上收斂條件 $t<\ln2$,再由前兩階導數求得變異數;Example 2.30 直接由已知的動差母函數逐階微分求變異數;Example 2.31 由邏輯斯 pdf 出發,先求 cdf 與 $f_{\sssig X}=F_{\sssig X}(1-F_{\sssig X})$ 的關係,再連續兩次代換並套用貝塔積分求出動差母函數。到這裡動差母函數都還只是生成動差的工具,下一篇要介紹的唯一性,才是它真正被大量使用的原因。兩個隨機變數的動差母函數若都存在且相等,它們的分配也就相等,於是我們可以反過來由動差母函數認出一個分配。

參考文獻與延伸閱讀

  • 黃文璋,2010,《機率論》,二版,華泰文化。
  • Robert V. Hogg, Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
  • George Casella and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
  • Patrick Billingsley. 1995. Probability and Measure. 3rd ed. Wiley.