上一篇介紹分位數，把中位數的想法推廣到任意的比例。到這裡為止，期望值、變異數、標準差、眾數、中位數與分位數都已經看過，它們各自描述一個分配的某一個面向，彼此之間看起來並沒有共同的來源。
動差系統與動差母函數這一節，就是把其中幾個量數收進同一套架構之下: 選定一個基準點 $c$ 與一個階數 $r$ 之後，$\mathbb{E}[(X-c)^{r}]$ 就是一個母體動差，期望值與變異數分別是取 $c=0$、$r=1$ 與 $c=\mu_{\sssig X}$、$r=2$ 的結果。本篇先給出母體動差的定義，並依基準點與函數形式分出原動差、主動差與絕對動差；接著介紹兩種動差互相轉換時所需要的二項式定理，並證明兩者確實可以互相表示；最後說明高階絕對動差存在時，低階絕對動差同樣存在。
Definition 2.12 (母體動差, population moment)
若 $X$ 為一隨機變數，且 $\mathbb{E}(\lvert X-c\rvert^{r})<\infty$，則稱
\[\mu_{\sssig r}=\mathbb{E}\bigl[(X-c)^{r}\bigr]\]
為 $X$ 相對於 $c$ 的母體 $r$ 階動差 (population $r$-th moment about $c$)。
在前述定義中，特別地，透過設定不同的 $c$ 以及函數形式，我們可以得到不同的動差如下:
(1) $\mu_{\sssig r}^{\prime}=\mathbb{E}(X^{r})$ 為 $X$ 的母體 $r$ 階原動差 (population $r$-th raw moment)。
(2) $\mu_{\sssig r}=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{r}\bigr]$ 為 $X$ 的母體 $r$ 階主動差 (population $r$-th central moment)。
(3) $\mathbb{E}\bigl[\lvert X\rvert^{r}\bigr]$ 為 $X$ 的母體 $r$ 階絕對動差 (population $r$-th absolute moment)。
Note
Definition 2.12 的 $\mu_{\sssig r}$ 是相對於基準點 $c$ 的動差，要先取定 $c$ 才有確定的值；上面三項則各自取定了基準點與函數形式。其中原動差固定取 $c=0$、主動差固定取 $c=\mu_{\sssig X}$，故本篇其後出現的 $\mu_{\sssig r}$ 與 $\mu_{\sssig k}$ 一律指主動差，$\mu_{\sssig r}^{\prime}$ 與 $\mu_{\sssig k}^{\prime}$ 一律指原動差。
母體動差 (population moment) 有一些地方需要注意:
(1) 上述定義中可以發現，母體一階原動差即為期望值；而母體二階主動差即為變異數。
Note
原動差與主動差又分別被稱作原點動差 (origin moment) 和中央動差 (central moment)。事實上，我們可以在任何一點建立動差，但若不是 $0$ 或 $\mu_{\sssig X}$，則較不具有實務上的意義。
(2) 各階動差都包含描述母體分配的資訊，但我們目前僅知道前四階動差能夠「有實務意義地」描述一個分配。
Note
讀者應該記得，期望值與變異數，在稍早曾被用來分別描述分配的中央趨勢與分散趨勢，這也是動差的功能之一。
(3) 稍後我們會看到動差母函數 (moment generating function, mgf)，這是一個能夠生成任意 $r$ 階原動差的函數。
Theorem 2.18 (二項式定理, binomial theorem)
\[(a+b)^{n}=\sum_{x=0}^{n}\binom{n}{x}a^{x}\,b^{n-x}\]
其中 $a, b\in\mathbb{R}$，$n\in\mathbb{N}$。
二項式定理在原動差與主動差的轉換間，扮演重要的角色，並且在往後的章節中提到二項式分配 (binomial distribution) 時，也將扮演核心的角色。
Example 2.27
Suppose that a random variable $X$ has the probability mass function
\[p_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{1}{\,n\,}, & x=1, 2, \ldots, n\\[0.7em] 0, & \text{elsewhere} \end{array} \right.\]
Show that
\[\mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}+\cdots+1\Biggr]=\frac{\,(n+1)^{k}-1\,}{n}\]
\[\begin{aligned} &\mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}\\[0.2em] &\qquad +\cdots+1\Biggr]=\frac{\,(n+1)^{k}-1\,}{n} \end{aligned}\]
由 Theorem 2.18 可知
\[\begin{aligned} kX^{k-1}+\binom{k}{2}X^{k-2}+\cdots+1&=\sum_{j=1}^{k}\binom{k}{j}1^{j}X^{k-j}\\[0.45em] &=\sum_{j=0}^{k}\binom{k}{j}1^{j}X^{k-j}-X^{k}\\[0.45em] &=(1+X)^{k}-X^{k} \end{aligned}\]
\[\begin{aligned} &kX^{k-1}+\binom{k}{2}X^{k-2}+\cdots+1\\[0.45em] &\quad =\sum_{j=1}^{k}\binom{k}{j}1^{j}X^{k-j}\\[0.45em] &\quad =\sum_{j=0}^{k}\binom{k}{j}1^{j}X^{k-j}-X^{k}\\[0.45em] &\quad =(1+X)^{k}-X^{k} \end{aligned}\]
則
\[\begin{aligned} \mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}+\cdots+1\Biggr]&=\mathbb{E}\bigl[(1+X)^{k}-X^{k}\bigr]\\[0.45em] &=\mathbb{E}\bigl[(1+X)^{k}\bigr]-\mathbb{E}(X^{k}) \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}\\[0.2em] &\qquad +\cdots+1\Biggr]\\[0.45em] &\quad =\mathbb{E}\bigl[(1+X)^{k}-X^{k}\bigr]\\[0.45em] &\quad =\mathbb{E}\bigl[(1+X)^{k}\bigr]-\mathbb{E}(X^{k}) \end{aligned}\]
又
\[\begin{aligned} \mathbb{E}\bigl[(1+X)^{k}\bigr]&=\sum_{x=1}^{n}(1+x)^{k}\cdot\frac{1}{\,n\,}\\[0.45em] &=\frac{1}{\,n\,}\bigl[2^{k}+3^{k}+\cdots+(1+n)^{k}\bigr]\\[0.7em] \mathbb{E}(X^{k})&=\sum_{x=1}^{n}x^{k}\cdot\frac{1}{\,n\,}\\[0.45em] &=\frac{1}{\,n\,}\bigl(1^{k}+2^{k}+\cdots+n^{k}\bigr) \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl[(1+X)^{k}\bigr]=\sum_{x=1}^{n}(1+x)^{k}\cdot\frac{1}{\,n\,}\\[0.45em] &\quad =\frac{1}{\,n\,}\bigl[2^{k}+3^{k}+\cdots\\[0.2em] &\qquad +(1+n)^{k}\bigr]\\[0.7em] &\mathbb{E}(X^{k})=\sum_{x=1}^{n}x^{k}\cdot\frac{1}{\,n\,}\\[0.45em] &\quad =\frac{1}{\,n\,}\bigl(1^{k}+2^{k}+\cdots+n^{k}\bigr) \end{aligned}\]
故可知
\[\begin{aligned} &\mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}+\cdots+1\Biggr]=\mathbb{E}\bigl[(1+X)^{k}\bigr]-\mathbb{E}(X^{k})\\[0.45em] &\quad =\frac{1}{\,n\,}\bigl[2^{k}+3^{k}+\cdots+(1+n)^{k}\bigr]-\frac{1}{\,n\,}\bigl(1^{k}+2^{k}+\cdots+n^{k}\bigr)\\[0.45em] &\quad =\frac{\,(n+1)^{k}-1\,}{n} \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\Biggl[kX^{k-1}+\binom{k}{2}X^{k-2}\\[0.2em] &\qquad +\cdots+1\Biggr]\\[0.45em] &\quad =\mathbb{E}\bigl[(1+X)^{k}\bigr]-\mathbb{E}(X^{k})\\[0.45em] &\quad =\frac{1}{\,n\,}\bigl[2^{k}+3^{k}+\cdots\\[0.2em] &\qquad +(1+n)^{k}\bigr]\\[0.2em] &\qquad -\frac{1}{\,n\,}\bigl(1^{k}+2^{k}+\cdots+n^{k}\bigr)\\[0.45em] &\quad =\frac{\,(n+1)^{k}-1\,}{n} \end{aligned}\]
原式得證。
Theorem 2.19 (原動差與主動差的互換, conversion between raw and central moments)
令 $X$ 為一隨機變數，且 $r$ 階動差存在，則
- $$ \mu_{\sssig r}=\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}^{\prime}\,(-\mu_{\sssig X})^{r-k} $$
- $$ \mu_{\sssig r}^{\prime}=\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}\,\mu_{\sssig X}^{r-k} $$
Proof.
(1) 由 Definition 2.12 及 Theorem 2.18 可知
\[\begin{aligned} \mu_{\sssig r}&=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{r}\bigr]=\mathbb{E}\Bigl[\bigl[X+(-\mu_{\sssig X})\bigr]^{r}\Bigr]\\[0.45em] &=\mathbb{E}\left[\sum_{k=0}^{r}\binom{r}{k}X^{k}\,(-\mu_{\sssig X})^{r-k}\right]\\[0.45em] &=\sum_{k=0}^{r}\binom{r}{k}\mathbb{E}(X^{k})\,(-\mu_{\sssig X})^{r-k}=\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}^{\prime}\,(-\mu_{\sssig X})^{r-k} \end{aligned}\]
\[\begin{aligned} &\mu_{\sssig r}=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{r}\bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl[X+(-\mu_{\sssig X})\bigr]^{r}\Bigr]\\[0.45em] &\quad =\mathbb{E}\left[\sum_{k=0}^{r}\binom{r}{k}X^{k}\,(-\mu_{\sssig X})^{r-k}\right]\\[0.45em] &\quad =\sum_{k=0}^{r}\binom{r}{k}\mathbb{E}(X^{k})\,(-\mu_{\sssig X})^{r-k}\\[0.45em] &\quad =\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}^{\prime}\,(-\mu_{\sssig X})^{r-k} \end{aligned}\]
(2) 由 (1) 同理可知
\[\begin{aligned} \mu_{\sssig r}^{\prime}&=\mathbb{E}(X^{r})=\mathbb{E}\Bigl[\bigl[(X-\mu_{\sssig X})+\mu_{\sssig X}\bigr]^{r}\Bigr]\\[0.45em] &=\mathbb{E}\left[\sum_{k=0}^{r}\binom{r}{k}(X-\mu_{\sssig X})^{k}\,\mu_{\sssig X}^{r-k}\right]\\[0.45em] &=\sum_{k=0}^{r}\binom{r}{k}\mathbb{E}\bigl[(X-\mu_{\sssig X})^{k}\bigr]\,\mu_{\sssig X}^{r-k}=\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}\,\mu_{\sssig X}^{r-k} \end{aligned}\]
\[\begin{aligned} &\mu_{\sssig r}^{\prime}=\mathbb{E}(X^{r})\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl[(X-\mu_{\sssig X})+\mu_{\sssig X}\bigr]^{r}\Bigr]\\[0.45em] &\quad =\mathbb{E}\left[\sum_{k=0}^{r}\binom{r}{k}(X-\mu_{\sssig X})^{k}\,\mu_{\sssig X}^{r-k}\right]\\[0.45em] &\quad =\sum_{k=0}^{r}\binom{r}{k}\mathbb{E}\bigl[(X-\mu_{\sssig X})^{k}\bigr]\,\mu_{\sssig X}^{r-k}\\[0.45em] &\quad =\sum_{k=0}^{r}\binom{r}{k}\mu_{\sssig k}\,\mu_{\sssig X}^{r-k} \end{aligned}\]
原式得證。 $\square$
Theorem 2.19 指出，原動差與主動差可以互相轉換。此外，由於動差母函數可以輕易生成各階的原動差，故即便我們比較常使用主動差來描述分配，但原動差仍佔有一席之地，因為此二種動差之間能夠輕易地轉換。
Theorem 2.20 (高階動差存在則低階動差存在, existence of lower-order moments)
令 $X$ 為一隨機變數，且 $\mathbb{E}\bigl[\lvert X\rvert^{r}\bigr]<\infty$，則
\[\mathbb{E}\bigl[\lvert X\rvert^{s}\bigr]<\infty\]
其中 $0<s<r$。
Proof. 在此僅以連續型隨機變數證明，離散型同理可證。
\[\begin{aligned} \mathbb{E}\bigl[\lvert X\rvert^{s}\bigr]&=\int_{-\infty}^{\infty}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{\lvert x\rvert\leqslant1}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx+\int_{\lvert x\rvert>1}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx\\[0.45em] &\leqslant\int_{\lvert x\rvert\leqslant1}1^{s}f_{\sssig X}(x)\,dx+\int_{\lvert x\rvert>1}\lvert x\rvert^{r}f_{\sssig X}(x)\,dx\\[0.45em] &\leqslant\int_{-\infty}^{\infty}f_{\sssig X}(x)\,dx+\int_{-\infty}^{\infty}\lvert x\rvert^{r}f_{\sssig X}(x)\,dx\\[0.45em] &\leqslant1+\mathbb{E}\bigl[\lvert X\rvert^{r}\bigr]<\infty \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl[\lvert X\rvert^{s}\bigr]=\int_{-\infty}^{\infty}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{\lvert x\rvert\leqslant1}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\lvert x\rvert>1}\lvert x\rvert^{s}f_{\sssig X}(x)\,dx\\[0.45em] &\quad \leqslant\int_{\lvert x\rvert\leqslant1}1^{s}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\lvert x\rvert>1}\lvert x\rvert^{r}f_{\sssig X}(x)\,dx\\[0.45em] &\quad \leqslant\int_{-\infty}^{\infty}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{-\infty}^{\infty}\lvert x\rvert^{r}f_{\sssig X}(x)\,dx\\[0.45em] &\quad \leqslant1+\mathbb{E}\bigl[\lvert X\rvert^{r}\bigr]<\infty \end{aligned}\]
原式得證。 $\square$
Note
這個定理說明了高階動差存在的話，將保證低階動差同樣存在，但這個敘述反過來卻是未必正確的，確實可能會有低階動差存在，但高階動差卻不存在的情形；而低階動差不存在，就直接導致所有更高階的動差都不存在。
Example 2.28
Find a random variable whose first moment is finite while its second moment does not exist.
令連續型隨機變數 $X$ 具有 pdf 如下:
\[f_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{2}{\,x^{3}\,}, & x\geqslant1\\[0.7em] 0, & \text{otherwise} \end{array} \right.\]
則可知道
\[\begin{aligned} \mathbb{E}\bigl[\lvert X\rvert\bigr]&=\int_{1}^{\infty}\lvert x\rvert\,f_{\sssig X}(x)\,dx=\int_{1}^{\infty}x\,f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{1}^{\infty}x\cdot\frac{2}{\,x^{3}\,}\,dx=2<\infty \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl[\lvert X\rvert\bigr]=\int_{1}^{\infty}\lvert x\rvert\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{1}^{\infty}x\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{1}^{\infty}x\cdot\frac{2}{\,x^{3}\,}\,dx=2<\infty \end{aligned}\]
以及
\[\begin{aligned} \mathbb{E}\bigl[\lvert X\rvert^{2}\bigr]&=\int_{1}^{\infty}\lvert x\rvert^{2}f_{\sssig X}(x)\,dx=\int_{1}^{\infty}x^{2}f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{1}^{\infty}x^{2}\cdot\frac{2}{\,x^{3}\,}\,dx=\infty \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl[\lvert X\rvert^{2}\bigr]=\int_{1}^{\infty}\lvert x\rvert^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{1}^{\infty}x^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{1}^{\infty}x^{2}\cdot\frac{2}{\,x^{3}\,}\,dx=\infty \end{aligned}\]
本篇小結
Definition 2.12 以一個基準點 $c$ 與一個階數 $r$ 界定母體動差 $\mathbb{E}[(X-c)^{r}]$，前提是 $\mathbb{E}(\lvert X-c\rvert^{r})<\infty$。取 $c=0$ 得到原動差 $\mu_{\sssig r}^{\prime}=\mathbb{E}(X^{r})$，取 $c=\mu_{\sssig X}$ 得到主動差 $\mu_{\sssig r}=\mathbb{E}[(X-\mu_{\sssig X})^{r}]$，改對絕對值取期望值則得到絕對動差 $\mathbb{E}[\lvert X\rvert^{r}]$。其中一階原動差就是期望值、二階主動差就是變異數，中央趨勢與分散趨勢因而都是動差系統之下的成員。
Theorem 2.18 的二項式定理是兩種動差互相轉換的工具。Theorem 2.19 據此把 $r$ 階主動差寫成各階原動差的組合，也把 $r$ 階原動差寫成各階主動差的組合，兩者因而可以互相求得。實務上描述分配時較常使用主動差，但動差母函數能夠直接生成各階原動差，這個互換的結果讓原動差同樣派得上用場。Example 2.27 以離散均勻分配示範二項式定理在動差計算上的用法，關鍵是把整串含二項式係數的式子併成 $(1+X)^{k}-X^{k}$ 之後再分別求期望值。
Theorem 2.20 則處理各階動差之間的存在性。只要高階絕對動差存在，低階絕對動差就必定存在，證明的作法是以 $\lvert x\rvert\leqslant1$ 與 $\lvert x\rvert>1$ 分段放大。反過來並不成立，Example 2.28 的 $f_{\sssig X}(x)=\frac{2}{x^{3}}$ 就是一階動差存在而二階動差不存在的例子。下一篇以三階與四階主動差為材料，介紹描述分配形狀的偏態係數與峰態係數。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- George Casella and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
- Robert V. Hogg, Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
- Patrick Billingsley. 1995. Probability and Measure. 3rd ed. Wiley.