上一篇 把期望值 的計算推廣到隨機變數 的函數 $g(X)$，並給出期望值與線性組合可以交換的性質。期望值指出一個分配的聚集中心，但只有中心並不足以描述一個分配。兩個期望值完全相同的隨機變數，取值散開的程度可以相差很多。
本篇介紹用來衡量這種分散程度的量數，也就是變異數。以下先分別對離散型與連續型給出定義，再導出一個便於計算的公式，接著把它延伸到函數 $g(X)$，然後列出變異數的兩項性質，並由其中的複合性質設定出三個常用的子性質，最後以一張比較圖說明變異數的大小在一個分配上的意義，並以兩道例題示範計算。
Definition 2.7 (變異數, variance)
若 $X$ 為離散型隨機變數，值域為 $\mathcal{R}_{\sssig X}$、pmf 為 $p_{\sssig X}(x)$，二階動差 $\mathbb{E}(\lvert X\rvert^{2})$ 為有限，則以下的量
\[\sigma_{\sssig X}^{2}=\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\sum_{x\in\mathcal{R}_{\sssig X}}(x-\mu_{\sssig X})^{2}\,p_{\sssig X}(x)\]
\[\begin{aligned} &\sigma_{\sssig X}^{2}=\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &\quad =\sum_{x\in\mathcal{R}_{\sssig X}}(x-\mu_{\sssig X})^{2}\,p_{\sssig X}(x) \end{aligned}\]
為 $X$ 的變異數 (variance) 。
若 $X$ 為連續型隨機變數，值域為 $\mathcal{R}_{\sssig X}$、pdf 為 $f_{\sssig X}(x)$，二階動差 $\mathbb{E}(\lvert X\rvert^{2})$ 為有限，則以下的量
\[\sigma_{\sssig X}^{2}=\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\int_{-\infty}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\]
\[\begin{aligned} &\sigma_{\sssig X}^{2}=\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &\quad =\int_{-\infty}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx \end{aligned}\]
為 $X$ 的變異數 。
變異數有一些地方需要注意:
(1) $X$ 的變異數亦常常被記為 $\mathrm{V}(X)$。
(2) 變異數亦是一種期望值，從其定義上來看，變異數是離差平方的期望值 ，而離差 (deviation) 是指隨機變數與其期望值的差，即 $X-\mu_{\sssig X}$，用來指出一個隨機變數的值與其分配中心的距離。
Note
期望值是一種加權平均，故我們可將變異數理解為是一個隨機變數平均的分散程度 或平均的變異程度 。
衡量一個隨機變數的變異程度，是機率與統計中一個重要的課題，特別是在統計檢定中，變異程度更扮演舉足輕重的地位。
(3) 我們稱其為母體變異數，避免與具隨機性的樣本變異數搞混，後者定義為
\[S^{2}=\frac{1}{\,n-1\,}\sum_{i=1}^{n}\bigl(X_{i}-\overline{X}\bigr)^{2}\]Note
變異數與期望值相同，是一個隨機變數的母數，故其當然是常數而不具隨機性。
Proof. 由 Definition 2.7 與 Theorem 2.10 可知
\[\begin{aligned} \mathrm{Var}(X)&=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\mathbb{E}\bigl(X^{2}-2\mu_{\sssig X}X+\mu_{\sssig X}^{2}\bigr)\\[0.45em] &=\mathbb{E}\bigl(X^{2}\bigr)-2\mu_{\sssig X}\mathbb{E}(X)+\mu_{\sssig X}^{2}\\[0.45em] &=\mathbb{E}\bigl(X^{2}\bigr)-2\bigl[\mathbb{E}(X)\bigr]^{2}+\bigl[\mathbb{E}(X)\bigr]^{2}=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2} \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &\quad =\mathbb{E}\bigl(X^{2}-2\mu_{\sssig X}X+\mu_{\sssig X}^{2}\bigr)\\[0.45em] &\quad =\mathbb{E}\bigl(X^{2}\bigr)-2\mu_{\sssig X}\mathbb{E}(X)+\mu_{\sssig X}^{2}\\[0.45em] &\quad =\mathbb{E}\bigl(X^{2}\bigr)-2\bigl[\mathbb{E}(X)\bigr]^{2}+\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &\quad =\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2} \end{aligned}\]
原式得證。 $\square$
Note
計算變異數時，如果總是使用原始定義，其實相當不好計算，有了這個公式的協助，將會容易許多，且其有一個簡單好記的口訣，即變異數是平方的期望值減期望值的平方 。
Theorem 2.12 (函數變異數, variance of a function)
若 $X$ 為離散型 隨機變數，$g(\cdot)$ 為一實值可測函數，$\mathbb{E}\bigl[g^{2}(X)\bigr]$ 為有限，則以下的量
\[\begin{aligned} \mathrm{Var}\bigl[g(X)\bigr]&=\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &=\sum_{x\in\mathcal{R}_{\sssig X}}(g(x)-\mathbb{E}[g(X)])^{2}\,p_{\sssig X}(x) \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}\bigl[g(X)\bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &\quad =\sum_{x\in\mathcal{R}_{\sssig X}}(g(x)-\mathbb{E}[g(X)])^{2}\,p_{\sssig X}(x) \end{aligned}\]
若 $X$ 為連續型 隨機變數，$g(\cdot)$ 為一實值可測函數，$\mathbb{E}\bigl[g^{2}(X)\bigr]$ 為有限，則以下的量
\[\begin{aligned} \mathrm{Var}\bigl[g(X)\bigr]&=\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &=\int_{-\infty}^{\infty}(g(x)-\mathbb{E}[g(X)])^{2}f_{\sssig X}(x)\,dx \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}\bigl[g(X)\bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &\quad =\int_{-\infty}^{\infty}(g(x)-\mathbb{E}[g(X)])^{2}f_{\sssig X}(x)\,dx \end{aligned}\]
Theorem 2.12 與 Definition 2.7 之間的關係，就如同 Theorem 2.9 與 Definition 2.6 之間一樣，是一種延伸的性質，但卻給我們相當程度的方便。
此外，如果套用了 Theorem 2.11 ，我們可以將函數變異數用更簡單的方式來計算，即
\[\mathrm{Var}\bigl[g(X)\bigr]=\mathbb{E}\Bigl[\bigl[g(X)\bigr]^{2}\Bigr]-\Bigl(\mathbb{E}\bigl[g(X)\bigr]\Bigr)^{2}\]
\[\begin{aligned} &\mathrm{Var}\bigl[g(X)\bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl[g(X)\bigr]^{2}\Bigr]-\Bigl(\mathbb{E}\bigl[g(X)\bigr]\Bigr)^{2} \end{aligned}\]
舉例來說，取 $g(X)=X^{2}$ 便有
\[\mathrm{Var}\bigl(X^{2}\bigr)=\mathbb{E}\Bigl[\bigl(X^{2}\bigr)^{2}\Bigr]-\Bigl[\mathbb{E}\bigl(X^{2}\bigr)\Bigr]^{2}=\mathbb{E}\bigl(X^{4}\bigr)-\Bigl[\mathbb{E}\bigl(X^{2}\bigr)\Bigr]^{2}\]
\[\begin{aligned} &\mathrm{Var}\bigl(X^{2}\bigr)=\mathbb{E}\Bigl[\bigl(X^{2}\bigr)^{2}\Bigr]-\Bigl[\mathbb{E}\bigl(X^{2}\bigr)\Bigr]^{2}\\[0.45em] &\quad =\mathbb{E}\bigl(X^{4}\bigr)-\Bigl[\mathbb{E}\bigl(X^{2}\bigr)\Bigr]^{2} \end{aligned}\]
Note
這個式子可以將其寫為母數符號的版本，即
\[\sigma_{\sssig X}^{2}=\mathbb{E}\bigl(X^{2}\bigr)-\mu_{\sssig X}^{2}\]
經過移項後可以得到下面這個重要的結果。
\[\mathbb{E}\bigl(X^{2}\bigr)=\sigma_{\sssig X}^{2}+\mu_{\sssig X}^{2}\]
這個結果在很多統計推論上相當有用，因為許多隨機變數的機率分配雖然母數已知，但其二階原動差並不好算，若有此結果，則我們就能夠繞過繁複的計算。其中，$\mathbb{E}(X^{r})$ 稱作 $X$ 的 $r$ 階原動差，是由卡爾・皮爾森 (Karl Pearson, 1857-1936) 所創立之動差系統 (moment system) 動差母函數 (moment generating function, mgf)
Theorem 2.13 (變異數的性質, variance properties)
若 $X$ 為一隨機變數，$g(\cdot)$ 為一實值可測函數，並且令 $a, b$ 為二常數，且 $\mathbb{E}(\lvert X\rvert^{2})<\infty$ 與 $\mathbb{E}\bigl[g^{2}(X)\bigr]<\infty$，則
$$ \mathrm{Var}(X)\geqslant0 $$ $$ \mathrm{Var}\bigl[ag(X)+b\bigr]=a^{2}\,\mathrm{Var}\bigl[g(X)\bigr] $$ Note
Theorem 2.13 的兩項前提分別對應兩個結論。(1) 斷言的是 $\mathrm{Var}(X)\geqslant0$ 這件事，要先有 $\mathrm{Var}(X)$ 存在才談得上非負，故須 $\mathbb{E}(\lvert X\rvert^{2})$ 為有限，也就是 Definition 2.7 所要求的條件；(2) 的兩側都是 $g(X)$ 的變異數，故須 $\mathbb{E}[g^{2}(X)]<\infty$，即 Theorem 2.12 所要求的條件。這兩個期望值一旦發散，對應的變異數就不存在，該款的敘述也就不成立。
Proof.
(1) 本處的證明我們同樣僅以離散型作為例子，連續型請讀者自行練習。由於平方項恆為非負，也就是
\[(x-\mu_{\sssig X})^{2}\geqslant0,\quad\forall x\in\mathbb{R}\]
故可知
\[\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\sum_{x\in\mathcal{R}_{\sssig X}}(x-\mu_{\sssig X})^{2}\,p_{\sssig X}(x)\geqslant0\]
\[\begin{aligned} &\mathrm{Var}(X)=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &\quad =\sum_{x\in\mathcal{R}_{\sssig X}}(x-\mu_{\sssig X})^{2}\,p_{\sssig X}(x)\geqslant0 \end{aligned}\]
(2) 由 Theorem 2.12 及 Theorem 2.10 可知
\[\begin{aligned} \mathrm{Var}\bigl[ag(X)+b\bigr]&=\mathbb{E}\Bigl[\bigl(\bigl[ag(X)+b\bigr]-\mathbb{E}\bigl[ag(X)+b\bigr]\bigr)^{2}\Bigr]\\[0.45em] &=\mathbb{E}\Bigl[\bigl(\bigl[ag(X)+b\bigr]-\bigl(a\,\mathbb{E}[g(X)]+b\bigr)\bigr)^{2}\Bigr]\\[0.45em] &=\mathbb{E}\Bigl[\bigl(ag(X)-a\,\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &=\mathbb{E}\Bigl[a^{2}\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &=a^{2}\,\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]=a^{2}\,\mathrm{Var}\bigl[g(X)\bigr] \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}\bigl[ag(X)+b\bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl(\bigl[ag(X)+b\bigr]\\[0.2em] &\qquad -\mathbb{E}\bigl[ag(X)+b\bigr]\bigr)^{2}\Bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl(\bigl[ag(X)+b\bigr]\\[0.2em] &\qquad -\bigl(a\,\mathbb{E}[g(X)]+b\bigr)\bigr)^{2}\Bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[\bigl(ag(X)-a\,\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &\quad =\mathbb{E}\Bigl[a^{2}\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &\quad =a^{2}\,\mathbb{E}\Bigl[\bigl(g(X)-\mathbb{E}[g(X)]\bigr)^{2}\Bigr]\\[0.45em] &\quad =a^{2}\,\mathrm{Var}\bigl[g(X)\bigr] \end{aligned}\]
原式得證。 $\square$
Theorem 2.13 中，(1) 被稱為變異數的非負性 ，這個性質相當直觀，因為變異數是用來衡量一個隨機變數的離散程度的母數，故變異數非負是可以想見的。
此外，與 Theorem 2.10 相仿，Theorem 2.13 的 (2) 是一個複合性質的定理，我們可以透過設定 $g(\cdot)$ 與 $a, b$ 的值，來得到許多有用的子性質，見以下設定。
(1) [ 設定 $a=0$ ]
\[\mathrm{Var}(b)=0\]此即常數不具變異性 。
Note
常數不具有隨機性，亦沒有分散程度可言，不具備變異的可能是當然的。常數亦被我們稱做退化隨機變數 (degenerate random variable) ，即所有的機率都發生在單一質點上的隨機變數。
(2) [ 設定 $a=1$，$g(X)=X$ ]
\[\mathrm{Var}(X+b)=\mathrm{Var}(X)\]此即平移不變性 。
Note
變異數是衡量 $X$ 的離散程度的母數，故對 $X$ 平移一個常數 $b$ 的距離，應不改變其分散程度，亦即其變異數與原本相同。
(3) [ 設定 $a\neq0$ 且 $g(X)=X$，$b=0$ ]
\[\mathrm{Var}(aX)=a^{2}\,\mathrm{Var}(X)\]此即平方伸縮性 。
Note
這個結果的直觀在於，變異數若考慮單位，則其單位應為 $X$ 之單位的平方，因為變異數所有的運算，都是平方之後的結果，故若將 $X$ 伸縮一個倍數 $a$，則其變異數應變成原先的 $a^{2}$ 倍。
下面我們便以圖示來理解「變異數的大小」在一個隨機變數的分配上的意義。
Fig. 2.11. 二個期望值完全相同的隨機變數之機率分配，共用同一組座標軸: 較寬的一條變異數較大，較窄的一條變異數較小。 我們可以從這張圖發現，所謂「變異數較大，表示分配較為離散」的意思是在 $X$ 離期望值較遠的地方，相較於變異數小的分配而言，變異數大的分配，具有比較大的機率密度 ；反之，變異數較小的分配，在離期望值較近的地方，有比較大的機率密度，所以我們可以把變異數較小的分配理解為 $X$ 大部分集中在期望值的附近 。
Example 2.15 (Continued)
Suppose that $X$ denotes the number of accidents occurring in Ankang City in a week, and that the probability distribution of the number of accidents is given in the following table.
$x$ $3$ $4$ $5$ $6$ $\mathbb{P}(X=x)$ $0.2$ $0.3$ $0.3$ $0.2$
Find the variance of this distribution. (2) 由前一小題 已求得 $\mathbb{E}(X)=4.5$，而
\[\begin{aligned} \mathbb{E}\bigl(X^{2}\bigr)&=\sum_{x=3}^{6}x^{2}\,\mathbb{P}(X=x)\\[0.45em] &=3^{2}\times0.2+4^{2}\times0.3+5^{2}\times0.3+6^{2}\times0.2\\[0.45em] &=21.3 \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl(X^{2}\bigr)=\sum_{x=3}^{6}x^{2}\,\mathbb{P}(X=x)\\[0.45em] &\quad =3^{2}\times0.2+4^{2}\times0.3+5^{2}\times0.3+6^{2}\times0.2\\[0.45em] &\quad =21.3 \end{aligned}\]
故 $X$ 之變異數為
\[\begin{aligned} \mathrm{Var}(X)&=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &=21.3-(4.5)^{2}\\[0.45em] &=1.05 \end{aligned}\]
\[\begin{aligned} &\mathrm{Var}(X)=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &\quad =21.3-(4.5)^{2}\\[0.45em] &\quad =1.05 \end{aligned}\]
Example 2.10 (Continued)
Suppose that $X$ denotes the growth in demand for electrical power, measured in millions of kilowatt hours, in a certain region over the coming $2$ years, and that the density function of $X$ is
\[f_{\sssig X}(x)= \left\lbrace \begin{array}{c@{\quad}l} \dfrac{1}{64}x^{3}, & 0<x<4\\[0.7em] 0, & \text{otherwise} \end{array} \right.\]
Find the mean and the variance of the growth in demand. (4) 承前三小題 的密度函數，先算出期望值為
\[\mathbb{E}(X)=\int_{0}^{4}x\cdot\frac{1}{64}x^{3}\,dx=\left[\frac{1}{\,320\,}x^{5}\right]_{0}^{4}=\frac{\,16\,}{5}\]
\[\begin{aligned} \mathbb{E}(X)&=\int_{0}^{4}x\cdot\frac{1}{64}x^{3}\,dx\\[0.45em] &=\left[\frac{1}{\,320\,}x^{5}\right]_{0}^{4}=\frac{\,16\,}{5} \end{aligned}\]
再算出平方期望值為
\[\mathbb{E}\bigl(X^{2}\bigr)=\int_{0}^{4}x^{2}\cdot\frac{1}{64}x^{3}\,dx=\left[\frac{1}{\,384\,}x^{6}\right]_{0}^{4}=\frac{\,32\,}{3}\]
\[\begin{aligned} \mathbb{E}\bigl(X^{2}\bigr)&=\int_{0}^{4}x^{2}\cdot\frac{1}{64}x^{3}\,dx\\[0.45em] &=\left[\frac{1}{\,384\,}x^{6}\right]_{0}^{4}=\frac{\,32\,}{3} \end{aligned}\]
故所求的變異數為
\[\mathrm{Var}(X)=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}=\frac{\,32\,}{3}-\left(\frac{16}{5}\right)^{2}=\frac{\,32\,}{75}\fallingdotseq0.4267\]
\[\begin{aligned} &\mathrm{Var}(X)=\mathbb{E}\bigl(X^{2}\bigr)-\bigl[\mathbb{E}(X)\bigr]^{2}\\[0.45em] &\quad =\frac{\,32\,}{3}-\left(\frac{16}{5}\right)^{2}\\[0.45em] &\quad =\frac{\,32\,}{75}\fallingdotseq0.4267 \end{aligned}\]
本篇小結 Definition 2.7 以 $\mathbb{E}(\lvert X\rvert^{2})<\infty$ 為前提，把變異數 $\sigma_{\sssig X}^{2}=\mathrm{Var}(X)$ 定義為離差平方的期望值。離散型以 $p_{\sssig X}(x)$ 為權重對 $(x-\mu_{\sssig X})^{2}$ 加總，連續型則以 $f_{\sssig X}(x)$ 為權重積分。它衡量的是一個隨機變數平均的分散程度，是母數而不具隨機性，指稱時以母體變異數與樣本變異數 $S^{2}$ 區別。
直接由定義計算並不方便，Theorem 2.11 給出 $\mathrm{Var}(X)=\mathbb{E}(X^{2})-[\mathbb{E}(X)]^{2}$ 這條公式，也就是平方的期望值減期望值的平方；同一套作法延伸到函數，便得到 Theorem 2.12 的函數變異數。至於 $\sigma_{\sssig X}^{2}=\mathbb{E}(X^{2})-\mu_{\sssig X}^{2}$ 移項後所得的 $\mathbb{E}(X^{2})=\sigma_{\sssig X}^{2}+\mu_{\sssig X}^{2}$ 這層關係，讓我們得以繞過二階原動差的計算。
Theorem 2.13 的兩項性質，其一是非負性，其二是複合性質 $\mathrm{Var}[ag(X)+b]=a^{2}\mathrm{Var}[g(X)]$ 這一條；由後者設定 $a$、$b$ 與 $g(\cdot)$，依序得到常數不具變異性、平移不變性與平方伸縮性三個子性質。Fig. 2.11 畫出期望值相同而變異數不同的兩個分配，變異數大者在離期望值較遠處仍有較大的密度。Example 2.15 (Continued) 與 Example 2.10 (Continued) 分別以離散型的加總與連續型的積分示範計算公式的用法。下一篇 繼續以例題示範變異數的求算，並介紹期望值使平方離差的期望值達到最小的性質、泰勒近似，以及標準差 。
參考文獻與延伸閱讀 黃文璋，2010，《機率論》，二版，華泰文化。 Sheldon Ross. 2019. A First Course in Probability . 10th ed. Pearson. Morris H. DeGroot and Mark J. Schervish. 2012. Probability and Statistics . 4th ed. Pearson. George Casella and Roger L. Berger. 2002. Statistical Inference . 2nd ed. Duxbury. 