期望值

上一篇談混合型隨機變數與分解定理。至此，離散型、連續型與混合型的機率函數都已經介紹完畢，一個隨機變數的分配可以由 pmf、pdf 或 cdf 完整描述。

完整的分配包含了全部的資訊，但在許多場合，我們只需要幾個數字就能掌握一個分配的主要特色。本篇介紹其中最基本的一個，期望值。以下先分別給出離散型與連續型的定義，說明它作為加權平均與分配聚集中心的意義，接著以四個例題示範計算，最後介紹非負隨機變數的期望值如何改由尾機率求得。

期望值有一些地方需要注意:

(1) 期望值存在的等價條件是 $\mathbb{E}(\lvert X\rvert)$ 為有限 (或存在)，這個性質被稱作絕對收斂 (absolute convergent)。

(2) 期望值事實上是一種加權平均，可以理解為一個隨機變數的分配中心或是聚集中心。

(3) 由於期望值為隨機變數 $X$ 的平均，故期望值有時候也被稱為 $X$ 的平均數 (mean)。

(4) 期望值 $\mu_{\sssig X}$ 是使得 $\mathbb{E}\bigl[(X-a)^{2}\bigr]$ 達到最小的實數 $a$。

Proof.

(1) 由於 $X$ 為一非負整數隨機變數，故可知 $\mathbb{P}(X\geqslant x)=\sum_{k=x}^{\infty}\mathbb{P}(X=k)$ 成立，則原式右側為

\[\begin{aligned} \sum_{x=1}^{\infty}\sum_{k=x}^{\infty}\mathbb{P}(X=k)&=\sum_{k=1}^{\infty}\sum_{x=1}^{k}\mathbb{P}(X=k)=\sum_{k=1}^{\infty}k\,\mathbb{P}(X=k)\\[0.45em] &=\sum_{x=1}^{\infty}x\,\mathbb{P}(X=x)=\mathbb{E}(X) \end{aligned}\]

\[\begin{aligned} \sum_{x=1}^{\infty}\sum_{k=x}^{\infty}\mathbb{P}(X=k)&=\sum_{k=1}^{\infty}\sum_{x=1}^{k}\mathbb{P}(X=k)\\[0.45em] &=\sum_{k=1}^{\infty}k\,\mathbb{P}(X=k)\\[0.45em] &=\sum_{x=1}^{\infty}x\,\mathbb{P}(X=x)\\[0.45em] &=\mathbb{E}(X) \end{aligned}\]

Note

上式的加總順序交換，會導致下標 (index) 的範圍隨之更動。原本的加總方式如下。

\[\sum_{x=1}^{\infty}\,\sum_{k=x}^{\infty}\,\mathbb{P}(X=k)\]

我們是先將 $\mathbb{P}(X=k)$ 沿著 $k$ 軸，從 $k=x$ 開始加總至 $\infty$，再沿著 $x$ 軸，從 $1$ 開始加總至 $\infty$，從圖形上而言，可以如下理解。

上圖中的黑點部分，代表在該雙重加總中，需要被加總的 $(k,x)$ 數對，而每一個點對應的機率 $\mathbb{P}(X=k)$ 都只與其 $k$ 座標有關。如果將加總的變數順序調換之後，會變成如下。

\[\sum_{k=1}^{\infty}\,\sum_{x=1}^{k}\,\mathbb{P}(X=k)\]

其加總順序則對應到下圖，沿 $x$ 軸先開始加總，從 $x=1$ 到 $x=k$，再來才沿 $k$ 軸進行加總，從 $k=1$ 到 $\infty$。

這種調換加總順序的技巧，也能對應到連續型的積分，其範圍的轉換原理是相同的，見下列證明。

(2) 由於 $X$ 為一非負連續隨機變數，故可知 $\mathbb{P}(X>x)=\int_{x}^{\infty}f_{\sssig X}(t)\,dt$，則原式右側為

\[\begin{aligned} \int_{0}^{\infty}\int_{x}^{\infty}f_{\sssig X}(t)\,dt\,dx&=\int_{0}^{\infty}\int_{0}^{t}f_{\sssig X}(t)\,dx\,dt=\int_{0}^{\infty}\left(\int_{0}^{t}1\,dx\right)f_{\sssig X}(t)\,dt\\[0.45em] &=\int_{0}^{\infty}t\,f_{\sssig X}(t)\,dt=\int_{0}^{\infty}x\,f_{\sssig X}(x)\,dx=\mathbb{E}(X) \end{aligned}\]

\[\begin{aligned} &\int_{0}^{\infty}\int_{x}^{\infty}f_{\sssig X}(t)\,dt\,dx\\[0.45em] &\quad =\int_{0}^{\infty}\int_{0}^{t}f_{\sssig X}(t)\,dx\,dt\\[0.45em] &\quad =\int_{0}^{\infty}\left(\int_{0}^{t}1\,dx\right)f_{\sssig X}(t)\,dt\\[0.45em] &\quad =\int_{0}^{\infty}t\,f_{\sssig X}(t)\,dt\\[0.45em] &\quad =\int_{0}^{\infty}x\,f_{\sssig X}(x)\,dx=\mathbb{E}(X) \end{aligned}\]

又由 $\mathbb{P}(X>x)=1-\mathbb{P}(X\leqslant x)=\;$$1-F_{\sssig X}(x)$，原式得證。 $\square$

本篇小結

Definition 2.6 以絕對收斂為前提，分別對離散型與連續型給出期望值 $\mu_{\sssig X}=\mathbb{E}(X)$。離散型是以 $p_{\sssig X}(x)$ 為權重對各個取值加總，連續型則是以 $f_{\sssig X}(x)$ 為權重對取值積分。兩者都是加權平均，也就是一個分配的聚集中心；在質點的類比之下，取值是位置、機率是質量，期望值就是質心。期望值也是使 $\mathbb{E}\bigl[(X-a)^{2}\bigr]$ 達到最小的實數 $a$，故亦被稱為 $X$ 的平均數，指稱時以母體平均與樣本平均區別。

四個例題示範了不同型態的計算。Example 2.15 是有限個質點的直接加權，Example 2.3 (Continued) 是無窮級數，並列出級數錯位相減、微分與加總交換，以及尾機率三種做法，Example 2.6 (Continued) 是連續型的積分，Example 2.14 (Continued) 則是混合型，把離散部分與連續部分分開計算，其結果亦為 $\mu_{\sssig d}$ 與 $\mu_{\sssig c}$ 以 $\alpha$ 與 $1-\alpha$ 為權重的加權平均。

Theorem 2.8 給出非負隨機變數期望值的另一種表示，離散型為尾機率 $\mathbb{P}(X\geqslant x)$ 的加總，連續型為 $1-F_{\sssig X}(x)$ 的積分。它的證明是把雙重加總與二重積分的順序交換，Fig. 2.9 與 Fig. 2.10 畫出了交換前後所加總的同一組數對。下一篇討論隨機變數之函數的期望值，以及期望值本身的性質。

參考文獻與延伸閱讀

• 黃文璋，2010，《機率論》，二版，華泰文化。
• Sheldon Ross. 2019. A First Course in Probability. 10th ed. Pearson.
• Joseph K. Blitzstein and Jessica Hwang. 2019. Introduction to Probability. 2nd ed. Chapman and Hall/CRC.
• George Casella and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.