上一篇介紹特徵函數，它與動差母函數同樣以一個函數表示整個機率分配。從動差系統到各種母函數，我們一路上處理的都是分配本身的描述；然而實務上經常遇到另一種處境。分配的形式並不清楚，手上只有期望值，或再加上一個變異數。
機率不等式及相關法則這一節處理的正是這種處境，在僅知道低階動差的條件下，為機率給出一個可用的範圍。本篇先給出一條以非負函數界定機率的定理，再由它挑選不同的 $h(\cdot)$，依序導出馬可夫不等式、柴比雪夫不等式與單邊柴比雪夫不等式 (亦即坎特利不等式)，並以兩張圖說明前兩者的直觀意義。這三個不等式所用到的動差訊息都不超過一階與二階。最後把 $h(\cdot)$ 取為 $e^{tx}$，整個動差母函數因而一次被用上，得到的是前提嚴格得多、上界也更貼近真實機率的車諾夫不等式。這五條不等式各自怎麼挑、怎麼代入，留到下一篇以八道例題演練。
機率不等式
Theorem 2.31 (非負函數的機率界限, a bound for nonnegative functions)
令 $h(\cdot)$ 為一非負可測實值函數，$X$ 為一隨機變數，$a>0$ 為一常數且 $\mathbb{E}\bigl[h(X)\bigr]<\infty$，則
\[\mathbb{P}\bigl(h(X)\geqslant a\bigr)\leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a}\]
Proof. 我們在此僅以連續型為例證明，並令 $A=\lbrace\,x\mid h(x)\geqslant a\,\rbrace$，則
\[\begin{aligned} \mathbb{E}\bigl[h(X)\bigr]&=\int_{-\infty}^{\infty}h(x)\,f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{A}h(x)\,f_{\sssig X}(x)\,dx+\int_{A^{\prime}}h(x)\,f_{\sssig X}(x)\,dx\\[0.45em] &\geqslant\int_{A}h(x)\,f_{\sssig X}(x)\,dx\geqslant\int_{A}a\,f_{\sssig X}(x)\,dx\\[0.45em] &=a\int_{A}f_{\sssig X}(x)\,dx=a\,\mathbb{P}(X\in A)=a\,\mathbb{P}\bigl(h(X)\geqslant a\bigr) \end{aligned}\]
\[\begin{aligned} &\mathbb{E}\bigl[h(X)\bigr]=\int_{-\infty}^{\infty}h(x)\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{A}h(x)\,f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{A^{\prime}}h(x)\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad \geqslant\int_{A}h(x)\,f_{\sssig X}(x)\,dx\\[0.45em] &\quad \geqslant\int_{A}a\,f_{\sssig X}(x)\,dx=a\int_{A}f_{\sssig X}(x)\,dx\\[0.45em] &\quad =a\,\mathbb{P}(X\in A)=a\,\mathbb{P}\bigl(h(X)\geqslant a\bigr) \end{aligned}\]
故可得
\[\mathbb{P}\bigl(h(X)\geqslant a\bigr)\leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a}\]
原式得證。 $\square$
Note
前述證明中，特別之處在於 $h(\cdot)$ 是非負的，故 $\mathbb{E}[h(X)]$ 的定義中，任意分段積分都是非負的，因此我們捨棄掉在 $A^{\prime}$ 上的積分，讓不等號出現；又因為 $X\in A$ $\Longleftrightarrow$ $h(X)\geqslant a$，故我們有 $\mathbb{P}(X\in A)=\mathbb{P}(h(X)\geqslant a)$。
事實上，Theorem 2.31 能衍生出許多有用的不等式，如下敘述。
Theorem 2.32 (馬可夫不等式, Markov’s inequality)
若 $X$ 為一非負隨機變數，$a>0$ 為一常數且 $\mathbb{E}(\lvert X\rvert)<\infty$，則
\[\mathbb{P}(X\geqslant a)\leqslant\frac{\,\mathbb{E}(X)\,}{a}\]
Proof. 在 Theorem 2.31 中，可設定 $h(x)=x_{+}=\max\lbrace x,0\rbrace$，此函數連續且非負，因而符合該定理對 $h(\cdot)$ 的要求；又 $X$ 為非負隨機變數，故 $h(X)=X$，可知
\[\mathbb{P}\bigl(h(X)\geqslant a\bigr)=\mathbb{P}(X\geqslant a)\leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a}=\frac{\,\mathbb{E}(X)\,}{a}\]
\[\begin{aligned} &\mathbb{P}\bigl(h(X)\geqslant a\bigr)=\mathbb{P}(X\geqslant a)\\[0.45em] &\quad \leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a}=\frac{\,\mathbb{E}(X)\,}{a} \end{aligned}\]
原式得證。 $\square$
馬可夫不等式 (Markov’s inequality) 有一些地方需要注意:
(1) 除了要求 $X$ 是非負的之外，馬可夫不等式僅要求其期望值存在，故在僅知道期望值 (一階動差) 而完全不知道其機率分配形式，但必須求取機率範圍的時候，特別好用。
Note
儘管如此，實用上來說，這個不等式在 $a\leqslant\mathbb{E}(X)$ 的時候並無法給你任何資訊，因為此時不等式右側的 $\frac{\mathbb{E}(X)}{a}$ 不小於 $1$。
Note
若在 Theorem 2.31 中令 $h(x)=(x_{+})^{r}=\bigl[\max\lbrace x,0\rbrace\bigr]^{r}$，其中 $r>0$，且已知 $\mathbb{E}(\lvert X\rvert^{r})<\infty$，則馬可夫不等式可以進一步擴展為
\[\mathbb{P}(X\geqslant a)\leqslant\frac{\,\mathbb{E}(X^{r})\,}{a^{r}}\]
此處的 $h(x)=(x_{+})^{r}$ 在整條實數線上連續且非負，因而符合該定理對 $h(\cdot)$ 的要求；又 $X$ 為非負隨機變數，故 $h(X)=X^{r}$。我們證明如下:
Proof. 在 Theorem 2.31 中把門檻常數取為 $a^{r}$，則
\[\begin{aligned} \mathbb{P}\bigl(h(X)\geqslant a^{r}\bigr)&=\mathbb{P}(X^{r}\geqslant a^{r})=\mathbb{P}(X\geqslant a)\\[0.45em] &\leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a^{r}}=\frac{\,\mathbb{E}(X^{r})\,}{a^{r}} \end{aligned}\]
\[\begin{aligned} &\mathbb{P}\bigl(h(X)\geqslant a^{r}\bigr)=\mathbb{P}(X^{r}\geqslant a^{r})\\[0.45em] &\quad =\mathbb{P}(X\geqslant a)\leqslant\frac{\,\mathbb{E}\bigl[h(X)\bigr]\,}{a^{r}}\\[0.45em] &\quad =\frac{\,\mathbb{E}(X^{r})\,}{a^{r}} \end{aligned}\]
原式得證。 $\square$
在上述版本的證明中，要刻意將 Theorem 2.31 中的 $a$ 設定為 $a^{r}$，如此才能透過 $h(x)=(x_{+})^{r}$ 得到
\[\mathbb{P}\bigl(h(X)\geqslant a^{r}\bigr)=\mathbb{P}(X^{r}\geqslant a^{r})\leqslant\frac{\,\mathbb{E}(X^{r})\,}{a^{r}}\]
\[\begin{aligned} &\mathbb{P}\bigl(h(X)\geqslant a^{r}\bigr)=\mathbb{P}(X^{r}\geqslant a^{r})\\[0.45em] &\quad \leqslant\frac{\,\mathbb{E}(X^{r})\,}{a^{r}} \end{aligned}\]
再利用
\[\lbrace\,x\mid x^{r}\geqslant a^{r},\ x\geqslant0\,\rbrace=\lbrace\,x\mid x\geqslant a,\ x\geqslant0\,\rbrace\]
\[\begin{aligned} &\lbrace\,x\mid x^{r}\geqslant a^{r},\ x\geqslant0\,\rbrace\\[0.45em] &\quad =\lbrace\,x\mid x\geqslant a,\ x\geqslant0\,\rbrace \end{aligned}\]
可知 $\mathbb{P}(X^{r}\geqslant a^{r})=\mathbb{P}(X\geqslant a)$，得證。
這個版本的馬可夫不等式，可以在稍後要提到的柴比雪夫不等式 (Chebyshev’s inequality) 之證明中，發揮很大的功用。
(2) 馬可夫不等式將隨機變數的機率，與其期望值產生了連結，其核心想法是期望值是分配的聚集中心，正常狀況下，大多數 $X$ 應在其附近，我們便由此衡量「一個非負隨機變數，大於等於某個值」的機率上界。
Note
這個直觀意義，在其變化版本中，更能夠看出來。若 $k>0$ 且 $\mathbb{E}(X)>0$，該版本為
\[\mathbb{P}\bigl(X\geqslant k\,\mathbb{E}(X)\bigr)\leqslant\frac{\mathbb{E}(X)}{\,k\,\mathbb{E}(X)\,}=\frac{1}{\,k\,}\]
也就是衡量「$X$ 不小於 $k$ 倍期望值」的機率，而且此不等式指出，這樣的機率應「不超過 $\frac{1}{k}$」。在原本的不等式中，只要將 $a$ 這個常數替換為 $k$ 倍的期望值 (即 $k\,\mathbb{E}(X)$) 即可得到這個版本。讀者不應忘記 $\mathbb{E}(X)$ 只是一個常數。
一個實際上應用的例子如: 所得不小於世界人均所得十倍的人，並不超過世界人口的十分之一。
若我們用圖示來理解馬可夫不等式，則可以把上述提到的直觀意義化約成下面這張圖:
Fig. 2.19. 馬可夫不等式的圖示。取 $k=1.7$，右側界線落在 $k\,\mathbb{E}(X)$。加上陰影的右尾是事件 $X\geqslant k\,\mathbb{E}(X)$，其機率不超過 $\frac{1}{k}$。Theorem 2.33 (柴比雪夫不等式, Chebyshev’s inequality)
若 $X$ 為一隨機變數，$a>0$ 為一常數且 $\mathbb{E}(X)=\mu_{\sssig X}$ 與 $\mathrm{Var}(X)=\sigma_{\sssig X}^{2}$ 皆為有限，則
\[\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}}\quad\text{且}\quad\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<a\bigr)\geqslant1-\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}}\]
\[\begin{gathered} \mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}}\\[0.45em] \text{且}\quad\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<a\bigr)\geqslant1-\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}} \end{gathered}\]
Proof. 我們在此以馬可夫不等式之擴展版本證明之，令 $h(x)=x^{2}$，則
\[\begin{aligned} \mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)&=\mathbb{P}\bigl(h(\lvert X-\mu_{\sssig X}\rvert)\geqslant h(a)\bigr)\\[0.45em] &=\mathbb{P}\bigl((X-\mu_{\sssig X})^{2}\geqslant a^{2}\bigr)\\[0.45em] &\leqslant\frac{\,\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\,}{a^{2}}=\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}} \end{aligned}\]
\[\begin{aligned} &\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\\[0.45em] &\quad =\mathbb{P}\bigl(h(\lvert X-\mu_{\sssig X}\rvert)\geqslant h(a)\bigr)\\[0.45em] &\quad =\mathbb{P}\bigl((X-\mu_{\sssig X})^{2}\geqslant a^{2}\bigr)\\[0.45em] &\quad \leqslant\frac{\,\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\,}{a^{2}}=\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}} \end{aligned}\]
又餘事件的機率為 $1$ 減去該事件的機率，故可得
\[\begin{aligned} \mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<a\bigr)&=1-\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\\[0.45em] &\geqslant1-\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}} \end{aligned}\]
\[\begin{aligned} &\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<a\bigr)\\[0.45em] &\quad =1-\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\\[0.45em] &\quad \geqslant1-\frac{\,\sigma_{\sssig X}^{2}\,}{a^{2}} \end{aligned}\]
原式得證。 $\square$
柴比雪夫不等式有一些地方需要注意:
(1) 與馬可夫不等式相比，$X$ 不限定於非負的隨機變數，但多要求了變異數必須存在。在僅知道期望值與變異數 (一二階動差) 而完全不知道其機率分配形式，但必須求取機率範圍的時候，是很好用的手段。
(2) 柴比雪夫不等式的概念，類似於馬可夫不等式，只是柴比雪夫不等式是衡量「一個隨機變數，與離其期望值的距離不小於某個值」的機率上界或「一個隨機變數，與離其期望值的距離小於某個值」的機率下界。
Note
這兩個敘述，事實上是相同的，也對應到柴比雪夫不等式的兩個式子。讀者應該可以透過解析其事件範圍，得到二者敘述等價的結論。特別注意的地方是，在連續分配中，是否包含分界點並不重要，但離散分配中卻要特別講究。
Note
柴比雪夫不等式將隨機變數的機率，與期望值和變異數同時產生了連結，其核心與馬可夫不等式完全相同，都在於期望值是分配的聚集中心，正常狀況下大多數 $X$ 應在其附近，只是柴比雪夫不等式使用變異數 (或標準差)，來衡量隨機變數與期望值的距離，並且透過這樣的距離及對應的機率範圍，來衡量「所謂的近是多近、所謂的遠是多遠」。
用標準差來衡量某個點與一個變數之間的距離，被稱作統計距離或是馬氏距離 (Mahalanobis distance)，其概念的直觀，在於將單位所造成的尺度差異消除掉，用以衡量「統計上的遠近」。
(3) 與馬可夫不等式相同，柴比雪夫不等式亦有另一個版本。若 $k>0$ 且 $\sigma_{\sssig X}>0$，則
\[\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,k^{2}\,}\quad\text{且}\quad\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<k\,\sigma_{\sssig X}\bigr)\geqslant1-\frac{1}{\,k^{2}\,}\]
\[\begin{gathered} \mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,k^{2}\,}\\[0.45em] \text{且}\quad\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert<k\,\sigma_{\sssig X}\bigr)\geqslant1-\frac{1}{\,k^{2}\,} \end{gathered}\]
Note
這個版本的作法，與馬可夫不等式的變化版本完全相同，是將原式中的 $a$ 替換為 $k$ 倍的標準差 (即 $k\,\sigma_{\sssig X}$) 而得。
Note
從這裡重新詮釋 Note 的意義，可以得知，其給的直觀是與期望值相距不小於 $k$ 個標準差的範圍內，至多有 $\frac{1}{k^{2}}$ 的機率或是與期望值相距不到 $k$ 個標準差的範圍內，至少有 $1-\frac{1}{k^{2}}$ 的機率。
這個直觀意義相當重要，因為實務上，很多時候我們僅有一些經過彙整的資料 (summarized data)，例如僅有期望值或標準差，但卻需要給一個關於這組資料的機率時，便會需要使用此不等式。
(4) 此不等式無法再被改進。這句話意思是，在僅知道期望值與變異數的狀況下，柴比雪夫不等式所給的機率範圍，在給定的隨機變數範圍中，是最精確的，我們無法在僅知道一二階動差的狀況下，對同一個區間給出更精確的機率範圍。
(5) 事實上柴比雪夫不等式未必要透過馬可夫不等式來證明，亦可直接經由變異數的定義直接證明。我們便順勢將上述第 (3) 點中所提到的另一個版本，直接證明如下:
Proof. 由變異數的定義展開，並將積分區間依 $\mu_{\sssig X}\pm k\,\sigma_{\sssig X}$ 拆成三段，可得
\[\begin{aligned} \sigma_{\sssig X}^{2}&=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]=\int_{-\infty}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &=\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx+\int_{\mu_{\sssig X}-k\,\sigma_{\sssig X}}^{\mu_{\sssig X}+k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.2em] &\quad +\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\geqslant\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx+\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\geqslant\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}k^{2}\sigma_{\sssig X}^{2}\,f_{\sssig X}(x)\,dx+\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}k^{2}\sigma_{\sssig X}^{2}\,f_{\sssig X}(x)\,dx \end{aligned}\]
\[\begin{aligned} &\sigma_{\sssig X}^{2}=\mathbb{E}\bigl[(X-\mu_{\sssig X})^{2}\bigr]\\[0.45em] &\quad =\int_{-\infty}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\quad =\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\mu_{\sssig X}-k\,\sigma_{\sssig X}}^{\mu_{\sssig X}+k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\quad \geqslant\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}(x-\mu_{\sssig X})^{2}f_{\sssig X}(x)\,dx\\[0.45em] &\quad \geqslant\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}k^{2}\sigma_{\sssig X}^{2}\,f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}k^{2}\sigma_{\sssig X}^{2}\,f_{\sssig X}(x)\,dx \end{aligned}\]
其中第二個不等號是因為
\[k^{2}\sigma_{\sssig X}^{2}=\bigl[(\mu_{\sssig X}+k\,\sigma_{\sssig X})-\mu_{\sssig X}\bigr]^{2}=\bigl[(\mu_{\sssig X}-k\,\sigma_{\sssig X})-\mu_{\sssig X}\bigr]^{2}\]
\[\begin{aligned} k^{2}\sigma_{\sssig X}^{2}&=\bigl[(\mu_{\sssig X}+k\,\sigma_{\sssig X})-\mu_{\sssig X}\bigr]^{2}\\[0.45em] &=\bigl[(\mu_{\sssig X}-k\,\sigma_{\sssig X})-\mu_{\sssig X}\bigr]^{2} \end{aligned}\]
而兩段積分區域上的 $(x-\mu_{\sssig X})^{2}$ 皆不小於 $k^{2}\sigma_{\sssig X}^{2}$。故可得
\[\begin{aligned} \sigma_{\sssig X}^{2}&\geqslant k^{2}\sigma_{\sssig X}^{2}\left(\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}f_{\sssig X}(x)\,dx+\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}f_{\sssig X}(x)\,dx\right)\\[0.45em] &=k^{2}\sigma_{\sssig X}^{2}\times\mathbb{P}\bigl(X\leqslant\mu_{\sssig X}-k\,\sigma_{\sssig X}\ \text{或}\ X\geqslant\mu_{\sssig X}+k\,\sigma_{\sssig X}\bigr)\\[0.45em] &=k^{2}\sigma_{\sssig X}^{2}\times\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant k\,\sigma_{\sssig X}\bigr) \end{aligned}\]
\[\begin{aligned} &\sigma_{\sssig X}^{2}\geqslant k^{2}\sigma_{\sssig X}^{2}\Biggl(\int_{-\infty}^{\mu_{\sssig X}-k\,\sigma_{\sssig X}}f_{\sssig X}(x)\,dx\\[0.2em] &\qquad +\int_{\mu_{\sssig X}+k\,\sigma_{\sssig X}}^{\infty}f_{\sssig X}(x)\,dx\Biggr)\\[0.45em] &\quad =k^{2}\sigma_{\sssig X}^{2}\\[0.2em] &\qquad \times\mathbb{P}\bigl(X\leqslant\mu_{\sssig X}-k\,\sigma_{\sssig X}\\[0.2em] &\qquad\quad \ \text{或}\ X\geqslant\mu_{\sssig X}+k\,\sigma_{\sssig X}\bigr)\\[0.45em] &\quad =k^{2}\sigma_{\sssig X}^{2}\times\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant k\,\sigma_{\sssig X}\bigr) \end{aligned}\]
由 $k>0$ 與 $\sigma_{\sssig X}>0$ 可知 $k^{2}\sigma_{\sssig X}^{2}>0$，兩側同除以 $k^{2}\sigma_{\sssig X}^{2}$，即為
\[\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant k\,\sigma_{\sssig X}\bigr)\leqslant\frac{\sigma_{\sssig X}^{2}}{\,k^{2}\sigma_{\sssig X}^{2}\,}=\frac{1}{\,k^{2}\,}\]
原式得證。 $\square$
我們同樣透過圖示，來理解柴比雪夫不等式背後的直觀意義，如下圖:
Fig. 2.20. 柴比雪夫不等式的圖示。取 $k=1.3$，陰影部分為事件 $\lvert X-\mu_{\sssig X}\rvert<k\,\sigma_{\sssig X}$，其機率至少為 $1-\frac{1}{k^{2}}$。上圖明白地呈現了「與期望值相距不到 $k$ 個標準差的範圍 (陰影部分)，至少有 $1-\frac{1}{k^{2}}$ 的機率」；而與其等價的另一段敘述「與期望值相距不小於 $k$ 個標準差的範圍 (未加陰影的部分)，至多有 $\frac{1}{k^{2}}$ 的機率」，亦能夠在圖上看出來。
Note
若讀者較不習慣使用統計距離來理解柴比雪夫不等式，亦可將上圖的 $k\,\sigma_{\sssig X}$ 改寫為 $a$，則其表示式便會對應到 Theorem 2.33 中的原始版本。此外，雖然這個版本的柴比雪夫不等式對 $k$ 只要求 $k>0$，但在實務上，$k\leqslant1$ 時 $\frac{1}{k^{2}}$ 不小於 $1$，是無法提供任何資訊的，因為一個機率本來就要介在 $0$ 到 $1$ 之間。
儘管上圖是以連續型分配作為圖例，但讀者仍不應忘記，柴比雪夫不等式對任意具有期望值與變異數的分配，皆可以使用，其中當然也包含離散型分配，因此在分界點上，等號的方向歸屬應當特別釐清。
Theorem 2.34 (單邊柴比雪夫不等式, one-tailed Chebyshev’s inequality)
若 $X$ 為一隨機變數，$a>0$ 為一常數且 $\mathbb{E}(X)=\mu_{\sssig X}$ 與 $\mathrm{Var}(X)=\sigma_{\sssig X}^{2}$ 皆為有限，則
\[\mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{\,\sigma_{\sssig X}^{2}+a^{2}\,}\quad\text{且}\quad\mathbb{P}\bigl(X-\mu_{\sssig X}\leqslant-a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{\,\sigma_{\sssig X}^{2}+a^{2}\,}\]
\[\begin{gathered} \mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{\,\sigma_{\sssig X}^{2}+a^{2}\,}\\[0.45em] \text{且}\quad\mathbb{P}\bigl(X-\mu_{\sssig X}\leqslant-a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{\,\sigma_{\sssig X}^{2}+a^{2}\,} \end{gathered}\]
Proof. 若 $\sigma_{\sssig X}=0$，則 $\mathbb{P}(X=\mu_{\sssig X})=1$，兩個不等式的左右兩側皆為 $0$，結論成立；以下設 $\sigma_{\sssig X}>0$。令 $Y=X-\mu_{\sssig X}$，則我們有
\[\mathbb{E}(Y)=\mathbb{E}(X-\mu_{\sssig X})=0,\quad\mathrm{Var}(Y)=\mathbb{E}(Y^{2})=\mathrm{Var}(X)=\sigma_{\sssig X}^{2}\]
\[\begin{gathered} \mathbb{E}(Y)=\mathbb{E}(X-\mu_{\sssig X})=0\\[0.45em] \mathrm{Var}(Y)=\mathbb{E}(Y^{2})=\mathrm{Var}(X)=\sigma_{\sssig X}^{2} \end{gathered}\]
令 $h(y)=(y+c)^{2}$，其中 $c>0$，則對於 $Y=X-\mu_{\sssig X}\geqslant a>0$，有 $h(Y)=h(X-\mu_{\sssig X})\geqslant h(a)$。由 Theorem 2.31 可知
\[\begin{aligned} \mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)&=\mathbb{P}(Y\geqslant a)\leqslant\mathbb{P}\bigl(h(Y)\geqslant h(a)\bigr)\\[0.45em] &\leqslant\frac{\,\mathbb{E}\bigl[h(Y)\bigr]\,}{h(a)}=\frac{\,\mathbb{E}\bigl[(Y+c)^{2}\bigr]\,}{(a+c)^{2}},\quad c>0 \end{aligned}\]
\[\begin{aligned} &\mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)=\mathbb{P}(Y\geqslant a)\\[0.45em] &\quad \leqslant\mathbb{P}\bigl(h(Y)\geqslant h(a)\bigr)\leqslant\frac{\,\mathbb{E}\bigl[h(Y)\bigr]\,}{h(a)}\\[0.45em] &\quad =\frac{\,\mathbb{E}\bigl[(Y+c)^{2}\bigr]\,}{(a+c)^{2}},\quad c>0 \end{aligned}\]
此式對每一個 $c>0$ 都成立，此即
\[\mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)\leqslant\inf_{c>0}\frac{\,\mathbb{E}\bigl[(Y+c)^{2}\bigr]\,}{(a+c)^{2}}\]
又由 $\mathbb{E}(Y)=0$ 可知
\[\mathbb{E}\bigl[(Y+c)^{2}\bigr]=\mathbb{E}\bigl[Y^{2}+2cY+c^{2}\bigr]=\mathbb{E}(Y^{2})+c^{2}=\sigma_{\sssig X}^{2}+c^{2}\]
\[\begin{aligned} \mathbb{E}\bigl[(Y+c)^{2}\bigr]&=\mathbb{E}\bigl[Y^{2}+2cY+c^{2}\bigr]\\[0.45em] &=\mathbb{E}(Y^{2})+c^{2}=\sigma_{\sssig X}^{2}+c^{2} \end{aligned}\]
故可知
\[\inf_{c>0}\frac{\,\mathbb{E}\bigl[(Y+c)^{2}\bigr]\,}{(a+c)^{2}}=\inf_{c>0}\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}\]
並可令 $g(c)=\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}$，則由微積分可知，一階條件 (first-order condition, f.o.c.) 為
\[g^{\prime}(c)=\frac{\,2ca-2\sigma_{\sssig X}^{2}\,}{(a+c)^{3}}=0\ \Longrightarrow\ c=\frac{\,\sigma_{\sssig X}^{2}\,}{a}\]
\[\begin{aligned} g^{\prime}(c)&=\frac{\,2ca-2\sigma_{\sssig X}^{2}\,}{(a+c)^{3}}=0\\[0.45em] &\Longrightarrow\ c=\frac{\,\sigma_{\sssig X}^{2}\,}{a} \end{aligned}\]
二階條件 (second-order condition, s.o.c.) 請讀者自行驗證。將 $c$ 代回，則
\[\begin{aligned} \inf_{c>0}\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}&=\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}\Bigg|_{c=\frac{\sigma_{\sssig X}^{2}}{a}}=\frac{\,\sigma_{\sssig X}^{2}+\bigl(\frac{\sigma_{\sssig X}^{2}}{a}\bigr)^{2}\,}{\bigl(a+\frac{\sigma_{\sssig X}^{2}}{a}\bigr)^{2}}\\[0.45em] &=\frac{\,\sigma_{\sssig X}^{2}\bigl(1+\frac{\sigma_{\sssig X}^{2}}{a^{2}}\bigr)\,}{a^{2}\bigl(1+\frac{\sigma_{\sssig X}^{2}}{a^{2}}\bigr)^{2}}=\frac{\sigma_{\sssig X}^{2}}{\,a^{2}+\sigma_{\sssig X}^{2}\,} \end{aligned}\]
\[\begin{aligned} &\inf_{c>0}\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}=\frac{\,\sigma_{\sssig X}^{2}+c^{2}\,}{(a+c)^{2}}\Bigg|_{c=\frac{\sigma_{\sssig X}^{2}}{a}}\\[0.45em] &\quad =\frac{\,\sigma_{\sssig X}^{2}+\bigl(\frac{\sigma_{\sssig X}^{2}}{a}\bigr)^{2}\,}{\bigl(a+\frac{\sigma_{\sssig X}^{2}}{a}\bigr)^{2}}=\frac{\,\sigma_{\sssig X}^{2}\bigl(1+\frac{\sigma_{\sssig X}^{2}}{a^{2}}\bigr)\,}{a^{2}\bigl(1+\frac{\sigma_{\sssig X}^{2}}{a^{2}}\bigr)^{2}}\\[0.45em] &\quad =\frac{\sigma_{\sssig X}^{2}}{\,a^{2}+\sigma_{\sssig X}^{2}\,} \end{aligned}\]
故可知
\[\mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant a\bigr)\leqslant\frac{\,\sigma_{\sssig X}^{2}\,}{\,a^{2}+\sigma_{\sssig X}^{2}\,}\]
另一部分同理可證。原式得證。 $\square$
單邊柴比雪夫不等式 (one-tailed Chebyshev’s inequality) 有一些地方需要注意:
(1) 此不等式又被稱作坎特利不等式 (Cantelli’s inequality)，與馬可夫不等式及柴比雪夫不等式相似，是由 Theorem 2.31，經由挑選特殊的函數 $h(\cdot)$ 所衍生而來。
Note
此不等式與柴比雪夫不等式的密切關係不言可喻，如果我們同時將這個不等式的兩個部分合併，則我們可以得到
\[\mathbb{P}\bigl(\lvert X-\mu_{\sssig X}\rvert\geqslant a\bigr)\leqslant\frac{\,2\,\sigma_{\sssig X}^{2}\,}{\,\sigma_{\sssig X}^{2}+a^{2}\,}\]
這個版本被稱作弱版的柴比雪夫不等式。
雖然坎特利不等式，看起來像是弱化過的柴比雪夫不等式，但事實上，坎特利不等式卻是強化版的馬可夫不等式，其理由是我們應用了更多關於分配的訊息 (即二階動差)，即我們以更多的分配資訊來「改進」其機率上界。稍後我們將看到車諾夫不等式 (Chernoff inequality)，其與馬可夫不等式的關係，亦是運用了更多動差資訊來改進其機率上界。
(2) 與馬可夫不等式、柴比雪夫不等式相仿，坎特利不等式同樣具有另一個版本。若 $k>0$ 且 $\sigma_{\sssig X}>0$，則
\[\mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,1+k^{2}\,}\quad\text{且}\quad\mathbb{P}\bigl(X-\mu_{\sssig X}\leqslant-k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,1+k^{2}\,}\]
\[\begin{gathered} \mathbb{P}\bigl(X-\mu_{\sssig X}\geqslant k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,1+k^{2}\,}\\[0.45em] \text{且}\quad\mathbb{P}\bigl(X-\mu_{\sssig X}\leqslant-k\,\sigma_{\sssig X}\bigr)\leqslant\frac{1}{\,1+k^{2}\,} \end{gathered}\]
Theorem 2.35 (車諾夫不等式, Chernoff inequality)
若 $X$ 為一隨機變數，且存在某個 $h>0$，使得 $\mathbb{E}\bigl(e^{tX}\bigr)$ 在 $-h<t<h$ 區間內皆存在，記其 mgf 為 $M_{\sssig X}(t)$，則
- $$ \mathbb{P}(X\geqslant a)\leqslant e^{-ta}\,M_{\sssig X}(t),\quad\forall\,0<t<h $$
- $$ \mathbb{P}(X\leqslant a)\leqslant e^{-ta}\,M_{\sssig X}(t),\quad\forall\,{-h}<t<0 $$
Proof.
(1) 由於 $0<t<h$，$X\geqslant a$ 與 $t\,X\geqslant t\,a$ 是同一個事件，且 $\mathbb{E}\bigl(e^{tX}\bigr)=M_{\sssig X}(t)$ 為有限值，故由 Theorem 2.31 可知
\[\begin{aligned} \mathbb{P}(X\geqslant a)&=\mathbb{P}(t\,X\geqslant t\,a)=\mathbb{P}\bigl(e^{tX}\geqslant e^{ta}\bigr)\\[0.45em] &\leqslant\frac{\,\mathbb{E}\bigl(e^{tX}\bigr)\,}{e^{ta}}=e^{-ta}\,M_{\sssig X}(t),\quad\forall\,0<t<h \end{aligned}\]
\[\begin{aligned} &\mathbb{P}(X\geqslant a)=\mathbb{P}(t\,X\geqslant t\,a)\\[0.45em] &\quad =\mathbb{P}\bigl(e^{tX}\geqslant e^{ta}\bigr)\leqslant\frac{\,\mathbb{E}\bigl(e^{tX}\bigr)\,}{e^{ta}}\\[0.45em] &\quad =e^{-ta}\,M_{\sssig X}(t),\quad\forall\,0<t<h \end{aligned}\]
(2) 同理，$-h<t<0$ 時兩側同乘 $t$ 會使不等號反向，$X\leqslant a$ 與 $t\,X\geqslant t\,a$ 因而是同一個事件，且 $\mathbb{E}\bigl(e^{tX}\bigr)=M_{\sssig X}(t)$ 同樣為有限值，故由 Theorem 2.31 可知
\[\begin{aligned} \mathbb{P}(X\leqslant a)&=\mathbb{P}(t\,X\geqslant t\,a)=\mathbb{P}\bigl(e^{tX}\geqslant e^{ta}\bigr)\\[0.45em] &\leqslant\frac{\,\mathbb{E}\bigl(e^{tX}\bigr)\,}{e^{ta}}=e^{-ta}\,M_{\sssig X}(t),\quad\forall\,{-h}<t<0 \end{aligned}\]
\[\begin{aligned} &\mathbb{P}(X\leqslant a)=\mathbb{P}(t\,X\geqslant t\,a)\\[0.45em] &\quad =\mathbb{P}\bigl(e^{tX}\geqslant e^{ta}\bigr)\leqslant\frac{\,\mathbb{E}\bigl(e^{tX}\bigr)\,}{e^{ta}}\\[0.45em] &\quad =e^{-ta}\,M_{\sssig X}(t),\quad\forall\,{-h}<t<0 \end{aligned}\]
原式得證。 $\square$
Note
車諾夫不等式可以視為是馬可夫不等式的分支，它們都是由 Theorem 2.31 延伸而來，但是車諾夫不等式的前提卻嚴格得多。讀者應沒有忘記，mgf 若存在，即是要求所有階動差都存在，是一個非常非常強的條件。
就概念上而言，車諾夫不等式由於已知更多關於分配的訊息，因此可以做出更好 (更精確) 的機率上界，此即
\[\mathbb{P}(X\geqslant a)\leqslant\inf_{0<t<h}\,e^{-ta}\,M_{\sssig X}(t)\quad\text{且}\quad\mathbb{P}(X\leqslant a)\leqslant\inf_{-h<t<0}\,e^{-ta}\,M_{\sssig X}(t)\]
\[\begin{gathered} \mathbb{P}(X\geqslant a)\leqslant\inf_{0<t<h}\,e^{-ta}\,M_{\sssig X}(t)\ \ \text{且}\\[0.45em] \mathbb{P}(X\leqslant a)\leqslant\inf_{-h<t<0}\,e^{-ta}\,M_{\sssig X}(t) \end{gathered}\]
亦即，我們可以透過已知的 mgf 與 $a$，搭配微積分，求取一個更好的機率上界。
本篇小結
Theorem 2.31 是本篇三個不等式共同的起點。對非負可測實值函數 $h(\cdot)$ 與常數 $a>0$，只要 $\mathbb{E}[h(X)]<\infty$，就有 $\mathbb{P}(h(X)\geqslant a)$ $\leqslant$ $\frac{\mathbb{E}[h(X)]}{a}$ 這條界限。證明的關鍵有二: 一是把 $\mathbb{E}[h(X)]$ 的積分拆成 $A=\lbrace x\mid h(x)\geqslant a\rbrace$ 與 $A^{\prime}$ 兩段，由 $h(\cdot)$ 非負而捨去 $A^{\prime}$ 上的積分；二是在 $A$ 之上以 $a$ 取代 $h(x)$，再由 $X\in A$ $\Longleftrightarrow$ $h(X)\geqslant a$ 把積分換回機率。
在這條定理中取 $h(x)=x_{+}$，對非負隨機變數即得馬可夫不等式 $\mathbb{P}(X\geqslant a)$ $\leqslant$ $\frac{\mathbb{E}(X)}{a}$，它只用到一階動差；取 $h(x)=(x_{+})^{r}$ 得到擴展版，再以 $r=2$ 施於 $\lvert X-\mu_{\sssig X}\rvert$，便得到柴比雪夫不等式 $\mathbb{P}(\lvert X-\mu_{\sssig X}\rvert\geqslant a)$ $\leqslant$ $\frac{\sigma_{\sssig X}^{2}}{a^{2}}$，它多用了二階動差，因而不再要求隨機變數非負。
這兩條不等式都另有以 $k$ 倍期望值或 $k$ 倍標準差表示的版本，兩個版本都要求 $k>0$，前者另需 $\mathbb{E}(X)>0$、後者另需 $\sigma_{\sssig X}>0$，其直觀分別呈現在 Fig. 2.19 與 Fig. 2.20。前者是右尾的機率不超過 $\frac{1}{k}$，後者是中央區間的機率至少為 $1-\frac{1}{k^{2}}$。柴比雪夫不等式也可以不經由馬可夫不等式，直接由變異數的定義分段放大而得。
Theorem 2.34 的單邊柴比雪夫不等式，亦即坎特利不等式，改取 $h(y)=(y+c)^{2}$ 之後對 $c>0$ 取下確界，把單側的機率界定在 $\frac{\sigma_{\sssig X}^{2}}{\sigma_{\sssig X}^{2}+a^{2}}$ 之內；兩側合併得到的是弱版的柴比雪夫不等式，而在 $\sigma_{\sssig X}>0$ 之下取 $k=1$，則得到中位數與期望值相距不超過一個標準差的結果。以上三個不等式所用的動差訊息都只到二階。
Theorem 2.35 的車諾夫不等式改以動差母函數界定尾機率，$M_{\sssig X}(t)$ 在以 $0$ 為中心的某個開區間內皆存在時，對該區間內每一個 $t>0$ 皆有 $\mathbb{P}(X\geqslant a)$ $\leqslant$ $e^{-ta}M_{\sssig X}(t)$，每一個 $t<0$ 皆有 $\mathbb{P}(X\leqslant a)$ $\leqslant$ $e^{-ta}M_{\sssig X}(t)$。證明的作法是把 $X\geqslant a$ 改寫成 $e^{tX}\geqslant e^{ta}$，再套用同一條非負函數的機率界限，可見它與馬可夫不等式同出一源，差別只在所挑選的函數是 $e^{tx}$，而不是 $x_{+}=\max\lbrace x,0\rbrace$ 或其 $r$ 次方。
由於上尾與下尾兩個版本對每一個合乎範圍的 $t$ 都成立，我們還可以對 $t$ 取下確界，取得其中最小的一個上界。mgf 存在等於要求各階動差都存在，這個前提比前三者都嚴格得多，換來的是更貼近真實機率的上界。這五條不等式的例題集中在下一篇，共八道。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- George Casella and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
- Robert V. Hogg, Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
- Sheldon Ross. 2019. A First Course in Probability. 10th ed. Pearson.