分組、混合與辛普森悖論
Grouping, Mixing, and Simpson’s Paradox
上一篇討論了分割與全機率定理。當樣本空間被切成幾個互斥且沒有遺漏的來源時，整體機率可以看成各來源條件機率的加權平均。
先想一個看似直覺的問題。若一位外科醫師整體的手術成功率比另一位醫師更高，我們就應該選擇這位醫師替自己動手術嗎？這件事真的有那麼自然嗎？事實上，另一位醫師在每種病況中的手術成功率，或許都比這位整體成功率較高的醫師還要高。
原因在於，整體成功率不只受到醫師技術影響，也受到接案組成影響。實力較好的醫師，未必會接到比較容易的案子；他也可能因為經驗較足，被分派或轉介更多高風險、低成功率的病患。相反地，整體成功率較高的那位醫師即使在各種難度的手術分組內，成功率都較低，若主要處理低風險手術，混合後的整體成功率仍可能看起來比較高。
辛普森悖論 (Simpson’s paradox) 則說明另一件事。即使每個分組裡的比較方向都相同，把分組混合起來以後，整體比較仍可能反轉。這種反轉來自混合權重的改變，使我們實際比較的對象也跟著改變。
以下固定令 $(S,\mathcal{F},\mathbb{P})$ 為一個機率空間。令 $C_1,\ldots,C_k$ 為樣本空間的一組分割，也就是這些事件彼此互斥，且合起來沒有遺漏。
混合後的機率是加權平均
令 $A$ 表示某個處理方式，令 $Y$ 表示成功事件。假設 $\mathbb{P}(A)>0$，且只針對 $\mathbb{P}(A\cap C_i)>0$ 的分組計算條件成功率。若 $A$ 已經發生，則在分割 $C_1,\ldots,C_k$ 下，由於 $\mathbb{P}(\,\cdot\,\mid A)$ 仍是一個機率測度，可將全機率定理套用其上，再由乘法原理可得
\[\begin{aligned} \mathbb{P}(Y\mid A) &=\sum_{i=1}^{k}\mathbb{P}(Y\cap C_i\mid A)\\[0.45em] &=\sum_{i=1}^{k}\mathbb{P}(Y\mid A\cap C_i)\,\mathbb{P}(C_i\mid A) \end{aligned}\]由此可知，整體成功率須以 $\mathbb{P}(C_i\mid A)$ 當權重做加權平均，不能單純把各組成功率平均。機率為零的分組其權重 $\mathbb{P}(C_i\mid A)=0$，不影響總和。若兩個處理方式 $A$ 與 $B$ 對應到的分組比例不同，則它們的整體成功率其實是在同一組分組上，用不同的權重混合。
分組內與混合後的比較反轉
假設有兩位醫師，稱為醫師 $A$ 與醫師 $B$。病患可以分為低風險 $C_1$ 與高風險 $C_2$。在每個風險分組內，醫師 $A$ 的手術成功率都比較高。
兩位醫師共治療 $150$ 位病患。以自這 $150$ 位病患中均等可能地隨機抽取一位為隨機實驗，令 $A$、$B$ 分別表示該病患由醫師 $A$、醫師 $B$ 開刀之事件，$Y$ 表示手術成功之事件，$C_1$、$C_2$ 分別表示低風險與高風險之事件。試比較兩位醫師在分組內與整體的手術成功率。
低風險病患中，醫師 $A$ 有 $9$ 人成功、$1$ 人失敗，醫師 $B$ 有 $72$ 人成功、$18$ 人失敗。因此
高風險病患中，醫師 $A$ 有 $24$ 人成功、$16$ 人失敗，醫師 $B$ 有 $5$ 人成功、$5$ 人失敗。因此
在低風險與高風險兩組內，醫師 $A$ 都比較好。不過整體來看，醫師 $A$ 的成功率為
\[\mathbb{P}(Y\mid A)=\frac{9+24}{10+40}=\frac{33}{50}=0.66\]醫師 $B$ 的成功率為
\[\mathbb{P}(Y\mid B)=\frac{72+5}{90+10}=\frac{77}{100}=0.77\]若把高風險 $C_2$ 視為困難手術、低風險 $C_1$ 視為容易手術，兩位醫師的成績如下表，每格記為成功人數與病患人數之比，括號內為對應的成功率。
| 困難手術 $C_2$ | 容易手術 $C_1$ | 整體 | |
|---|---|---|---|
| 醫師 $A$ | $24/40$ ($0.60$) | $9/10$ ($0.90$) | $33/50$ ($0.66$) |
| 醫師 $B$ | $5/10$ ($0.50$) | $72/90$ ($0.80$) | $77/100$ ($0.77$) |
於是，分組內醫師 $A$ 都比較好，混合後卻變成醫師 $B$ 看起來比較好。
這個反轉來自分組比例。醫師 $A$ 的病患中高風險者占了 $40/50$，醫師 $B$ 的病患中高風險者只占 $10/100$。兩個整體成功率不是同一組權重下的比較。
若想親手調整混合比例，可以參考互動展示 Simpson’s Paradox Mixing Lab。它會固定各分組成功率，只讓讀者改變高風險案例比例，觀察整體比較如何反轉。
若只看整體成功率，會認為醫師 $B$ 比較好；若分別看低風險與高風險兩組病患，會認為醫師 $A$ 比較好。
請先不要急著問哪一個結論正確。更好的問題是，這個比較想回答什麼。若目標是比較兩位醫師在相同病況下的手術表現，風險分組可能是必須控制的背景資訊。若目標是描述某個實際制度下的整體結果，混合後的成功率也有它的意義。
辛普森悖論的命名本身也有一點歷史錯位。類似現象早在 Udny Yule 於 1903 年的研究中就已經出現，因此它也常被稱為 Yule-Simpson effect。後來 Edward H. Simpson 在 1951 年用列聯表清楚分析這類反轉，這個名稱才逐漸流傳開來。
它最有名的真實案例之一，是 1973 年 UC Berkeley 研究所入學資料。整體資料看似呈現性別差異，但分科系檢查後，問題其實和不同科系的錄取難度與申請組成密切相關。這個案例顯示，同一份資料在分組前後可以支持相反的結論，因此必須先確認比較的對象。
Colin R. Blyth 在 1972 年把這個現象與決策理論中的 sure-thing principle 相連，指出各分組內一致的比較方向，未必能推廣到混合之後。
本篇小結
本篇由條件機率的加權平均出發，依序整理下列結果:
| 結果 | 內容 |
|---|---|
| 加權平均式 | 整體成功率為各組條件成功率的加權平均 |
| Example 1.27 | 分組內一致的比較方向在混合後反轉 |
| 直覺校準 1.3 | 比較的目的決定應看分組內或混合後的成功率 |
辛普森悖論說明，當我們比較兩個機率時，必須先確認這兩個機率是否在同一組條件下計算。
在本篇的醫師案例中，分組內的成功率與混合後的成功率給出不同方向，差別來自低風險與高風險病患所占比例不同。也就是說，混合不是把資訊變少而已，它也會改變比較時使用的權重。
下一篇會把全機率定理反過來讀。若我們已經觀察到某個結果，該如何回頭判斷它最可能來自哪個來源？這會自然導向貝氏定理。
參考文獻與延伸閱讀
- 黃文璋，2010，《機率論》，二版，華泰文化。
- G. Udny Yule. 1903. “Notes on the Theory of Association of Attributes in Statistics.” Biometrika 2 (2): 121–134.
- Edward H. Simpson. 1951. “The Interpretation of Interaction in Contingency Tables.” Journal of the Royal Statistical Society, Series B 13 (2): 238–241.
- Colin R. Blyth. 1972. “On Simpson’s Paradox and the Sure-Thing Principle.” Journal of the American Statistical Association 67 (338): 364–366.
- P. J. Bickel, E. A. Hammel, and J. W. O’Connell. 1975. “Sex Bias in Graduate Admissions: Data from Berkeley.” Science 187 (4175): 398–404.
- Jan Sprenger and Naftali Weinberger. 2021. “Simpson’s Paradox.” In The Stanford Encyclopedia of Philosophy, Summer 2021 ed., edited by Edward N. Zalta.