「製造」統計顯著的三板斧

最近，有些心理學相關的概念受到嚴重挑戰，其實驗過程難以重製，也就是相同實驗再做一次，難以得到類似結果。

先中招的是社會促發(Social priming)。這是指人們的認知與選擇，會受到環境中的暗示所影響。譬如，先讓人們默念「青蛙」一字，再請他們從二三十瓶葡萄酒中選出自己最喜歡的，結果上面貼青蛙圖案的那瓶，受選比例明顯比較高。

後來又延伸到推力(Nudge)。它的一個典型案例是，在學校自助式食堂裡，稍微改變設計，把蔬菜放在明顯易取之處，炸物放在邊角難拿之處，就可以顯著降低學生的肥胖率。這沒有讓你的選項消失，只是增加你(直覺)選擇的成本，因此被稱為是「自由式家長主義」。

目前挑戰方的說法是，這些實驗受到發表偏差(Publication bias)影響，也就是比較統計顯著的、符合學界既有概念的結果，更容易公開發表出來。廣泛一點說，統計數據上的篩選與詮釋傾向，可能使得研究結果有問題。

不僅如此，至少二十幾年前就已有人發現，在某些情況下，統計顯著可以「製造」。具體來說，這是一套連招、三道板斧：以量取勝、亂槍打鳥、搞小團體。

這得舉例解釋一下。假設我們想要肯定，環境因素能夠增進孩童智力，或說提供好環境的父母會有更聰明的孩子。那麼，怎樣讓我們研究成功的機率大幅提高，或說得出統計顯著的機率大幅提高呢？有個聰明人想出了好辦法。

第一道板斧，是以量取勝。按理來說，我們需要一項指標來代表環境，譬如家中的繪本數量；又需要另一項指標來代表智力，譬如智力測驗的分數。然後對幾十個或幾百個受試家庭進行統計，看兩者有無顯著相關。

但聰明人馬上意識到，如果沒有統計顯著，不就白做工了？不如我把指標從一項變三項，譬如環境部分採用A.家中繪本數量、B.父母學歷程度、C.親子對話時間三項指標，而智力部分採取X.智力測驗、Y.學期成績、Z.得獎數量等。

如此一來，我就可以統計A－X、A－Y、A－Z，B－X、B－Y、B－Z，C－X、C－Y、C－Z等九個相關性，統計顯著的機率，瞬間提高好幾倍。因為九個裡面只要有一個是統計顯著，就可以拿來寫論文、發成果啦！

當然，聰明人不會忘記，論文焦點得要跟著統計結果走。主結論早已決定好，是「教養決定智力」；但候選證據則有九個，如繪本多則智力分數高、父母學歷高則得獎數量高、親子對話多則學期成績好等等，哪個有統計顯著就用哪個。

證據是越多越好。但如果只有一個顯著相關，其他八個全都落空時，論文裡也不用提到它們，我們心裡感謝就好囉。這就是第二道板斧：亂槍打鳥。

講到這裡，八成有人會問：那第三道板斧呢？搞小團體是什麼意思？這算是禁招，是真的極為倒楣，九個都跑不出顯著相關時用的。

簡而言之，聰明人發現，如果找不到父母的哪些條件影響孩童智力，可以把父親和母親分開看。也就是說，把父親、母親的學歷高低、親子對話分開來統計，分別看父親、母親如何影響孩子。

如此一來，你發現統計顯著的機率，又瞬間提高啦！因為候選證據從九個變成十幾個，現在你可以去找父親學歷與孩童智力、母親對話與孩童得獎的相關係數。如果依舊沒有，搞不好還能用年齡分層，三十歲以上的父母，或三十歲以下父母之類的呢。

總歸一句話：如果沒有統計顯著，那就把數據拆成不同部分，多統計幾次，讓它變成有！

必須注意的是，由於數據有波動、有偶然性，這樣的統計顯著可能只是曇花一現，導致實驗結果無法重製。但對許多有論文壓力的學生或教授而言，這是個可行方法，甚至是個好用方法。那位聰明人，想必很快就著作等身了吧。

這類方法，不知是誰先想出來的，但早在哈里斯《教養的迷思》(1998年出版)一書當中，就已明確意識到它的問題所在。哈里斯並沒有說這算造假，也沒主張全部類似研究都有這問題，而是把重點放在：證明因果相關，比否定因果相關要難上很多，但由於研究者們往往已經預設結論，導致他們不會花太多心思去檢驗證據效力。

我不確定，促發或推力之類的研究領域，是否存在著三板斧方法。但它們顯然都遇到一個問題，就是實驗數據有著很大的篩選與詮釋空間，就算不說刻意造假，也會出現偶然的顯著相關，何況有人會讓幸運的偶然更容易出現。

對社會大眾而言，「製造」統計顯著的問題，頗有地圖砲效果，看來掃到一切「原來ＸＸ能夠讓ＹＹ變好」之類的說法，如果它們是藉由實驗統計得出結論的話。也可以說，數字不會騙人，但告訴你數字的人則可能會。