我們生活在一個任何人都無法擺脫數(shù)據(jù)的大數(shù)據(jù)時代。數(shù)據(jù)越多，人們做出的分析就越多——呈現(xiàn)指數(shù)增長；人們分析得越多，制造出的煙幕彈也就越多。因此，保持清醒的頭腦就變得非常重要。
大數(shù)據(jù)是高科技時代的流行語，它大約出現(xiàn)在2010 年。這個行業(yè)喜歡將兩個詞組織起來表達一個概念，就跟史蒂文· 西格爾（Steven Seagal）喜歡用兩個詞為他的電影命名一樣。大數(shù)據(jù)是“寬
帶”、“無線”、“社交媒體”或“網(wǎng)站”這類新概念的后裔。它表示海量的數(shù)據(jù)，僅此而已。
隸屬于被譽為“傳奇”的麥肯錫管理咨詢公司的麥肯錫全球研究院談起“大數(shù)據(jù)”時說道：“這個概念指的是那些規(guī)模巨大到通常的數(shù)據(jù)處理軟件都無法捕捉、存儲、管理和分析的數(shù)據(jù)集�！备鶕�(jù)2011 年其發(fā)表的第一份“大數(shù)據(jù)”報告，這些研究者所認為的“大”是指每家企業(yè)所擁有的數(shù)據(jù)達到幾十個乃至上千太字節(jié)（Terabyte）。
我們對“大數(shù)據(jù)”的理解要比工業(yè)標準更全面。我們之所以關心這個問題，不是因為數(shù)據(jù)越來越多，而是因為對數(shù)據(jù)的分析越來越多了。我們不得不投入更多的人手以便能更多、更快地分析數(shù)據(jù)。真正驅(qū)動我們這樣做的不是數(shù)據(jù)的數(shù)量而是數(shù)據(jù)的價值。如果我們想深入研究失業(yè)、通貨膨脹或者其他經(jīng)濟指標，我們可以從美國勞工統(tǒng)計局（the Bureau of Labor Statistics）的網(wǎng)站上下載大量的數(shù)據(jù)集。如果某位紐約居民對某飯店的“B”健康等級感興趣，他就可以在紐約市的健康與心理衛(wèi)生部（Department of Health and Mental Hygiene）的在線數(shù)據(jù)庫中，查閱違規(guī)飯店名單。幾年前，當豐田汽車被接連曝出存在突然加速的隱患時，我們了解到美國國家公路交通安全管理局（National Highway Traffic Safety Administration）設立了一個開放資源中心，用來存儲關于駕駛員安全方面的投訴。自1990 年代初，任何人都可以從雅虎財經(jīng)、億創(chuàng)理財（E*Trade）等網(wǎng)站上，下載到股票、共同基金以及其他金融產(chǎn)品的運作情況。有時，甚至連公司也會參與其中，使得一些專有的數(shù)據(jù)公開化。2006 年，美國最大的在線DVD 租賃商奈飛公司（Netflix）統(tǒng)計并發(fā)布了1 億部電影的分類等級，并征募科學家來改進預測算法。玩家們通過研究統(tǒng)計數(shù)字來獲得競爭優(yōu)勢，從而將“夢幻體育”（Fantasy Sports）這個游戲推到了一個新的高度。那些過去印刷在紙版書的數(shù)據(jù)，如今以電子表格的形式在互聯(lián)網(wǎng)上迅速傳播。數(shù)據(jù)是免費的，又很容易獲得，這必然會產(chǎn)生更多的數(shù)據(jù)分析。
比爾· 蓋茨是美國企業(yè)成功故事的典型代表。這個絕頂聰明的孩子，大學中途退學，創(chuàng)辦自己的軟件公司。而且他們公司開發(fā)的軟件，最終用在了世界90% 的電腦上，比爾也因此賺到了數(shù)十億美元的財富。后來，他退出江湖，將大部分財富捐獻給慈善事業(yè)。比爾以自己和妻子的名義成立了“比爾& 梅琳達· 蓋茨基金會”（Bill & Melinda Gates Foundation）。而且我們很高興地看到該基金會在許多領域進行了大膽投資。它涉足的領域包括在發(fā)展中國家進行瘧疾預防，在美國進行中學改革，以及對艾滋�。℉IV/AIDS）的研究。蓋茨基金會因依靠數(shù)據(jù)來做出明智的決定，從而贏得了良好的聲譽。
但這并不意味著他們不會犯錯。蓋茨在千禧年開始之際，大力支持小型學校運動，他在全美范圍內(nèi)選出了一些學校，并往這些學校投入了上億美元。證據(jù)A 是當時的一項統(tǒng)計發(fā)現(xiàn)：在全美表現(xiàn)最好的學校中，小型學校所占的比例不均衡。例如，在賓夕法尼亞州，按照五年級的閱讀成績評出的前50 所學校中，12% 是小型學校。要是學生的成績跟學校的規(guī)模無關，那么規(guī)模大的學校在這50 所名校中所占的比例應該是小型學校的四倍。因此，學校規(guī)模被認為是影響教學質(zhì)量的重要因素——每個年級最多不能超過100 名學生。而蓋茨基金會設計的一套改造方案，就是將大型學校拆分成更小、更高效的小型學校。
舉例來說，2003 年新學年伊始，在華盛頓的芒特萊克泰勒斯高中（Mountlake Terrace High School）讀書的1 800 名學生發(fā)現(xiàn)，自己的學校被分成了五所小型學校，學校的名字分別叫做“發(fā)現(xiàn)學�！薄ⅰ案母飳W�！薄ⅰ皬团d學�！钡取２贿^，校址沒有改變，還是在以前的大樓里。蓋茨基金會教育處執(zhí)行主任湯姆· 范德· 阿爾克（Tom Vander Ark）解釋說：“大多數(shù)窮人家的孩子，不得不進規(guī)模大的學校念書，在那里沒人認識他們，他們被甩進了一條難以出頭的死路……小型學校只不過營造了一個（比大型學校）更好的成長環(huán)境。在那里，比較容易形成積極的氛圍，產(chǎn)生較高的期望值，也更容易優(yōu)化課程設置，改進教學質(zhì)量�！�
十年以后，蓋茨基金會卻發(fā)生了徹底的轉(zhuǎn)變，它不再將學校的規(guī)模視為解決學生成績問題的唯一方法，而開始致力于設計富有新意的課程以及提升教學質(zhì)量。蓋茨基金會對學校重組前后的效果進行了細致的調(diào)查研究，結(jié)果發(fā)現(xiàn)，重組后的學校平均成績沒有變得更好，相反，在某些個例中變得更差了。
統(tǒng)計學家霍華德· 魏訥（Howard Wainer）在美國教育考試服務中心（Educational Testing Services）度過了最好的職業(yè)生涯。魏訥曾抱怨道：“這數(shù)百萬美元的錯誤，本來是可以避免的�！痹谏厦嫣岬降膶�賓夕法尼亞州的學校進行的同一分析中，魏訥指出，雖然小型學校在前50 所學校中占了12% 的份額，但同時要看到，在后50 所學校中，有18% 是小型學校。簡單來說，小型學校在這個分布的兩端所占的比例都偏高。不管強調(diào)哪一部分數(shù)據(jù)，分析師們都會得出完全相反的結(jié)論。在對飛機晚點的研究中，我們見過類似的情況。問題的關鍵不在于多少數(shù)據(jù)被分析，而是被如何分析。
蓋茨基金會的故事證明了另外一點：數(shù)據(jù)分析是一件棘手的事，無論是權威專家還是經(jīng)驗豐富的行家，都不能擔保不出錯。不管一個人的腦袋瓜多么靈光，總會有一定的犯錯范圍。這是因為，沒有人能夠掌握所有信息�！澳鞘窃陧敿馄诳�上發(fā)表的”、“別瞎懷疑了，登在這本期刊上的文章難道會有錯？！”這樣的話經(jīng)常拿來當做堵住別人嘴巴的借口。生活在大數(shù)據(jù)時代，只有傻瓜才會采取這種態(tài)度。你聽說過很多研究，試圖在某種疾病與某種基因之間建立聯(lián)系，比如，帕金森癥和高血壓。可是，你知道嗎？經(jīng)過同行評審、并得到同行認可的遺傳學關聯(lián)性研究成果，只有30% 能被后續(xù)的研究證實，其余的都是假陽性結(jié)果（false-positive result）。那些聲稱是原創(chuàng)性的研究成果，還沒來得及出版勘誤表，就已經(jīng)被推翻了。不過，話又說回來，我還是希望專家能發(fā)表一些質(zhì)量稍高的分析報告。
大數(shù)據(jù)在因果關系這個問題上，實際上沒什么好講的。不過，存在一種普遍的誤解，以為海量的數(shù)據(jù)流能夠?qū)㈦[藏著的“因果關系”沖出地面。請想一下點擊流吧，網(wǎng)絡營銷人員借助點擊追蹤網(wǎng)絡用戶，來以此證明網(wǎng)絡營銷是成功的。顧客點擊了一個網(wǎng)頁橫幅廣告或者搜索廣告，然后下了訂單，這不就足以證明網(wǎng)絡營銷成功了嗎？還需要什么更有力的證據(jù)嗎？現(xiàn)實情況遠非如此簡單明了。比方說，我在網(wǎng)上點了一個三星蓋世（Galaxy）的橫幅廣告，隨后將這款手機放進了購物車。一個星期后，我觀看了他們抨擊蘋果的廣告，覺得很過癮，于是，我回到三星的網(wǎng)店完成了這筆交易。分析人員在仔細分析網(wǎng)絡日志時，不但會漏掉促使我行動的真實原因，而且會犯假陽性錯誤，將橫幅廣告跟此次購買行為捆綁在了一起。因為網(wǎng)絡營銷人員能看到的只有這些。這些小問題在網(wǎng)絡分析員的生活中稀松
平常。
大數(shù)據(jù)不僅意味著有更多好的分析，也意味著會有更多壞的分析。要知道，即便是專家和技術大牛也有掉鏈子的時候。如果一些不好的數(shù)據(jù)被心懷叵測的可疑人員添油加醋地利用，事情會變得更糟糕；不過，即便是動機純潔的分析人員稍有不慎也會上當受騙。在這個充滿數(shù)據(jù)的世界中，消費者得有一副火眼金睛才行��！
大數(shù)據(jù)是真實的，而其影響更是廣泛的。至少，我們每個人都是數(shù)據(jù)分析的消費者。因此，我們必須學會成為一個聰明的消費者。我們需要具備的是一種數(shù)字直覺。
數(shù)字直覺是我在招聘數(shù)據(jù)分析員時最為看重的一種品質(zhì)。它能將真正的天才從“還不錯”中區(qū)別開來。我希望在應聘者身上發(fā)現(xiàn)三樣東西：一個是數(shù)字直覺，其他兩樣分別是技術能力跟商業(yè)思維。有些人可能在編程方面無人能敵，但卻沒有一點數(shù)字直覺；有些人可能是個講故事的高手，能將一個個的情節(jié)串聯(lián)起來，但是卻沒有任何數(shù)字直覺。數(shù)字直覺是第三維度。
我寫作這本書的目的是引你上路。本書的每一章都是由近期讀到的一則新聞觸發(fā)靈感而寫成的。在這些新聞故事中，有人提出了一些觀點，并且援引數(shù)據(jù)來證明自己的觀點。我通過提一些尖銳的問題，檢查一致性，數(shù)理論證，有時候，也會通過獲取并分析相關數(shù)據(jù)，來展示我是如何驗證這些觀點的。比如，我會質(zhì)疑高朋（Groupon）的商業(yè)模型有意義嗎？一種檢測肥胖的新方法能解決我們最大的健康危機嗎？克萊蒙德麥肯那學院（Claremont McKenna College）在學院排名游戲中小規(guī)模作弊了嗎？政府公布的通脹跟失業(yè)數(shù)據(jù)值得信任嗎？我們?nèi)绾卧u價夢幻體育聯(lián)盟的表現(xiàn)？當商家通過追蹤我們的活動來實現(xiàn)個性化營銷時，我們會從中受益嗎？
即使是專家有時候也會掉進數(shù)據(jù)的陷阱中。如果我在這本書里面也犯了此類的錯誤，那么責任完全在我。要是我沒有把觀點講得足夠清楚，那就意味著這些數(shù)據(jù)的分析方法不止一種。我鼓勵你們形成自己的觀點。只有通過這樣的練習實踐，才能培養(yǎng)出你自己的數(shù)字直覺。
歡迎來到大數(shù)據(jù)時代，不過，要處處留神才是！