大數據與喬佈斯的癌症治療

　　蘋果公司的傳奇總裁史蒂夫-喬佈斯在與癌症鬥爭的過程中採用了不同的方式，成為世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此，他支付了高達幾十萬美元的費用，這是23andme報價的幾百倍之多。所以，他得到的不是一個只有一系列標記的樣本，他得到了包括整個基因密碼的數據文檔。

　　對於一個普通的癌症患者，醫生只能期望她的DNA排列同試驗中使用的樣本足夠相似。但是，史蒂夫-喬佈斯的醫生們能夠基於喬佈斯的特定基因組成，按所需效果用藥。如果癌症病變導致藥物失效，醫生可以及時更換另一種藥，也就是喬佈斯所說的，“從一片睡蓮葉跳到另一片上。”喬佈斯開玩笑說：“我要麼是第一個通過這種方式戰勝癌症的人，要麼就是最後一個因為這種方式死於癌症的人。”雖然他的願望都沒有實現，但是這種獲得所有數據而不僅是樣本的方法還是將他的生命延長了好幾年。

　　全數據模式，樣本=總體

　　在信息處理能力受限的時代，世界需要數據分析，卻缺少用來分析所收集數據的工具，因此隨機採樣應運而生，它也可以被視為那個時代的產物。如今，計算和制表不再像過去一樣困難。感應器、手機導航、網站點擊和twitter被動地收集了大量數據，而計算機可以輕易地對這些數據進行處理。

　　採樣的目的就是用最少的數據得到最多的信息。當我們可以獲得海量數據的時候，它就沒有什麼意義了。數據處理技術已經發生了翻天覆地的改變，但我們的方法和思維卻沒有跟上這種改變。

　　然而，採樣一直有一個被我們廣泛承認卻又總有意避開的缺陷，現在這個缺陷越來越難以忽視了。採樣忽視了細節考察。雖然我們別無選擇，只能利用採樣分析法來進行考察，但是在很多領域，從收集部分數據到收集盡可能多的數據的轉變已經發生了。如果可能的話，我們會收集所有的數據，即“樣本=總體”。

　　正如我們所看到的，“樣本=總體”是指我們能對數據進行深度探讨，而採樣幾乎無法達到這樣的效果。上面提到的有關採樣的例子證明，用採樣的方法分析整個人口的情況，正確率可達97%。對於某些事物來說，3%的錯誤率是可以接受的。但是你無法得到一些微觀細節的信息，甚至還會失去對某些特定子類別進行進一步研究的能力。正態分佈是標準的。生活中真正有趣的事情經常藏匿在細節之中，而採樣分析法卻無法捕捉到這些細節。

　　谷歌流感趨勢預測並不是依賴於對隨機樣本的分析，而是分析了整個美國幾十億條互聯網檢索記錄。分析整個資料庫，而不是對一個樣本進行分析，能夠提高微觀層面分析的準確性，甚至能夠推測出某個特定城市的流感狀況，而不只是一個州或是整個國家的情況。Farecast的初始系統使用的樣本包含12000個數據，所以取得了不錯的預測結果。但是隨著奧倫-埃齊奧尼不斷添加更多的數據，預測的結果越來越準確。最終，Farecast使用了每一條航線整整一年的價格數據來進行預測。埃齊奧尼說：“這只是一個暫時性的數據，隨著你收集的數據越來越多，你的預測結果會越來越準確。”

　　所以，我們現在經常會放棄樣本分析這條捷徑，選擇收集全面而完整的數據。我們需要足夠的數據處理和存儲能力，也需要最先進的分析技術。同時，簡單廉價的數據收集方法也很重要。過去，這些問題中的任何一個都很棘手。在一個資源有限的時代，要解決這些問題需要付出很高的代價。但是現在，解決這些難題已經變得簡單容易得多。曾經只有大公司才能做到的事情，現在絕大部分的公司都可以做到了。

　　通過使用所有的數據，我們可以發現如若不然則將會在大量數據中淹沒掉的情況。例如，信用卡詐騙是通過觀察異常情況來識別的，只有掌握了所有的數據才能做到這一點。在這種情況下，異常值是最有用的信息，你可以把它與正常交易情況進行對比。這是一個大數據問題。而且，因為交易是即時的，所以你的數據分析也應該是即時的。

本文摘自《大數據時代》

---

　　 《大數據時代》是國外大數據系統研究的先河之作，本書作者維克託-邁爾-舍恩伯格被譽為“大數據時代的預言家”，擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷，早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。維克託-爾耶-舍恩伯格在本書中前瞻性地指出，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型，並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。
　　維克託最具洞見之處在於，他明確指出，大數據時代最大的轉變就是，放棄對因果關係的渴求，而取而代之關註相關關係。也就是說只要知道“是什麼”，而不需要知道“為什麼”。這颠覆了千百年來人類的思維慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。