大數據洞察

　　“大數據”通常用概率說話，而不是闆著“確鑿無疑”的面孔。整個社會要習慣這種思維需要很長的時間，其中也會出現一些問題。但現在，有必要指出的是，當我們試圖擴大數據規模的時候，要學會擁抱混亂。

　　我們可以在大量數據對計算機其他領域進步的重要性上看到類似的變化。我們都知道，因為摩爾定律，過去一段時間裡計算機的數據處理能力得到了很大的提高。摩爾定律認為，每塊芯片上晶體管的數量每兩年就會翻一倍。這使得電腦運行更快速了，存儲空間更大了。大家沒有意識到的是，驅動各類系統的算法也進步了——美國總統科技顧問委員會的報告顯示，在很多領域這些算法帶來的進步還要勝過芯片的進步。然而，社會從“大數據”中所能得到的，並非來自運行更快的芯片或更好的算法，而是更多的數據。

　　由於象棋的規則家喻戶曉，且走子限制良多，在過去的幾十年里，象棋算法的變化很小。計算機象棋程序總是步步為贏是由於對殘局掌握得更好了，而之所以能做到這一點也只是因為往系統里加入了更多的數據。實際上，當棋盤上只剩下六枚棋子或更少的時候，這個殘局得到了全面地分析，並且接下來所有可能的走法（樣本=總體）都被制入了一個龐大的數據表格。這個數據表格如果不壓縮的話，會有一太字節那麼多。所以，計算機在這些重要的象棋殘局中表現得完美無缺和不可戰勝。

　　大數據在多大程度上優於算法這個問題在自然語言處理上表現得很明顯（這是關於計算機如何學習和領悟我們在日常生活中使用語言的學科方向）。在2000年的時候，微軟研究中心的米歇爾-班科（MicheleBanko）和埃里克-佈里爾（EricBill）一直在尋求改進word程序中語法檢查的方法。但是他們不能確定是努力改進現有的算法、研發新的方法，還是添加更加細膩精致的特點更有效。所以，在實施這些措施之前，他們決定往現有的算法中添加更多的數據，看看會有什麼不同的變化。很多對計算機學習算法的研究都建立在百萬字左右的語料庫基础上。最後，他們決定往4種常見的算法中逐漸添加數據，先是一千萬字，再到一億字，最後到十億。

　　結果有點令人吃驚。他們發現，隨著數據的增多，4種算法的表現都大幅提高了。

本文摘自《大數據時代》

---

　　 《大數據時代》是國外大數據系統研究的先河之作，本書作者維克託-邁爾-舍恩伯格被譽為“大數據時代的預言家”，擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷，早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。維克託-爾耶-舍恩伯格在本書中前瞻性地指出，大數據帶來的信息風暴正在變革我們的生活、工作和思維，大數據開啟了一次重大的時代轉型，並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。
　　維克託最具洞見之處在於，他明確指出，大數據時代最大的轉變就是，放棄對因果關係的渴求，而取而代之關註相關關係。也就是說只要知道“是什麼”，而不需要知道“為什麼”。這颠覆了千百年來人類的思維慣例，對人類的認知和與世界交流的方式提出了全新的挑戰。