大數據,開啟重大的時代轉型(1)

  大數據開啟了一次重大的時代轉型。與其他新技術一樣,大數據也必然要經歷矽谷臭名昭著的技術成熟度曲線:經過新聞媒體和學術會議的大肆宣傳之後,新技術趨勢一下子跌到谷底,許多數據創業公司變得岌岌可危。當然,不管是過熱期還是幻想破滅期,都非常不利於我們正確理解正在發生的變革的重要性。

  就像望遠鏡能夠讓我們感受宇宙,顯微鏡能夠讓我們觀測微生物,這種能夠收集和分析海量數據的新技術將說明我們更好地理解世界——這種理解世界的新方法我們現在才意識到。本書旨在如實表達出大數據的內涵,而不會過分熱捧它。當然,真正的革命並不在於分析數據的機器,而在於數據本身和我們如何運用數據。

  【大數據先鋒】天文學,信息爆炸的起源。

  只有考慮到社會各個方面的變化趨勢,我們才能真正意識到信息爆炸已經到來。我們的數字世界一直在擴張。以天文學為例,2000年斯隆數字巡天(SloanDigitalSkySurvey)專案啟動的時候,位於新墨西哥州的望遠鏡在短短幾週內收集到的數據,已經比天文學歷史上總共收集的數據還要多。到了2010年,信息檔案已經高達1.4×242字節。不過,預計2016年在智利投入使用的大型視場全景巡天望遠鏡(LargeSynopticSurveyTelescope)能在五天之內就獲得同樣多的信息。

  天文學領域的變化在各個領域都在發生。2003年,人類第一次破譯人體基因密碼的時候,辛苦工作了十年才完成了三十億對堿基對的排序。大約十年之後,世界範圍內的基因儀每15分鐘就可以完成同樣的工作。在金融領域,美國股市每天的成交量高達70億股。而其中三分之二的交易都是由建立在算法公式上的計算機程序完成的。這些程序運用海量數據來預測利益和降低風險。互聯網公司更是要被數據淹沒了。谷歌公司每天要處理超過24拍字節的數據,這意味著其每天的數據處理量是美國國家圖書館所有紙質出版物所含數據量的上千倍。facebook這個創立時間不足十年的公司,每天更新的照片量超過1000萬張,每天人們在網站上點擊“喜歡”(Like)按鈕或者寫評論次數大約有三十億次,這就為facebook公司挖掘用戶喜好提供了大量的數據線索。與此同時,谷歌子公司YouTube每月接待多達8億的訪客,平均每一秒鐘就會有一段長度在一小時以上的影片上傳。twitter上的信息量幾乎每年翻一倍,截至2012年,每天都會發佈超過4億條微博。

  從科學研究到醫療保險,從銀行業到互聯網,各個不同的領域都在講述著一個類似的故事,那就是爆發式增長的數據量。這種增長超過了我們創造機器的速度,甚至超過了我們的想象。

  我們週圍到底有多少數據?增長的速度有多快?許多人試圖測量出一個確切的數字。盡管測量的對象和方法有所不同,但他們都獲得了不同程度的成功。南加利福尼亞大學安嫩伯格通信學院的馬丁?希爾伯特(MartinHilbert)進行了一個比較全面的研究,他試圖得出人類所創造、存儲和傳播的一切信息的確切數目。他的研究範圍不僅包括書籍、圖畫、電子郵件、照片、音樂、影片(模擬和數字),還包括電子遊戲、電話、汽車導航和信件。馬丁?希爾伯特還以收視率和收聽率為基础,對電視、電台這些廣播媒體進行了研究。

  【大數據的力量】據他估算,2007年,人類大約存儲了超過300艾字節的數據。下面這個比喻應該可以說明人們更容易地理解這意味著什麼了。一部完整的數字電影可以壓縮成一個GB的文件,而一個艾字節相當於10億GB,一個澤字節則相當於1024艾字節。總之,這是一個非常龐大的數量。

  有趣的是,在2007年,只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數據,其餘全部是數字數據。但在不久之前,情況卻完全不是這樣的。雖然1960年就有了“信息時代”和“數字村鎮”的概念,但實際上,這些概念仍然是相當新穎的。甚至在2000年的時候,數字存儲信息仍只占全球數據量的四分之一;當時,另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。

本文摘自《大數據時代》


大數據,開啟重大的時代轉型(1)   《大數據時代》是國外大數據系統研究的先河之作,本書作者維克託-邁爾-舍恩伯格被譽為“大數據時代的預言家”,擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷,早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。維克託-爾耶-舍恩伯格在本書中前瞻性地指出,大數據帶來的信息風暴正在變革我們的生活、工作和思維,大數據開啟了一次重大的時代轉型,並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。
  維克託最具洞見之處在於,他明確指出,大數據時代最大的轉變就是,放棄對因果關係的渴求,而取而代之關註相關關係。也就是說只要知道“是什麼”,而不需要知道“為什麼”。這颠覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰。