小數據時代的隨機採樣,最少的數據獲得最多的信息

2013-09-22 11:45:47

  直到最近,私人企業和個人才擁有了大規模收集和分類數據的能力。在過去,這是只有教會或者政府才能做到的。當然,在很多國家,教會和政府是等同的。有記載的、最早的計數發生在公元前8000年的,當時蘇美爾的商人用黏土珠來記錄出售的商品。大規模的計數則是政府的事情。數千年來,政府都試圖通過收集信息來管理國民。

  以人口普查為例。據說古代埃及曾進行過人口普查,《舊約》和《新約》中對此都有所提及。那次由奧古斯都凱撒主導實施的人口普查,提出了“每個人都必須納稅”,這使得約瑟夫和瑪麗搬到了耶稣的出生地伯利恒。1086年的《末日審判書》(TheDoomsdayBook)對當時英國的人口、土地和財產做了一個前所未有的全面記載。皇家委員穿越整個國家對每個人、每件事都做了記載,後來這本書用《聖經》中的《末日審判書》命名,因為每個人的生活都被赤裸裸地記載下來的過程就像接受“最後的審判”一樣。

  然而,人口普查是一項耗資且費時的事情。國王威廉一世(KingWilliamI)在他發起的《末日審判書》完成之前就去世了。但是,除非放棄收集信息,否則在當時沒有其他辦法。盡管如此,當時收集的信息也只是一個大概情況,實施人口普查的人也知道他們不可能準確記錄下每個人的信息。實際上,“人口普查”這個詞來源於拉丁語的“censere”,意思就是推測、估算。

  三百多年前,一個名叫約翰-格朗特(JohnGraunt)的英國縫紉用品商提出了一個很有新意的方法。他採用了一個新方法推算出鼠疫時期倫敦的人口數,這種方法就是後來的統計學。這個方法不需要一個人一個人地計算。雖然這個方法比較粗糙,但採用這個方法,人們可以利用少量有用的樣本信息來獲取人口的整體情況。

  雖然後來證實他能夠得出正確的數據僅僅是因為運氣好,但在當時他的方法大受歡迎。樣本分析法一直都有較大的漏洞,因此無論是進行人口普查還是其他大數據類的任務,人們還是一直使用具體計數這種“野蠻”的方法。

  考慮到人口普查的複雜性以及耗時耗費的特點,政府極少進行普查。古羅馬人在人口以萬計數的時候每5年普查一次。美國憲法規定每10年進行一次人口普查,因為隨著國家人口越來越多,只能以百萬計數了。但是到19世紀為止,即使這樣不頻繁的人口普查依然很困難,因為數據變化的速度超過了人口普查局統計分析的能力。

本文摘自《大數據時代》


   《大數據時代》是國外大數據系統研究的先河之作,本書作者維克託-邁爾-舍恩伯格被譽為“大數據時代的預言家”,擁有在哈佛大學、牛津大學、耶魯大學和新加坡國立大學等多個互聯網研究重鎮任教的經歷,早在2010年就在《經濟學人》上發佈了長達14頁對大數據應用的前瞻性研究。維克託-爾耶-舍恩伯格在本書中前瞻性地指出,大數據帶來的信息風暴正在變革我們的生活、工作和思維,大數據開啟了一次重大的時代轉型,並用三個部分講述了大數據時代的思維變革、商業變革和管理變革。
  維克託最具洞見之處在於,他明確指出,大數據時代最大的轉變就是,放棄對因果關係的渴求,而取而代之關註相關關係。也就是說只要知道“是什麼”,而不需要知道“為什麼”。這颠覆了千百年來人類的思維慣例,對人類的認知和與世界交流的方式提出了全新的挑戰。

 承諾與聲明

兄弟財經是全球歷史最悠久,信譽最好的外匯返佣代理。多年來兄弟財經兢兢業業,穩定發展,獲得了全球各地投資者的青睞與信任。歷經十餘年的積澱,打造了我們在業內良好的品牌信譽。

本文所含內容及觀點僅為一般信息,並無任何意圖被視為買賣任何貨幣或差價合約的建議或請求。文中所含內容及觀點均可能在不被通知的情況下更改。本文並未考 慮任何特定用戶的特定投資目標、財務狀況和需求。任何引用歷史價格波動或價位水平的信息均基於我們的分析,並不表示或證明此類波動或價位水平有可能在未來 重新發生。本文所載信息之來源雖被認為可靠,但作者不保證它的準確性和完整性,同時作者也不對任何可能因參考本文內容及觀點而產生的任何直接或間接的損失承擔責任。

外匯和其他產品保證金交易存在高風險,不適合所有投資者。虧損可能超出您的帳戶註資。增大槓桿意味著增加風險。在決定交易外匯之前,您需仔細考慮您的財務目標、經驗水平和風險承受能力。文中所含任何意見、新聞、研究、分析、報價或其他信息等都僅 作與本文所含主題相關的一般類信息.

同時, 兄弟財經不提供任何投資、法律或稅務的建議。您需向合適的顧問徵詢所有關於投資、法律或稅務方面的事宜。