馬雲曾經在一次演講中說道:“人類正從IT時代走向DT時代。”什麼是DT,與IT有什麼不一樣呢?
對於IT,人們已經耳熟能詳。馬雲提出,IT時代是以自我控制、自我管理為主的時代,而DT時代是以服務大衆、激發生產力為主的時代。這兩者之間看起來似乎是一種技術的差異,但實際上是思想觀念層面的差異。DT時代,數據成為人類的第二母語,互聯網不再只是一種技術工具、一種工作手段,它將深刻改變我們的生活方式、生產方式和思維方式,衆聯、衆包、衆創、衆籌被人們越來越熟知,平等思維、共享思維、扁平化思維、跨界思維、場景思維被人們越來越多地掌握和運用。DT的核心,是關於數據驅動的創新,也就是基於海量數據的巨大價值挖掘為核心的創新體系及模式。如果說IT時代是以信息流為中心,DT時代就是以數據流為中心;如果說IT時代的特點是占有、掌握、傳輸和控制,DT時代則越來越講究開放、透明、體驗和分享。
按照馬雲的說法,DT不僅僅是技術的提升,還是思想觀念的提升。正是基於對這樣一種理念的認同,本書也堅持同一取向,即不談技術,只談思想;不談數據,只談觀念。
從知識時代到信息時代再到DT時代
知識就是力量,信息就是能量。在DT時代,數據就是變量—“數據×”,即乘數效應,乘數改變一切。擁有知識,讓作為個體的人戰勝了恐懼、無助和無知;信息時代,將爆炸了的知識聚合到一起,激發出不同於工業時代取代農業時代所發生的變化的能量。
DT時代,數據之所以成為變量,是由知識經濟時代數據傳輸的單維到信息時代的雙維再到DT時代的多維轉變所決定和影響的。數據是多維的,多維數據的智能化集成,轉變成為一種多維變量。在電影《星際穿越》中,有一個五維空間假說。不同於我們所在的三維空間,宇宙學家將時間看作第四維,而第五維指的是能量無界限。把這個五維空間假說引入DT時代,大數據也存在一個五“V”空間:第一個維度是數量(Volume),主要表現為數據量的快速增大;第二個維度是速度(Velocity),主要表現在數據增長的速度在加快;第三個維度是數據的多樣性(Variety),即新的數據來源和新的數據種類的增加;第四個維度是數據的價值(Value),即通過對這些數據的使用和挖掘產生價值;而第五個維度也即最重要的一個“V”,就是“數聚”(Variable),它使前面四個“V”的數據發生幾何級數的變化,從而讓數據實現從量變到質變的飛躍。正如美國麻省理工學院的埃裡克•佈賴恩約弗森 曾比喻的,大數據的影響,就像4個世紀之前人類發明的顯微鏡一樣。顯微鏡把人類對自然界的觀察和測量水平推進到細胞級別,給人類社會帶來了歷史性的進步和革命。大數據具有體量大、結構多樣、時效強等特徵,處理大數據也需採用新型計算架構和智能算法等新技術。同時,大數據的應用強調以新的理念應用於輔助決策、發現新的知識,更強調在線閉環的業務流程優化。因此,大數據不僅“大”,而且“新”,是新資源、新工具和新應用的綜合體,它將成為我們下一個觀察人類自身社會行為的“顯微鏡”和監測大自然的“儀表盤”。
需要說明的是,物理學中的維度是從數學上定義的。從這個意義上來說,6維、7維乃至更高維度都是有的。現代物理學界公認的理論是8維空間,分為X維(物體的長)、Y維(物體的寬)、Z維(物體的高)、時間維、重力維、電磁力維、萬有引力維、萬有斥力維。而著名的科學家霍金所提出的宇宙模型,定義了11維空間!面對從知識爆炸到信息爆炸再到數據爆炸的DT時代,大數據和雲計算的發展,呼喚數據處理技術在多維空間的大聚合、大交易、大運算,否則人類社會就有可能走向另一種崩潰—僅從目前在阿裡數據平台事業部的服務器上攢下的超過100PB(拍字節)已處理過的數據,就等於104 857 600個GB(吉字節),相當於4萬個西雅圖中央圖書館,580億本藏書。僅淘寶和天貓兩個子公司每日新增的數據量,就足以讓一個人連續不斷看上28年的電影。如果折算成每秒需要處理的數據量,相當於是837集《來自星星的你》。目前,全球僅有兩三家公司計算技術達到單集群規模5 000台服器,阿裡位列一席。隨著數據量的繼續增大,即使單集群到10 000台,也依然會觸碰到天花闆。沒有多維立體和穿越式的塊數據集成和建構,未來的服務器怎能突破機房的空間限制,實現無限延展?
我們曾一度認為,知識是稀缺的,但那只是因為我們的書架太小了;我們曾一度認為,信息爆炸了,但那是因為我們的存儲太小了。DT時代的到來,讓新的知識和信息作為一種連接的基礎設施和資源,被“大數據×”轉換為一種無限的數據變量,從這個意義上說,大數據所能帶來的改變和影響一定不只是5維,而是更多維的。它讓我們體驗數據之美,感受數據之美。用馬雲的話說,20世紀我們講了很多服務,不斷地增加服務能力,其實客戶要的不是服務,而是體驗。體驗可以讓我們在大數據的豐富性中盡情遨遊。
塊數據是大數據的解決方案
大數據正在對社會生產生活的各個層面產生巨大而持久的影響,政府、企業、個體都在大數據浪潮中享受大數據帶來的裨益。但到目前為止,人類形成的大數據,更多的是以領域、行業為單位,往往是彼此割裂、互不相通的“條數據”,尤其是數據安全性缺乏保障,數據交易缺乏監管,這時,“塊數據”的提出—一種以一個物理空間或者行政區域形成的涉及人、事、物等各類數據的總和,相當於將各類“條數據”解構、交叉、融合,實現人人互聯、物物互聯和業業互聯,能真正讓大數據落地,成就大數據產業、大數據經濟,有效維護大數據安全和監管,從這個意義上說,塊數據讓非結構化數據變成結構化數據,塊數據是大數據轉化為現實生產力的支點,塊數據就是大數據的解決方案。
塊數據改變了人類對大數據的認知,標志著大數據時代的真正到來。首先,從數據到“數聚”,這是塊數據的起點。使分散的、分割的、碎片化的數據聚合為“塊”,進而形成一個多維的、無限的變量,這個多維是思維範式,無限是跨界,變量是一種不確定性和不可預知性,這是大數據時代我們認識世界的基礎,也是改造世界的方法;其次,從解構到重構,這是塊數據的機制。每一次解構的結果都會產生新的物質、能量、要素、權力、意識等的重構,是解構中的重構;再次,從多維到共享,這是塊數據的價值。它讓每一個人都能快速分享大數據時代人類的文明成果。共享是大數據對人類最大的貢獻,共享正在成為一個新時代的標志。所以,得“塊”者得天下,得“塊”者得未來。
DT時代三個重要標志:塊數據社會、慢數據決策和流數據價值。通過塊數據網狀結構,塊數據社會建立起一個社會化的開放、共享、連接的數據基地和數據綜合體;讓大數據由重變輕,從粗放到精細的跟蹤、挖掘—這是大數據的取舍之道,把有意義的留下來,把無意義的去掉,正是因為“慢數據”所形成的“讓數據說話”的優勢和條件,才使“快決策”成為可能;流動產生價值,數據成為資產。流數據價值,就是要跳出大數據的黑暗之海,讓數據像水一樣流動起來,以適當的成本在適當的時間將適當的數據放置到適當的位置,讓大數據的價值最大化。
DT時代的數據風險問題不容回避,數據安全成為當務之急。大數據事關國民經濟運行、事關社會政治穩定、事關個人隐私保護、事關國家安全利益、事關國家秘密保護。大數據時代,個人隐私、公共空間、國家安全、政府資源、場所交易等面臨著前所未有的安全威脅,亟須健全的法律保障。“棱鏡門”和“RSA後門”事件的發生,千萬級數據洩露的安全事件逐年遞增,涉事範圍覆蓋了軍事、經濟等重要領域。同時,由於大數據主要來源於大聯網、大集中、大移動等信息技術的社會應用,大數據已經成為網絡社會的重要戰略資源。它將網絡空間與現實社會連在一起,將傳統安全與非傳統安全熔於一爐,將信息安全帶入一個全新、複雜和綜合的時代。必須指出的是,安全問題不是回避和拖延我們向大數據進軍的借口。大數據的問題必須用大數據的思維、技術和方法解決,必須以大數據技術對抗大數據平台安全威脅。2015年將邁入信息安全建設的高峰期,伴隨國家禁止採購Windows 8(微軟開發的一款操作系統)、禁用賽門鐵克數據防洩漏產品等政策的提出,政府、金融、互聯網等主流行業數據安全建設勢在必行,數據安全標準的建設也將應運而生。塊數據的提出,給出了一個數據安全問題的有效解決方案。首先,在塊數據上,圍繞數據安全的產業並購將推動大數據產業戰略佈局的重構,並通過這種重構推動數據安全人才、技術、產品和客戶等方面資源在“塊”上的進一步匯集,並通過強強聯合、優勝劣汰,使數據安全品牌集中度顯著提高。其次,在塊數據上,國家及社會機構在信息安全領域的投入有望大幅提升,政府作為數據交易的監管體系建設的主體責任進一步明確,從而在整體上提升宏觀層面的數據安全水平,將為我國的信息安全產業帶來前所未有的發展機遇,更是塊數據未來最大的機遇。
塊數據就像一個計算機的主闆,它建立起了一個開放、共享、連接的數據基地,而各個行業和部門的條數據就像一個個可插可拔的闆卡,它們只有融合和集成到主闆上,通過計算、應用和數據資源從“條”到“塊”上的融合與集聚,實現塊數據的解構與重構。例如,阿裡小微金融服務集團目前已經通過數據為70 多萬家小微企業貸款,而且沒有對一家企業進行過實地考察,只通過塊數據的聚合和分析,就實現了良好的風險控制。這個例子告訴我們,當數據在一個物理空間或者行政區域實現交互、連接、連通和分享的時候,它就變成了多維變量,這種變量作用於各種資源的配置,就會優於通過競争而導致的市場化最優配置。這完全颠覆了西方主流經濟學的基礎理論。如果說,目前中國的經濟學界還沒有能夠拿到諾貝爾獎的實力和條件的話,那麼,塊數據理論就是一個具有諾貝爾獎水平的課題,隨著理論和實踐的不斷深入,我們正一步步走近真理。
本文摘自《從“互聯網+”到“大數據×”》
知識就是力量,信息就是能量,數據就是變量。本書全面闡述了人類從IT時代走向DT時代的基本特徵和規律。本書認為,大數據正成為人類的第二母語,大數據已經成為DT時代一個國家最重要的戰略資源之一。
DT不僅僅是技術的提升,而是思想的革命。本書首次提出塊數據的數量(volume)、速度(velocity)、多樣(variety)、價值(value)和數聚(variable)的五V空間理論,將對大數據的認知推進到新的高度。本書認為,塊數據作為大數據的解決方案,實現了從數據到數聚、從解構到重構、從多維到共享的跨越,塊數據社會、慢數據決策和流數據價值三位一體,標志著大數據時代的真正到來。
本書強調,衆聯、衆包、衆創、衆籌為人們越來越熟知,平等思維、共享思維、扁平化思維、跨界思維、場景思維被越來越多地掌握和運用。把大數據產業作為創新驅動的引領性產業,是實現經濟發展和生態保護雙贏的唯一選擇。
本書還提出,安全是大數據的生命線。以大數據技術對抗大數據平台安全威脅是大數據成功的必由之路,在此基礎上本書對大數據立法問題進行了探讨並提出,必須建立健全安全防護體系,切實強化大數據安全管理和“公開的隐私”的保護。只有更好的保護,才有更好的分享。