“大數據”來勢洶洶,個人生活方式、企業經營模式、政府行為方式在大數據浪潮的沖擊下將發生明顯的變化,生活朝著個性化、企業朝著創新型、政府朝著智能化方向轉變和發展。
發微博、寫博客、瀏覽網頁、撥打電話、看病、坐火車……這些都是我們生活中常做的事。然而,似乎很少有人注意到這些行為會留下“痕跡”。事實上,在與互聯網、政府、信息系統等的交互中,我們創造了成千上萬、甚至上億的數據,日積月累,這個數量越來越龐大,龐大到傳統的數據庫和基礎架構根本無法及時處理、管理和分析這些數據集,于是,“大數據”應運而生。
近年來,“大數據(Big Data)”一詞快速升溫,成為了IT行業爭相傳誦的熱門話題。最早提出“大數據”時代已經到來的麥肯錫公司指出:數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素,而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。當前,國內大數據正處于快速起步階段。大數據的到來,將會帶動包括基礎架構、軟件以及相關服務整個信息產業鏈的變革。大數據時代,數據承載事實、承載民意,在公民表達、監督方面,在政府政策的制定、實行方面,在企業的盈利創新方面,甚至在公共對話方面,都將產生深遠影響,屆時,尊重數據、使用數據、公開數據將成為一種行為方式。
何為“大數據”?
2012年6月,美國《國家科學院院刊》刊登了美國科學院院士邁克·古德柴爾德和中國科學院院士郭華東等共同撰寫的《新一代數字地球》一文,指出人類將進入“大數據”時代。隨著互聯網技術的不斷發展,移動互聯網、物聯網、電子商務等應用更加普及,帶來了數據源種類和數據量的持續快速增加,大數據現象已經出現。
數據本身是一種資產,大數據是有價值的,這點在業界已形成共識,但“大數據”在業內并沒有統一的定義。由于大數據分析常和云計算聯系到一起,有人把大數據等同于云計算,也有人在大數據是種技術還是種現象之間糾結。關于大數據和云計算間的關系,麥肯錫是這樣描述的:“如果說云計算為數據資產提供了保管、訪問的場所和渠道,那么如何盤活數據資產,使其為國家治理、企業決策乃至個人生活服務,則是大數據的核心議題,也是云計算內在的靈魂和必然的升級方向?!?
綜合取舍各方意見,互聯網數據中心(IDC)為“大數據”下了定義,得到了業內的普遍認可,即“大數據”是指為了更經濟更有效地從高頻率、大容量、不同結構和類型的數據中獲取價值而設計的新一代架構和技術,用它來描述和定義信息爆炸時代產生的海量數據,并命名與之相關的技術發展與創新。
物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數據來源或者承載的方式。如此海量的數據造就了大數據的“4V”—— Volume,Variety,Value,Velocity,即數據體量巨大,從TB級別躍升到PB級別;數據類型繁多,網絡日志、視頻、圖片、地理位置信息等都能成為數據;價值密度低,以視頻為例,長時間連續不間斷監控過程中,可能有用的數據僅僅有一兩秒;處理速度快,遵循1秒定律。上述“4V”,造就了獨一無二的“大數據”。
“大數據”將帶來什么?
有數據顯示,目前全球有46億移動電話用戶,每天有20億人訪問互聯網,人們與數據的交互比以往任何時候都密切。據全球領先的互聯網解決方案供應商思科公司預測,到2013年,在互聯網上流動的交通量將達到每年667艾字節(EB)。目前,大數據所形成的市場規模在51億美元左右,而到2017年,此數據將上漲到530億美元。
大數據時代,網民和消費者的界限正在消弭,企業的疆界變得模糊,數據共享成為政府的一種常態化責任。數據成為企業的核心資產,并將深刻影響企業的業務模式,甚至重構其文化和組織。順“大數據”者昌,逆“大數據”者亡。索尼前總裁出井深之曾一針見血地指出:新一代基于互聯網DNA企業的核心能力在于利用新模式和新技術更加貼近消費者、深刻理解需求、高效分析信息并做出預判,所有傳統的產品公司都只能淪為這種新型用戶平臺級公司的附庸,其衰落不是管理能扭轉的。
在大數據概念提出之前,互聯網企業沿著固有的脈搏一路繁榮,人們利用互聯網進行溝通、娛樂和消費,傳統企業一直忙于供、研、產、銷,兩者基本上平行發展、鮮有交集。大數據使兩者產生交集,為互聯網嫁接了“供應鏈”,為傳統企業嫁接“互聯網基因”,引發消費模式、制造模式、管理模式的巨大變革??梢哉f,大數據幫助人們開啟循“數”管理的模式,“得數據者得天下”。
以某服裝企業獲得用戶需求為例,以前為了了解顧客的購買意愿,看哪件衣服顧客拿起過、哪件試穿過,需要在每個店里安裝攝像頭,還要選擇樣本,不僅工序麻煩而且成本很高。而在大數據時代,只要開通網購業務,顧客在網頁間的停留時間、點擊的衣服款式、收藏的品類等信息,都詳實地記錄在網頁中,可以使用所有樣本全面分析用戶需求,而且成本近乎為零。海爾總裁張瑞敏也曾堅定地指出,在大數據時代,消費品制造企業必須要從大規模制造過渡到大規模定制,過去一個產品型號可以生產幾萬件到幾百萬件,而現在可能需要幾十萬個型號。金融企業也能因大數據而受益,利用大數據強大的分析功能,金融企業不僅可以關注自家企業數據,還可以關注互聯網的數據,這些數據能夠幫助銀行、金融企業分析挖掘客戶需求,提高服務水平和創新能力,最終提高自身競爭力。
伴隨著各種隨身設備、物聯網和云存儲等技術的發展,人和物的所有軌跡都可以被記錄。移動互聯網的核心網絡節點是人,不再是網頁。數據大爆炸下,帶來機遇的同時也面臨著技術、商業和安全的挑戰。首先,如何將數據信息與產品和人相結合,達到產品或服務優化是大數據商業模式延展上的挑戰之一。騰云天下數據挖掘總監張夏天認為,大數據對算法和計算平臺的挑戰加大,計算開銷大增。其次,大數據的關鍵在于誰先擁有數據,數據的質量如何。架勢無線CEO葉忻直言,大數據很有前景,但是市場中數據噪音太多,會導致數據價值大大降低。最后,大數據也帶來了更大的安全風險,大數據更加容易成為網絡攻擊的顯著目標,加大了隱私泄漏的風險,對于現在的存儲和安全防范措施提出新的挑戰。
中國應該及時“補缺”
來勢洶洶的“大數據”勢必成為整個信息界乃至全社會的熱點,個人生活方式、企業經營模式、政府行為方式在大數據浪潮的沖擊下將發生明顯的變化,生活朝著個性化、企業朝著創新型、政府朝著智能化方向轉變和發展。業內專家表示,中國將形成全球最具潛力的大數據市場。相關分析顯示,中國大數據市場規模將從2011年的7760萬美元增長到2016年的6.17億美元,未來5年的復合增長率達51.4%。
然而,“大數據”目前尚未直接以專有名詞被我國政府提出來給予政策支持,“數據開放”更是難聞其聲。雖然不情愿,但我們不得不承認,中國在大數據時代的世界舞臺上“缺席”了。為此,多方人士呼吁中國應及時“補缺”,加快大數據的戰略部署,搶占大數據應用的先機。
工信部軟件司副司長陳英表示,大數據所蘊含的價值正在逐步釋放,大數據的挖掘利用對提升政府管理職能和企業的決策能力、創新發展模式都將產生深遠影響。發展我國的大數據產業對于推動經濟由粗放型向集約型發展,加速經濟發展轉型會起到至關重要的作用。他還指出,目前發達國家已開始了大數據的戰略部署,我國要加快這方面的探索,依托自主創新,掌握自主的大數據技術與裝備,務實推動大數據產業發展。賽迪顧問公司副總裁孫會峰也表示,當前國內大數據市場正處于快速起步階段,對此,國家相關部門應就這個產業進行前瞻性的研究和布局,以便在未來保障信息和經濟安全運行。
值得高興的是,在2012年12月8日工信部發布的物聯網“十二五”規劃上,信息處理技術作為4項關鍵技術創新工程之一被提出來,其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析,這些都是大數據的重要組成部分。而另外3項關鍵技術創新工程,包括信息感知技術、信息傳輸技術、信息安全技術,也都與“大數據”密切相關。目前,雖然我們還未看到“大數據”正式出現在政府政策上或者文件中,但政府已經向我們釋放出重視并發展大數據的訊號。
何時才能看到中國的“數據之舞”,如何才能讓中國“大數據”起舞?天津市信息中心某研究人員建議,整體思路應圍繞“適時”、“適機”、“適度”、“適當”展開,抓住契機,走漸進式建設道路。首先,適時制定“大數據”發展戰略。國家應抓住“大數據”發展的大好時機,加快制定“數據戰略”,地方省市部門應在國家數據戰略的指導下制定適合本地區、本部門的“大數據”發展規劃和行動計劃;其次,適機建立國家數據開放門戶網站。縱觀國外數據開放的進程,基本上都是選擇先建立國家數據開放門戶網站再開放平臺的模式,我國也應盡快建立國家數據開放門戶網站,為公眾提供數據下載、應用等多項服務;再次,適度開放部分政府數據。根據數據開放程度可將數據分為立即開放、短期內開放、計劃開放和暫時無法開放四類,考慮到我國數據開放現狀,初步可以考慮我國政府數據立即開放和短期內開放兩者的數據比重達到30%;最后,適當開展“數據開放”試點工程。選擇部分信息化程度高的省市開展“數據開放”試點工程,選擇部分公眾關心度高的領域開展“數據開放”試點工程,選擇部分數據密集度高、數據可利用性高的政府部門開展數據使用付費方式試點工程。