現代經濟活動對于數據的依賴是前所未有的。今天,信息甚至被視為21世紀的“石油”,數據已變成生產資料,與硬資產和人同等重要,這也是為什么海量數據會在各行各業出現。在麥肯錫的一份調查報告中,僅就商業數據及射頻數據而言,美國15個主要行業中每家公司過去一年所產生的數據量,就超過了同期美國國會圖書館所存儲的數據量。
在中國,產生大數據的行業同樣層出不窮。比如,與智慧城市相關的項目所產生的數據量,就達到了200PB。而如何將海量數據轉化為城市治理的方法,則是“平安城市”建設過程中亟待破解的課題。
需求轉變引發計算框架改變
平安城市是一個特大型的管理系統,綜合性非常強。它的建設目標是滿足治安管理、城市管理、交通管理、應急指揮等需求,往往還要兼顧災難事故預警、安全生產監控等方面對圖像監控的需求,并考慮報警、門禁等配套系統的集成以及與廣播系統的聯動。如何做到對海量視頻數據的精準分析,正是平安城市的“大數據”痛點。
近年來數據量爆發式的增長已經將安防行業變成了典型的大數據行業。從“事后查看”到“事前預警”的需求變化,也為安防行業以視頻為核心的應用帶來了巨大挑戰。海康威視副總裁、CTO 蔣海青表示,在各類的平安城市建設項目中,依靠大數據分析技術,從海量視頻圖像中提取有效的安防信息,早已成為業界共識。而城市安全建設對大聯網的要求,也讓云計算、物聯網這樣的IT基礎架構成為新型平安城市的首選。
對平安城市而言,其IT基礎架構不僅要完成數據的采集、傳輸,更要支撐對海量視頻數據的分析。計算平臺是實現數據分析的核心,什么樣的計算框架才是適合平安城市建設需求的呢?“在平安城市的安防項目中,視頻數據有其特殊性,一方面,流量非常大,另一方面,對高清的要求也很高。一個高清視頻的流量一般是8MB,數據則來自成千上萬的攝像頭,這些攝像頭的信息又是24小時不間斷傳送的,數據就像長年累月不停流出來的水一樣。如果采用全集中的計算框架,必然會存在很大風險,不僅數據傳輸容易出現瓶頸,還很容易導致災難性的損失。而全分布式的計算框架也有問題,比如管理、運維會非常復雜,因為難以把專業的IT人員也分散到各個機房。所以,在計算框架上,我們所采用的其實是一種將二者相結合的計算框架,即區域性的、綜合性的集中和概念上的分散,以便讓我們的網絡更有效地支撐其上的應用。”蔣海青表示,海康威視目前正在基于至強平臺的Hadoop計算框架上進行研發,以期找到實現安防行業大數據分析的最佳方法。
大數據分析將屬于開放平臺
智能城市項目及物聯網的發展,正在讓大數據分析技術更廣泛地為城市的智能交通監控、智能公共安全、氣象和污染變化的智能監控及預測服務。蔣海青認為,目前雖然平安城市的IT基礎架構的框架已經具備了實現大數據分析的能力,但在分析能力方面依舊存在短板。隨著數據分析技術的演進,平安城市的應用才能豐滿起來。
大數據分析的價值清晰可見,當前產業界以及行業用戶對于加速大數據技術的發展和應用達成了共識,但相關技術的成熟不可能是一蹴而就的。英特爾認為,在相關IT基礎設施與服務層、數據組織與管理層、數據分析與發現層、決策支持與IT服務層需要全面導入創新技術。特別是在堪稱大數據應用“載體”的IT基礎設施與服務層,采用基于開放架構的平臺將是最佳選擇。因為我們不斷看到大數據飛速增長為更大的數據,IT基礎架構的計算能力、存儲能力和數據交換傳輸能力必須與這種成長速度相匹配,才能保證數據分析的實現。而實現這些能力的關鍵在于IT基礎架構的可擴展性,特別是橫向擴展的能力。能讓其先天就具備強大、橫向的可擴展性,并在實現這種擴展時擁有成本和性價比優勢的,一定是基于開放架構的平臺。
大數據處理任務對于開放架構平臺的倚重,讓英特爾在這一領域獲得了越來越多合作伙伴與用戶的關注。當前,英特爾正在傾力打造適用于大數據應用的“芯”,比如今年3月英特爾發布的至強E5系列,就是可為大數據應用中的分布式處理和高性能計算任務帶來更優性能、能效、可擴展性和可管理性的計算平臺。對于需要既有的關系型數據庫和商業智能技術及應用來處理和分析的商業大數據,至強E7系列則可實現很好的支撐。針對大數據的分發和管理需求,英特爾還在與Hadoop合作,共推基于英特爾平臺優化的Hadoop 產品和服務。
從另一個角度來看,大數據分析技術的演進也將對計算平臺提出更高的要求,英特爾亞太研發有限公司總經理、軟件與服務事業部中國區總經理何京翔表示,海量數據未來很可能會要求計算平臺提供更強大的存儲訪問技術,如通過SSD或二級緩存直接訪問內存等,所以英特爾還會繼續加強硬件平臺的優化。