新數據時代:誰能占據新的C位

薩納斯 時間:2019-10-25 16:49:30 瀏覽:72

存儲作為新數據的載體,也變得更加重要。新數據時代對新存儲提出了新的要求,比如閃存陣列成為關鍵業務首選,分布式平臺是新趨勢,多云環境下提升存儲可用性,存儲同樣進入了智慧運維時代。


據說蘋果的iCloud在中國布置了1000個PB,已經可以滿足所有國內蘋果用戶的云存儲需求。而在普通人看來,1000個PB應該是一個難以想象的數據存儲量。但是,這些來自于消費者(C端)產生的數據,在企業級(B端)數據面前,則是小巫見大巫了。

目前華中科技大學進行的腦科學研究,第一期數據量規劃就是25個PB,未來要擴大到100PB;一輛達到L4級別的自動駕駛車輛,一天產生的數據就是0.5個PB,如果有1萬輛這種L4級別的汽車上路,一天就會有超過5000PB的數據量產生;而智慧城市場景中的1000路視頻設備,平均15天就會產生近1個PB的數據。按照一個城市需要幾萬個到幾十萬個視頻設備來計算,隨便一個智慧城市的數據存儲就超過蘋果這些手機巨頭了……

這些只是今天我們能看到的數據量,“數據采集器的精度,每幾年就會提高一個數量級。所以每過兩三年時間,整個數據就會上一個數量級。”浪潮存儲產品線總經理李輝表示。

不僅如此,5G網絡高速率、廣連接的特點,促使IoT以更快的速度爆發,未來會有更多的終端、采集器聯入網絡。IDC數據顯示,2025年全球新創建的數據將達到175ZB,如果把這些數據全部存在DVD中,那么DVD的高度會是地球至月球距離的23倍,或者環繞地球整整222圈。

從PB到ZB,傳統數據存儲方法顯然已經無法應對數據量的裂變——2019年,新數據時代元年已經到來。

需求倒逼存儲迭代,新數據時代降臨

在清華大學的一個實驗室里,28臺3500萬像素的高速相機正對著一只實驗臺上的小鼠,這是一個極具挑戰的實驗。

當給小鼠注入螢光劑后,血液開始循環,實驗隨即開始。此時,28個鏡頭組成一個矩陣,以每秒鐘30幀記錄著小鼠血液流動的軌跡,每一幀的記錄都要形成一張大圖,追蹤每一幀里藥物的流動曲線,這樣的連續拍攝必須72小時不能間斷。

實驗最大的挑戰,要求數據必須實時在線,絕對不能有任何一點點的阻塞,更不能有宕機。

一只實驗用小鼠的價格不菲,而且通常這樣一個實驗項目要準備很長時間。所以說,這是一個不容有絲毫閃失的項目。這項實驗對數據存儲提出了三大挑戰:第一是精細化,每一張照片的顆粒度都非常高;第二是數據的實時性、準確性;第三是數據的可靠性,絕不能丟失其中任何一幀。在精密甄選后,浪潮分布式存儲AS13000扛住了這項挑戰。

在清華大學實驗室里的這項應用,是新數據時代最典型的應用項目。類似的數據挑戰,在未來將成為常態。


我們無論是步行還是開車,都會在城市的角落發現越來越多的道路視頻設備。智慧城市對于道路視頻設備的分辨率提出了更高要求,這也意味著數據量將呈幾何倍數增長。

在成都市的三環路,為了高效管理這條主干道的交通狀況,路面各處一共安裝了6000多個道路視頻設備,帶來的存儲需求高達數百個PB。存儲系統需要支撐三環路共計6000路+的高清視頻設備,以及每天1億張300~800KB視頻卡口數據的存儲量。而浪潮AS13000面向海量非結構化和結構化數據混合存儲又一次勝出,通過橫向擴展,這臺系統提供了EB級別存儲空間。

如此龐大的數據不僅要存儲好,更要管理好。浪潮為分布式存儲平臺AS13000開發了智能運維功能,面對智慧交通海量硬盤管理需求,提供了統一資源存儲管理平臺,其兩周時間預測準確率已經達到85%以上。

這些助力,為成都交管部門帶來了智能化運維體驗——從以前被動地硬盤發生故障再進行搶救,變成了主動提前預測,提供足夠時間窗口對壞盤進行數據重構,進而讓20PB的存儲“巨無霸”實現了自動化、智能化運維。

在完成存儲、管理的基礎上,運營管理者最迫切需要的是從這些數據中挖掘價值。

以智慧交通應用為例:從數據收集到數據挖掘分析的演變過程中,對存儲資源帶來最直接的改變就是讀寫比例發生巨大變化,從原來的重寫入輕讀取,變為讀寫比例5:5,并且對讀取的即時性提出很高要求。對此,浪潮分布式存儲AS13000提供了三大創新:一是單目錄可以有效支持千萬級的文件,整體支持十億級的文件數量,;二是擁有元數據服務集群技術,滿足了海量小文件的快速檢索需求;三是基于分級存儲,使用SSD建立一級存儲,熱數據的IO速率提升了10倍。

可以說,也只有這樣的極速性能,才能滿足智慧交通每天上億圖片的違章識別AI新應用的爆發式需求。

浪潮分布式存儲平臺在成都三環路的指揮交通項目中起到了關鍵作用,目前車輛管控效率提升了500%,違章行為糾察中減少了80%的人力,三環路智能交通管控系統延時降低了3倍,交通流量效率提升了15%。這些改變有效疏導了交通狀況,緩解了城市交通壓力。

從小鼠到成都三環路的眾多案例中,我們可以看到數據的“存——管——用”三大核心步驟都對存儲設備提出了新的要求。這樣的需求正在越來越多的應用場景中呈爆發式增長。

根據IDC全球數據圈報告顯示,目前能夠存儲下來的數據只有1%左右,其中真正挖掘出價值的數據量不足存儲數據的10%。這也就意味著還有巨大的市場空間需要填補。傳統的存儲解決方案,已經無法適應今天數據快速的增長,以及數據價值挖掘的巨大需求。

顯然,需求倒逼著存儲市場的迭代,新數據時代已經來臨。

每一個人都被數據包圍,數據淘金時代開啟

新技術、新應用驅動了新數據時代的到來,這并非偶然。

在IDC與浪潮聯合發布的《2019年數據及存儲發展研究報告》(以下簡稱《報告》)中可以發現,2019年企業數字化轉型IT支出首次超過非數字化IT支出。IDC稱之為企業數字化轉型拐點——開啟新數據時代元年。

“51%是一個突破,標志著IT領域進入了一個數字化為主的一個時代。”IDC企業研究部助理副總裁周震剛告訴懂懂筆記,這個數字在全球的平均值為37%,而中國、美國因為互聯網化的應用發展迅猛,明顯高于全球平均水平,已經提前進入新數據時代。


浪潮李輝對“新數據時代”也有自己的理解。他認為傳統的IT解決了連接,以及簡單記錄數據的需求。而現在的IT核心都是圍繞數據去做更多智能化的應用。

例如,手機、家電、智能工廠、自動駕駛汽車……都安裝了大量的傳感器來采集數據。采集這些數據之后需要存儲、清洗,數據處理需要的IT支出,以及后續圍繞這些數據展開的經營活動、管理活動,所有投資都是數字化轉型的IT支出。

凝練為一句話就是:“這些投資都是為了數字化轉型,為了在數據里淘金。”李輝強調,新數據時代也是數據淘金時代的開始。

“這個轉折點的意義在于,每一個人都會感受到數字化對他們生活的影響,無論是購物、出行、吃飯、工作……”李輝解釋道。今天的用戶會有一個明顯的感覺:無論在哪個場景里都會發現數字化的東西:一位70歲的老奶奶去醫院看病,現在也要拿著一張卡片在自助機前掛號、繳費、打印化驗結果;一位山村小鎮的年輕人可以整天抱著手機打游戲、看快手、購物;一個小學生無論是學校的作業,還是課外輔導課,也都離不開PC和Pad……

在數據里淘金,首先依賴于數據。每一個人、每一件物或者每一件事情都會被數據記錄,然后再被數據所影響。未來的企業將更加重視如何挖掘數據價值,并以此提供優質的產品和服務,以數據作為最重要的資源的新數據時代已經來臨。

在《報告》中,可以看到很多新數據時代的變化趨勢,總結一下可以歸納出四大特征:新數據形態(海量、多元和非結構化成數據常態)、新部署環境(基礎架構向云-邊-端演進,多云、數據管理成為企業關注重點)、新應用模式(應用場景逐漸細分,個性化存儲解決方案需求上升)以及新價值需求(創新存儲技術和架構將助力數據價值釋放)。

那么,存儲作為新數據的載體,也變得更加重要。新數據時代對新存儲提出了新的要求,比如閃存陣列成為關鍵業務首選,分布式平臺是新趨勢,多云環境下提升存儲可用性,存儲同樣進入了智慧運維時代。

穿越技術周期,新數據時代的中國力量


“在過去傳統的存儲架構上,國外廠商的優勢還是比較明顯的。但是今天,國內廠商與他們已經站在同一個起跑線上。因為整個應用模式跟過去完全不一樣,大家都是從頭開始。”IDC周震剛認為,浪潮等中國IT企業在新數據時代已經跑在全球前列。“其實相對新數據時代,中國因為互聯網行業發展迅猛,同時浪潮這樣的科技企業與互聯網公司合作也非常緊密,因此在這方面的積累反而跑在了別人前面。我覺得未來中國企業還是會有很多相對來說更好的機會。”

浪潮大約在2000年開始投入企業存儲的相關研發,彼時國外企業已經擁有相當成熟的技術。“那時候我們沒有太多核心技術,存儲又是技術門檻比較高的領域。但我們清楚,這是一個長期戰略,我們必須堅定不移地去投資,去掌握存儲領域里面的全套技術。”李輝說道。

這個“長期”真的非常不容易。首先浪潮、華為這樣的中國企業幾乎是零基礎開始,沒技術沒客戶,必須要忍耐很長時間沒有任何回報的投資過程。而前面的巨頭有技術、有資金、有客戶,技術也在不斷更新,一直處于領跑的位置,追趕絕非一蹴而就。

同時,IT技術變化非常快,這導致存儲技術也在不斷迭代,“我們這個長期投入的戰略穿越了很多個技術周期。”顯然,這對浪潮的研發也是巨大的挑戰。

多年來,浪潮積累了一流的存儲研發團隊,在浪潮集團的五個研發中心構建了千人級研發團隊,并且有六個國家級研究機構一起支撐存儲研發工作。

另外,浪潮也一直在積極參與核心存儲產業技術組織,是存儲產業技術創新戰略聯盟理事長單位,也是海量存儲標準委員會成員。近年來,浪潮積極參與國家存儲領域的標準制定,主導了國內存儲領域三個最基本的、最核心的存儲國家標準,包括磁盤陣列標準、網絡存儲和備份存儲標準。在這些過程中,浪潮同時積累了相當多的發明專利。


源于持續投入的決心,經過多年的技術積累,浪潮逐漸掌握了全棧技術。“應該說我們已經掌握絕大部分的技術,也有實力去做一些底層芯片的設計。我們的技術能力已經到了一定程度,現在到了釋放我們這種技術能力的階段。”李輝如今的底氣很足。

數據應用最重要的幾個領域,例如管命的地方(醫院)、管錢的地方(銀行)、管數的地方(運營商),這些行業對存儲的要求極高,浪潮的存儲設備已經在上述領域被大量使用。

除了技術上的長期積累、厚積薄發,中國廠商還擁有一個絕好的機遇:中國互聯網的快速發展,給了他們一個彎道超車的機會。中國互聯網發展在全球都處于領先地位,很多創新的應用都來自于中國,特別是在移動互聯網、AI這些新的方向,中國也跑在了前面。與此同時,浪潮也跟著客戶一起跑在了技術的潮頭。

比如中國移動正在推進的“大云戰略”,演進目標就是把所有的通訊基礎設施當中的存儲設備,從原來的架構換成分布式架構,這在新數據時代就是浪潮這些中國廠商的機遇。

可以說,經過近二十年的投入與追趕,新數據時代的到來,給浪潮這樣的中國IT企業一個領跑下一階段的絕佳機會。

當下的存儲市場是一個轉折點,在數據淘金時代,中國廠商將成為真正的主角。


商務合作
商務合作
内蒙古28元套餐介绍