歡迎光臨
每天分享高質量文章

站在風口上的大資料,究竟被什麼拖了後腿?

導讀:當大資料帶給世界更多比特,這些實時產生的海量資料成為了一座開采難度巨大的礦山。大家都知道通過這些碎片化的資料能夠挖掘出更多價值,但是就目前的整體發展來看,大資料的應用遠沒有達到預期的效果,其原因有如下幾個。

 

 

作者:房龍江

來源:TalkingData(ID:TalkingData)

01 資料的獲取難度增加

從早期PC端各種型別的cookie資料及用戶網站瀏覽、點擊、停留等資料,到用戶移動端設備相關的型號、位置及應用使用時長、次數、型別等資料,再到應用內的點擊、停留、瀏覽、搜索等資料,資料量雖然越來越大,可獲取變得越來越難。

 

早期,用戶對這些所謂的“不敏感資料”並不瞭解,或著不太在意。但隨著各種型別的資料商業樣式興起,一些資料收集方過度、越線收集用戶資料,又有人利用這些資料進行過度營銷,嚴重損害了用戶體驗和信任度。

用戶的資料保護意識快速提升,而資料收集方也有保護自身資料資產的需求,這就產生了多方面的矛盾,使得大規模的資料收集和應用變得更加困難。

 

為解決這些問題,應該建立全面的機制和標準,使得資料的獲取、加工、儲存、應用、共享更加規範和有序,打破資料孤島困境,共同構建生態健康、持續成長的市場。

02 資料應用與個人隱私的問題沒有很好的解決

大資料時代,每個人通過互聯網留下了大量的各種型別的資料,綜合這些資料信息能夠反映出人的行為樣式:包括應用興趣偏好、常去地點、工作及居住地、社交關係、收入水平、消費偏好、品牌偏好等。

善用這些資料原本能夠更好的為用戶服務,比如提供更符合用戶偏好的產品及服務,能夠有效降低用戶的選擇時間,甚至規劃建設更高效的城市、讓生活更便捷。

 

但是,一方面頻繁的操作系統升級和設備更替讓用戶更加註重資料的安全問題;同時,某些資料收集行為越過了對個人互聯網特征資料的紅線,資料是否會造成個人隱私的泄露、是否會帶來過度的營銷、是否有可能被精準的侵入,給用戶造成大量的困擾,甚至是經濟損失。

 

為解決資料隱私問題,在對已有法律法規繼續進行完善的基礎上,也應該有行業規範和行業自律要求,雙管齊下,促使資料產業鏈各方參與者共同打造良好的網絡資料空間,增加對用戶隱私和資料安全的保護,也通過更加人性化的服務產生資料應用的價值。

03 資料加工處理的速度與資料產生的速度不同步

大資料時代,每人每天產生的資料高達數GB,圍繞社交、金融交易、網絡購物、生活記錄等各種應用,全世界每天能夠產生數ZB的資料,這龐大的資料量需要更加龐大的處理能力才能實現有效利用。

 

但是以目前的計算方法和計算能力,每秒處理的速度遠小於資料產生的速度,只能選擇小範圍的嘗試,像Spark/Hadoop/Flink/Kafka等廣泛應用的計算方法均有待提升。

同樣的,對於所需的硬體基礎設施,目前最快的CPU/GPU/NPU其每秒所能提供的計算速度僅達數百MB/s,也無法更快的提升計算能力。這些都限制了資料處理的快速發展。

 

鑒於此,應該針對不同型別的資料提供不同的處理演算法,比如專門針對常規結構化資料或文本資料、音視頻等非結構化資料等的專用計算方法。通過基於各類資料的特點進行並行計算,如結構化資料的小資料、文本資料的資料塊資料、音視頻的採樣壓縮資料等,針對每一種資料進行專門的效率提升。

同時,在現有計算芯片的基礎上增加各種型別的協處理器,有效提升資料計算任務的並行處理能力,提升芯片的利用率。

 

 

04 資料應用落地難度增加

雖然我們處在大資料時代,但能夠得到有效應用的資料還不足1/10,而其應用方向大部分僅僅是圍繞營銷、風控等方面。

 

這些主要面向市場的應用雖然幫助企業提升了收入,但是越來越多人對這種缺少選擇空間的應用充滿懷疑,也導致應用水平的下降。而且,這些只看一時、不看長遠的應用方式也有可能導致效果適得其反,用戶被教育之後就會明顯的進行反抗,將會影響到資料的未來應用。

 

資料應用落地目前顯然受到了環境發展及資料孤島等方面的影響,很多好的想法無法付諸實踐。但是可以考慮通過新興的區塊鏈技術實現行業合作、資源互換、消費者互利等,促進各方的信任,以開放心態,在保護資料安全的前提下更多的釋放資料價值,打造智慧空間的各種應用。

05 資料價值發掘方向不明確

大資料的發展離不開各方參與者,其價值的實現也需要各方通力合作。但是目前大量掌握資料的企業圈地自封,而生產資料的用戶卻成為了被收割的物件。這也引發了圍繞資料價值的喋喋不休的爭論——到底是為了提升用戶體驗,還是收割所剩無幾的互聯網流量紅利?

 

但是這些都無法阻擋歷史前進的車輪。在資料應用領域,諸如快速響應客戶各類需求、降低產品設計成本、降低製造及倉儲成本、降低運輸及配送成本、精準預判投資規劃、圍繞用戶行為的預測快速迭代更新、預測競品營銷策略及市場變化等提升自身競爭力水平的應用,有著巨大的市場空間。

 

綜上,相信有遠見的企業得以一窺未來的輪廓,也會積極佈局未來的主要賽道。基於精細化的行業屬性、資料特征、消費場景的各類應用會層出不窮,屆時將進入嶄新的數字世界——即智慧空間。

已同步到看一看
赞(0)

分享創造快樂