99精品热播,jjzz免费视频,av资源站,国产免费又黄又爽又刺激蜜月al,亚洲成人欧美在线,久草精品视频在线播放,国产精品视频xxx

您當前的位置是:  首頁 > 資訊 > 國內 >
 首頁 > 資訊 > 國內 >

華為云OBSA-HDFS組件正式進入Hadoop社區(qū)

2021-01-22 13:59:34   作者:   來源:CTI論壇   評論:0  點擊:


  近日,華為云OBS對象存儲服務OBSA-HDFS組件代碼完成了開源社區(qū)同行評審,已經正式合入Apache Hadoop社區(qū),標志華為云存算分離大數據方案正式獲得社區(qū)認可,客戶可以通過社區(qū)獲取最新的OBSA-HDFS組件版本,快速在華為云完成大數據平臺的部署和使用。
  OBSA-HDFS組件全稱為HuaweiCloud OBS Adapter for Hadoop Support,利用OBSA-HDFS,客戶可以在華為云上快速部署存算分離的Hadoop大數據平臺,無需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對象存儲服務的對接,并獲得高性能的HDFS存儲。
  當然,除了客戶端組件外,華為云OBS在服務端的Data Multi-Protocol功能為達成存算分離提供了技術保證。傳統的對象存儲服務不支持原生的文件協議,導致大數據場景下的rename需要通過拷貝和刪除兩個操作組合來完成,更無法對文件目錄進行修改,而拷貝操作會消耗寶貴的IO資源且時延較高。
  華為云OBS的Data Multi-Protocol支持POSIX文件語義,通過對元數據結構和操作的雙重優(yōu)化,可快速完成文件的rename。經過測試,在大數據場景下,對100MB文件進行rename操作,華為云OBS比傳統對象存儲性能提升10倍以上。
  憑借著數量級的性能提升,華為云BigData Pro存算分離大數據解決方案使用OBS替代Hadoop的本地HDFS存儲,讓計算資源和存儲資源完全解耦,獨立擴容,讓大數據分析的性價比平均提升35%以上。更可以構建云上統一數據湖,消除數據孤島、降低數據共享難度、減少數據冗余、提升數據使用效率。
  當前,華為云BigData Pro解決方案已經服務于斗魚、美圖、蘑菇街、貨拉拉和長虹等行業(yè)知名客戶。
  未來,我們也將為Hadoop在公有云場景下的效率提升而持續(xù)努力。
  Hadoop是Apache基金會的頂級項目,也是業(yè)界領先且使用最廣泛的分布式系統框架,用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數據的應用程序。
  HDFS是Hadoop實現的分布式文件系統(Hadoop Distributed File System),為海量數據提供高吞吐量、高擴展、高可靠和高容錯性的存儲。
  從2006年成立以來,Hadoop改變了企業(yè)對數據的存儲、處理和分析的過程,形成了一個極其豐富的技術生態(tài)圈。
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)