隨著移動互聯網、IoT、人工智能等技術的迅速發展，數據產生的規模空前增長，據知名諮詢機構統計，預計未來5年數據規模年均增速達30%，面對快速膨脹的數據規模，各類企業、機構需要更快、更全面的掌握分析數據，挖掘內在價值，支撐經營決策和優化管理，數據倉庫作為核心查詢分析平臺，必須要具備大規模集群能力，也是數據庫廠商需要突破的核心技術點之一。
12月18日，由中國信息通信研究院、中國通信標準化協會、北京市大數據中心聯合主辦的“2020數據資產管理大會”在北京拉開帷幕，會上信通院為通過大數據、數據庫等能力評測的產品頒發證書。華為雲GaussDB(DWS)數據倉庫以單集群2048節點的超大規模，滿分通過測試認證，是迄今為止信通院認證的最大規模分佈式數據庫集群，刷新了歷史紀錄，樹立了業界新標杆。
華為雲GaussDB(DWS)為各企業用戶提供最佳性能、按需擴展、穩定可靠的企業級數據倉庫，滿足客戶超大規模數據的高性能查詢分析訴求。在本次大規模集群測試評估中，華為雲GaussDB(DWS)一次性通過50項測試用例，包括27項必選用例和23項可選用例，交出了完美的答卷。
大規模數據倉庫集群不僅僅是將眾多服務器“攢”起來，更需要解決大併發複雜查詢下的通信連接風暴問題。並且在數千節點的集群中，平均每天都會有硬件故障發生，如何應對“硬件不可靠”帶來的問題？如何在硬件亞健康情況下數據倉仍能提供穩定的性能，如何在操作系統“軟死”情況下數據倉庫不出現卡頓、無響應等問題，是技術面臨的極大挑戰。在2048節點大規模集群認證的背後，是GaussDB(DWS)強大“硬核科技”的表現。
一、 Multi-Streams多流通信技術
在2048節點規模下，集群進行全並行數據交換時，集群內可達百億級的並行連接，出現通信連接風暴，已遠遠超出TCP連接端口號和socket文件句柄上限。
GaussDB(DWS)自研的Multi-Streams多流通信技術，將連接數提升5個數量級，突破物理機TCP連接端口限制，能夠支持集群內百億級通信連接，並且理論支持節點數無上限。
Multi-Streams多流通信採用邏輯連接技術，避免了TCP物理連接的三次握手的機制，單數據節點建連性能達到100萬次/s，提升20倍。
該技術基於全異步無阻塞代理通信架構，支持跨邏輯連接的socket合併，將網絡吞吐能力提升3倍。
二、 高可用設計及集群管理技術
GaussDB(DWS)設計之初，充分考慮高可用性，其具備多層級高可用及容災能力，在進程級、節點級、集群級出現軟硬件異常的情況下具備平滑處理能力。
在棘手的硬件亞健康、“軟死”問題上，GaussDB(DWS)具備完善的智能檢測和處理機制，能夠實時監測任意節點狀態，包括服務器亞健康狀態、磁盤慢盤、靜默損壞等等場景，通過自動感知、剔除、平滑切換等高可用策略，提高業務的連續性。
並且，在物理組件發生故障的情況下，Server端Multi-Retries技術能夠大幅減少故障失敗的業務感知，保障業務持續運行。
在集群管理上，針對超大節點數場景，通過邏輯重構，實現集群起停的全並行處理，2048節點規模下具備分鐘級起停能力。
三、 大規模場景下的並行數據備份恢復技術
◆完全在線：數據備份期間，採用全程無加鎖技術，任何業務SQL、包括DDL均不受影響
◆多層級並行極速備份：每節點獨立多併發、多通道備份，提供10PB級數據快速備份恢復性能
◆全局一致性快照：集群級全局一致性快照，數據強一致性保證
◆細粒度數據恢復：支持多粒度數據恢復，滿足客戶誤刪、個別表損壞等緊急恢復需求。
得益於包括以上三點在內的一系列核心技術，華為雲GaussDB(DWS)一舉通過信通院2048節點大規模分佈式分析型數據庫評測，成為國內首個單集群突破兩千的商用數據倉庫產品。
華為雲GaussDB(DWS)數據倉庫已廣泛應用於金融、政府、運營商、交通、物流、互聯網等領域，服務於全球1000+客戶。GaussDB(DWS)踐行"平臺+生態"戰略，聯合500+合作夥伴，為各行業提供競爭力的數據倉庫解決方案。
轉載請超鏈接註明：頭條資訊 » 華為雲GaussDB（DWS）數據倉庫通過信通院評測認證
免責聲明
：非本網註明原創的信息，皆為程序自動獲取互聯網，目的在於傳遞更多信息，並不代表本網贊同其觀點和對其真實性負責；如此頁面有侵犯到您的權益，請給站長發送郵件，並提供相關證明(版權證明、身份證正反面、侵權鏈接)，站長將在收到郵件24小時內刪除。