<em id="5xgjh"></em>
    <nav id="5xgjh"><code id="5xgjh"></code></nav>
  1. <sub id="5xgjh"><address id="5xgjh"></address></sub>
    <form id="5xgjh"></form>
    <sub id="5xgjh"><address id="5xgjh"></address></sub>
      <sub id="5xgjh"></sub>
    1. <nav id="5xgjh"></nav>

        首頁 > 云計算 > 正文
        分享到:

        馮丹教授:近數據處理新型盤框等技術創新

        時間:2023-04-20 20:04:01 來源: 評論:0 點擊:0
          4 月 20 日消息:日前,在中國深圳舉辦的第 20 屆華為全球分析師大會,長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數據中心 Diskless 架構及近數據處理發展趨勢做出了權威解讀,為傳統云存儲、大數據等計算域和存儲域不完全分離造成的資源浪費,提出了一個新的技術解決方向,幫助云和互聯網數據中心降本增效,實現數據中心高質量演進。

          馮丹教授提到,傳統存算融合架構下,企業通常采用應用與本地盤耦合的服務器一體化架構,存在存力效率低、無效數據遷移、資源浪費等典型問題:

          1.計算域和存儲域未徹底分離,仍各自存在獨立的本地存儲,往往按照最大容量預設配置,存力利用率低;

          2.采用通用算力進行數據處理,IO 效率低,存儲域仍以 CPU 為中心,存取性能無法充分發揮;

          3.數據從盤到計算域 CPU, 需要 8 次以上數據搬遷,無效搬遷帶來了網絡和算力資源的浪費;

          4.在存算融合的上千節點大規模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數據,不僅帶來現有業務風險,還會浪費投資;

          5.數據爆發增長,面向結構化數據的數據縮減策略不完全適用于非結構化場景。

          隨著算力多樣化、高性能網絡和存儲介質的發展,數據中心架構從以 CPU 中心朝著以數據為中心的 Diskless 架構演進。Diskless 架構下,單一 CPU 算力發展到 GPU、DPU、XPU 等多樣算力,算力效率得以充分發揮;網絡從 IP、NOF 發展到高通量的 CXL,為算力和存力等硬件解耦奠定了基礎;存力也從傳統 HDD 到 SSD,性能、功耗實現全面提升。在 Intel、華為、KIOXIA、阿里云等業界芯片、存儲、云和互聯網廠商的積極推進下,Diskless 架構借助專用 DPU / IPU 等數據處理芯片和 OceanDisk 等專用存儲模塊,進一步提升數據處理和存儲的效能,充分調動數據中心資源。

          馮丹教授表示,資源池化共享的 Diskless 架構應具備以下關鍵技術:

          1.網存協同,DPU 硬件卸載加速,數據高效協同處理。通過 DPU 等專有數據處理模塊,使服務器 CPU 全為應用服務,基礎設施與應用任務解耦,將 VirtIO、NVMe-oF 等 CPU 計算效率低任務轉移到 DPU 的專用加速器執行,實現資源彈性擴展。

          2.數控分離 + IO 直通,實現控制流與 IO 流分離,IO 直通到存儲介質,進一步提升存儲效率。通過數控分離,可達到極致 IO 訪問時延,通過存儲域 IO 讀寫數據流與 IO 控制處理的分離,使得讀寫 IO 直通到存儲介質中,減少 IO 處理路徑,降低處理復雜度,極大提升存儲域訪問性能。計算域則可以借助 DPU bypass CPU,減少數據拷貝開銷,提升 IO 訪問性能。

          3.盤控協同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協同技術的關鍵是要實現高性能、低成本的大盤,通過硬件對盤控系統內的算法進行加速,比如利用 FPGA 實現 FTL / DIF / 在線壓縮 / 加密 / EC / GC 等硬化,提升性能;盤內和框內的各類驅動和緩存層合一,實現盤框一體,構建極致成本和能耗的大盤存儲。

          4.算子卸載,EC、數據縮減等算法通過硬件卸載到存儲端,實現近數據處理。通過計算語義的卸載,存儲直出語義接口,主機側軟件棧打薄,減少 80% 的 IO 交互次數,實現對整系統的 CPU 和網絡帶寬節省。同時,在大數據 / 數據倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數據的搬移。

          馮丹教授表示:“從技術趨勢來看,高性能異構算力、高速網絡、大存力新型盤框、算子卸載等技術的發展,帶來了數據中心架構的變革,加速了以 CPU 為中心的耦合架構走向徹底存算分離、資源池化共享的以數據為中心的 Diskless 架構,這種架構進一步簡化了數據中心基礎設施構建,能夠實現存力和算力資源的集約高效發展,已經成為大規模數據中心發展的重要技術趨勢。”

          華為去年發布的 OceanDisk 智能盤框產品,是一個標準的大存力新型盤框產品。OceanDisk 通過 NoF + 高速網絡連接 Diskless 服務器,實現計算和存儲獨立彈性擴展,幫助客戶提高資源利用率,機柜空間和設備功耗分別降低 40%;內置 FlashLink® 智能盤框協同算法等軟硬結合技術,帶來最大 250 萬 IOPS,50GB / s 帶寬的高性能;依托華為多年存儲研發實力,OceanDisk 智能盤框提供硬盤亞健康管理、智能慢盤優化等技術,保持大規模數據中心 10 萬級硬盤的性能穩定,大幅降低運維難度。OceanDisk 作為業界首個面向 Diskless 架構的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯網數據中心存儲架構。

        美女精品一区二区