冷不丁的
看見中興通訊發(fā)了個新產(chǎn)品
叫做「分布式磁陣」
看到這個名字我有點迷惑
是不是Z家的市場人員搞烏龍了
磁盤陣列就磁盤陣列
分布式存儲就分布式存儲
名字拼到一塊兒算什么鬼嘛
可是,當我把這產(chǎn)品拿過來
仔細地品了品
才發(fā)現(xiàn)其中大有玄機
不由得暗暗贊嘆
“中興,有點東西”
中興這個存儲新產(chǎn)品
到底都有哪些“東西”?
這個問題
要從當下的兩大流派說起
一派叫做“集中派”
也就是集中式存儲或者磁盤陣列
“集中派”的幫派規(guī)矩是
控制器就是大哥,俗稱機頭
擴展柜就是小弟,俗稱JBOD
集中式存儲是一種Scale UP架構
擴展存儲容量靠增加小弟數(shù)量
(主要是擴充硬盤數(shù)量)
而提升存儲性能主要提升大哥的功力
(比如增加接口數(shù)量/速率、增加緩存等等)
集中式存儲的優(yōu)勢是性能極高
帶頭大哥獲得了專用軟硬件加持
整個陣列在它的帶領下
提供高吞吐、高IO、低時延
一般作為主存儲,承載關鍵業(yè)務
但集中式存儲并不是萬能的
帶頭大哥功力再高也有上限
(處理器/緩存/前后端接口數(shù)量…)
一個人帶不動太多小弟
即便是多個大哥team組成集群
受限于大哥們的互聯(lián)接口
集群規(guī)模和總容量也是有限的
所以,作為傳統(tǒng)存儲的代表
“集中派”在性能上更能打
但論擴展性和容量,有點先天不足
尤其到了如今的數(shù)據(jù)爆炸時代
很多企業(yè)除了主存還需要第二存儲
用來存儲海量數(shù)據(jù)
這時候“集中派”就有點吃不消了
同時
集中派往往高、中、低檔次分明
不同檔次組不同的池、扛不同的活
這些不同檔次的存儲池各自獨立
形成了一個個數(shù)據(jù)“煙囪”
數(shù)據(jù)的流動和融合困難重重
在這樣的背景下,另一門派悄然壯大
這就是大家熱追的“分布派”
分布式存儲講究人人平等
用不著什么武功高深的帶頭大哥
只需要一群小弟按照分布式心法
組成按需橫向擴展的大陣
(無中心分布式架構)
分布式存儲是伴隨軟件定義火起來的
所以這一派也常被稱為SDS
硬件上沒啥稀奇(插滿磁盤的服務器)
軟件上一般都基于各種開源系統(tǒng)
(Ceph、Glusterfs、Lustre、Swift等)
看起來似乎門檻不高
但要把性能和穩(wěn)定性搞上去
也很考驗功力
因此,盡管國內分布式存儲多如牛毛
但真正能打的,還是少數(shù)幾家
而“分布派”最大的優(yōu)勢,就是容量
不受大哥的限制,理論上小弟可以無限多
輕松拿捏幾百個PB
做到真正的“海納百川”
但“分布派”也有短板
因為缺少帶頭大哥這樣的專用控制器
小弟一窩蜂干活的整體效率還差點火候
“多副本”得盤率低,“EC”性能拉胯
利用全閃存做優(yōu)化門檻高、效果差
所以,分布式存儲很難承載關鍵業(yè)務
通常被作為企業(yè)的第二存儲來使用
你以為兩派會各安其位么?并沒有!
「集中派」心下念念著要做“大”
「分布派」耿耿于懷地要做“快”
彼此各不相讓,都想多為客戶存點寶貝
但是,因為技術路線擺在那里
雙方都很難突破到對方禁區(qū)
那么,到底有沒有一種存儲
既有集中式的高效率
又具備分布式的高擴展性呢
嘿嘿,那個“有點東西”的家伙來啦
這就是中興的KS20000
分布式磁陣
從這個名字的叫法
您應該就能聞出點味道來
既要“分布式”,又要“磁盤陣列”
說白了,就是魚和熊掌兼得
既能海量擴展,又具備極致的性能
又快又海量?不是做夢吧
這樣的存儲,中興究竟咋做到的?
這樣的存儲,真的存在么?
下面我們就來深度八卦一下
概括講,中興這個“分布式磁陣”
架構上本質還是分布式存儲
但其中很多設計理念和處理機制
都借鑒了集中式存儲的思路
詳細來說,有這么幾點“東西”
讓分布式磁陣整個兒立住了
1、層次化集群
中興分布式磁陣并沒有采用
傳統(tǒng)的無中心分布式架構
而是把集群分層設計
管理集群+業(yè)務集群
這個思路就借鑒了“集中派”
管理集群有點像控制器角色
但它只負責“管理職能”
業(yè)務流量接口還是在業(yè)務集群
不像傳統(tǒng)控制器“又當?shù)之攱尅?/p>
結果成了整個陣列的性能天花板
跟通用的分布式存儲方案相比
分層設計讓管理集群有了更高的視角
業(yè)務集群單層組網(wǎng),多集群集中管理
業(yè)務集群間進行有效的安全、流量、性能隔離
根據(jù)需求也可以讓數(shù)據(jù)融合和流動
而大部分傳統(tǒng)分布式架構缺乏層次化
管理節(jié)點、監(jiān)控節(jié)點、數(shù)據(jù)節(jié)點同一平面
因此,從架構設計上
分布式磁陣汲取了兩大陣營的長處
小業(yè)務集群組網(wǎng)簡單,存儲高效
大管理集群海量擴容,消滅數(shù)據(jù)煙囪
2、后端共享高效訪問
在分布式磁陣的業(yè)務集群內
不同節(jié)點的磁盤共享訪問
跨節(jié)點協(xié)作極其簡單
節(jié)點間基于RDMA高效轉發(fā)
可達到接近訪問本地磁盤的體驗
另外,基于多核處理架構
并發(fā)能力大大提高
處理對象可以靈活綁定到核、動態(tài)遷移
提供多種均衡策略(容量/負載等)
3、獨特塊級映射表
這部分是提高存儲效率的關鍵
也是分布式存儲長期以來的短板
中興分布式磁陣采用了
類似集中式存儲的塊級映射表
業(yè)內通用的分布式存儲方案,比如Ceph
本質上還是依賴于RADOS
尋址要經(jīng)過三次映射
File ①Object ②PG ③OSD
而分布式磁陣的映射表是塊到塊直接映射
效率和靈活性都高了好幾個Level
這種獨特映射表設計
便于更靈活的數(shù)據(jù)分布和均衡策略
自動分級和動態(tài)QoS也大大簡化
更為實現(xiàn)高性能EC打下了基礎
4、高效EC和高效緩存
獨特映射表設計再配合軟件優(yōu)化
可以實現(xiàn)高效靈活糾刪碼(EC)機制
(追加寫、滿條寫、介質適配、均衡策略)
消除寫放大、寫懲罰,匹配Flash擦寫塊
數(shù)據(jù)分布更靈活、更均衡
相同可用容量情況下
EC性能可與多副本持平,物理盤省一半
相同物理容量情況下
EC性能高于多副本,得盤率高一倍
甚至,相同盤數(shù)配置下
性能比盤陣RAID5/RAID6還強
同時,通過多級緩存靈活調度
實現(xiàn)數(shù)據(jù)智能分層和讀寫加速
而且,緩存盤與數(shù)據(jù)盤沒有綁定關系
效率更高,維護更方便
總之,中興這套分布式磁陣
還有不少“東西”值得拎出來說
比如高性能ROW快照、無限快照克隆樹
能給予備份策略更多的自由度
再比如負載均衡&空間均衡分別控制
非常有利于大型存儲資源池的管理
中興這個分布式磁陣
實戰(zhàn)起來也是相當有“東西”!
中興分布式磁陣的具體型號
叫做KS20000
包含三大類型節(jié)點
(性能型、容量性、均衡性)
三類節(jié)點可以靈活搭配
結合層次化的集群設置
構建統(tǒng)一的多用途存儲資源池
一套系統(tǒng)覆蓋數(shù)據(jù)從熱倒冷全生命周期
(核心生產(chǎn) 研發(fā)測試 備份歸檔)
這樣,數(shù)據(jù)可以按需流動
不會再變成一個個“煙囪”
以前企業(yè)為了支撐不同類型的業(yè)務
往往需要部署不同檔次的異構存儲
如今,采用KS20000一站式搞定
部署方便,統(tǒng)一管理,靈活擴展
我們再來總結下
KS20000作為融合兩大陣營優(yōu)勢的產(chǎn)品
可以完全替代全閃或混閃陣列
同等配置性能持平甚至更優(yōu)
同時又具備海量橫向擴展能力
講真,確實有點兒東西!