AI存儲(chǔ)，百億空間

IDC預(yù)測(cè)，全球AI（人工智能）市場(chǎng)支出將在2021年達(dá)到850億美元，并在2025年增至2,000億美元，五年復(fù)合增長(zhǎng)率（CAGR）約為24.5%。2025年，全球約8%的AI相關(guān)支出將來自于中國市場(chǎng)，市場(chǎng)規(guī)模在全球九個(gè)區(qū)域中位列第三。

“十四五”規(guī)劃綱要將“新一代人工智能”作為議題重點(diǎn)提及，加上新基建、數(shù)字經(jīng)濟(jì)在內(nèi)的持續(xù)利好政策的推動(dòng)，中國AI市場(chǎng)將穩(wěn)步發(fā)展。根據(jù)最新預(yù)測(cè)，2021年，中國在AI市場(chǎng)的支出規(guī)模將達(dá)到82億美元。2021-2025的五年預(yù)測(cè)期內(nèi)，中國市場(chǎng)AI相關(guān)支出總量將以22%左右的CAGR增長(zhǎng)，有望在2025年超過160億美元。

人工智能市場(chǎng)的高速發(fā)展，也帶動(dòng)了AI存儲(chǔ)的發(fā)展。根據(jù)IDC，從2018年開始，全球AI存儲(chǔ)的年復(fù)合增長(zhǎng)率高達(dá)37%，到2022年，AI存儲(chǔ)的市場(chǎng)規(guī)模將達(dá)100億美金。

也就是說，今年AI存儲(chǔ)的市場(chǎng)規(guī)模就將進(jìn)入百億美金俱樂部了。

AI存儲(chǔ), IB領(lǐng)跑

為什么有AI存儲(chǔ)這個(gè)分類，因?yàn)锳I場(chǎng)景比較特殊，它和GPU關(guān)系密切。由于GPU價(jià)格昂貴，AI存儲(chǔ)必須足夠快，這樣才能充分利用GPU的能力，榨干GPU的帶寬。

由計(jì)算密集型機(jī)器學(xué)習(xí) (ML) 和深度神經(jīng)網(wǎng)絡(luò) (DNN) 組成的 AI 工作負(fù)載在不同階段具有不同的輸入/輸出 (IO) 特征，這要求 I&O 負(fù)責(zé)人部署互補(bǔ)型存儲(chǔ)架構(gòu)。AI 和 ML 工作負(fù)載的獨(dú)特需求會(huì)讓 I&O 負(fù)責(zé)人重新評(píng)估其存儲(chǔ)選擇方法，并采用新的技術(shù)和部署方法。

從上表我們可以看到，AI工作流程一般分5個(gè)階段：采集、數(shù)據(jù)準(zhǔn)備、訓(xùn)練、推理、歸檔，不同階段對(duì)存儲(chǔ)的要求不同。

ML和DNN工作負(fù)載對(duì)存儲(chǔ)架構(gòu)有重大影響。由于GPU等更常用的專用處理器（特別是在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段）的并行處理能力和絕對(duì)密度，從基于磁盤的系統(tǒng)中讀取訓(xùn)練數(shù)據(jù)是最常見的瓶頸之一。I&O領(lǐng)導(dǎo)者應(yīng)該設(shè)計(jì)他們的網(wǎng)絡(luò)和存儲(chǔ)子系統(tǒng)以減少 I/O 瓶頸，以便他們能夠充分利用他們?cè)贕PU等專用計(jì)算硬件上的投資價(jià)值。為了減少GPU空閑時(shí)間，使用固態(tài)陣列或驅(qū)動(dòng)器，或其他形式的非易失性存儲(chǔ)或持久內(nèi)存來優(yōu)化預(yù)處理流水線變得越來越普遍。由于在訓(xùn)練階段攝取的數(shù)據(jù)量很大，最好將這些數(shù)據(jù)集存儲(chǔ)在共享存儲(chǔ)中，以便組織可以獨(dú)立擴(kuò)展計(jì)算和存儲(chǔ)環(huán)境。集中式存儲(chǔ)還有助于進(jìn)行版本控制，以便用戶和應(yīng)用程序可以在整個(gè)組織中處理單個(gè)一致的副本。較新的 NVMe SSD 可以改善與神經(jīng)網(wǎng)絡(luò)相關(guān)的低帶寬和高延遲挑戰(zhàn)。

從AI的負(fù)載分析來看，高速的全NVMe閃存的分布式文件系統(tǒng)成為AI存儲(chǔ)的最佳形態(tài)。

AI存儲(chǔ)的網(wǎng)絡(luò)接口，毫無疑問必須采用RDMA技術(shù)，只有這樣才能有效降低系統(tǒng)的時(shí)延。RDMA技術(shù)原來主要用在Infiniband（IB)網(wǎng)絡(luò)上，但現(xiàn)在無損以太網(wǎng)也支持。但除了RDMA，IB還具有協(xié)議棧簡(jiǎn)單、處理效率高、管理簡(jiǎn)單等優(yōu)點(diǎn)。與以太網(wǎng)的分層拓?fù)洳煌琁nfiniBand 是扁平結(jié)構(gòu)，這意味著每個(gè)節(jié)點(diǎn)都與所有其他節(jié)點(diǎn)直接連接。與 TCP/IP 網(wǎng)絡(luò)協(xié)議相比，IB 采用基于信任和流量控制的機(jī)制來保證連接的完整性，并且數(shù)據(jù)包很少丟失。數(shù)據(jù)傳輸完畢后，接收端返回一個(gè)信號(hào)，指示緩沖區(qū)空間的可用性。因此，IB協(xié)議消除了由于原始數(shù)據(jù)包丟失而導(dǎo)致的重傳延遲，從而提高了協(xié)議的性能。

由于IB的固有優(yōu)勢(shì)，目前高端的AI存儲(chǔ)，一般優(yōu)選IB網(wǎng)絡(luò)，這也可以從歷年的全球TOP500超級(jí)計(jì)算榜單可以看出。

根據(jù)2021年11月的全球TOP500超級(jí)計(jì)算榜單，InfiniBand連接了全球 10 大超級(jí)計(jì)算機(jī)中的 7 臺(tái)，全球100大計(jì)算機(jī)中的65臺(tái)。InfiniBand 已成為高性能計(jì)算系統(tǒng)的事實(shí)標(biāo)準(zhǔn)，被深度學(xué)習(xí)基礎(chǔ)設(shè)施廣泛采用，并且越來越多地用于超大規(guī)模云數(shù)據(jù)中心。

InfiniBand 提供了許多關(guān)鍵優(yōu)勢(shì)。它是一個(gè)全傳輸卸載網(wǎng)絡(luò)，這意味著所有網(wǎng)絡(luò)操作都由網(wǎng)絡(luò)管理，而不是由 CPU管理。它是最有效的網(wǎng)絡(luò)協(xié)議，這意味著能夠以更少的開銷傳輸更多數(shù)據(jù)。InfiniBand 的延遲也比以太網(wǎng)低得多，最重要的是，它在網(wǎng)絡(luò)內(nèi)部集成了處理引擎，可加速深度學(xué)習(xí)和高性能計(jì)算的數(shù)據(jù)處理。這些是任何計(jì)算和數(shù)據(jù)密集型應(yīng)用程序的關(guān)鍵技術(shù)優(yōu)勢(shì)。這就是為什么 InfiniBand 已成為高性能、科學(xué)和產(chǎn)品模擬的公認(rèn)標(biāo)準(zhǔn)。

隨著GPU的能力越來越強(qiáng)，對(duì)帶寬要求也愈來愈高。目前IB雖然已經(jīng)有了400G NDR的產(chǎn)品，但是產(chǎn)品太新，性價(jià)比不高，從性價(jià)比角度考慮，200G HDR IB是目前高端AI存儲(chǔ)的首選。

200G HDR可以支持目前最高端的應(yīng)用場(chǎng)景，比如腦映射。而且，現(xiàn)在的AI系統(tǒng)都是多GPU的，更高的速度，就可以支撐更多的GPU。這些因素，使得2022年，AI存儲(chǔ)支持200G IB成為一個(gè)很大的優(yōu)勢(shì)。

AI存儲(chǔ), 國外占優(yōu)

許多大型老牌供應(yīng)商正在針對(duì) AI 工作負(fù)載重新定位其分布式文件系統(tǒng)，同時(shí)我們還發(fā)現(xiàn)這個(gè)領(lǐng)域中涌現(xiàn)出多個(gè)新興供應(yīng)商。

國外的一些存儲(chǔ)公司，還針對(duì)AI推出AI一體機(jī)，其中比較有特色的是Pure Storage和DDN。

Pure Storage的AI一體機(jī)叫AIRI，其早在2018年就發(fā)布，剛剛不久前發(fā)布了最新一代AIRI//S。

其關(guān)鍵的AI存儲(chǔ)采用自研的全閃Scale-out文件系統(tǒng)FlashBlade//S，采用自研NVMe盤，存儲(chǔ)網(wǎng)絡(luò)接口目前還是100G的RDMA以太網(wǎng)。

Pure Storage的AI存儲(chǔ)FlashBlade//S雖然相比上一代，存儲(chǔ)介質(zhì)從TLC轉(zhuǎn)向QLC，性價(jià)比上更有優(yōu)勢(shì)，但可惜的網(wǎng)絡(luò)接口依然是100G以太網(wǎng)，而且也不支持Nvidia的GPUDirect Storage (GDS)。Pure Storage的首席技術(shù)官Rob Lee說，一項(xiàng)人工智能工作的總工作時(shí)間包括搜索源數(shù)據(jù)集，尋找所需的子集，提取它，然后將它發(fā)送到GPU上。搜索和提取過程可能要比數(shù)據(jù)傳輸?shù)紾PU的時(shí)間長(zhǎng)得多，而FlashBlade/S縮短了這一時(shí)間，而GDS僅僅是擁有更快的數(shù)據(jù)傳輸時(shí)間，不支持GDS對(duì)整體時(shí)間影響不大。

但是，作為專做HPC存儲(chǔ)的DDN，其推出的AI一體機(jī)叫A3I，其關(guān)鍵的AI存儲(chǔ)基于開源的Lustre文件系統(tǒng)，目前最新的高端型號(hào)的AI400X2，也是采用NVMe SSD，但存儲(chǔ)網(wǎng)絡(luò)接口采用了200G HDR InfiniBand，并且支持GDS。

我們看到，DDN的AI存儲(chǔ)優(yōu)選推薦InfiniBand而不是流行的以太網(wǎng)技術(shù)，而且已經(jīng)開始規(guī)模采用200G HDR IB接口。

國產(chǎn)廠商，迎頭趕上

國產(chǎn)廠商，推出類似Pure Storage這樣的AIRI通用AI一體機(jī)的不多，但推出AI存儲(chǔ)的廠商就很多了。

比如華為，就專門推出了針對(duì)HPDA的OceanStor Pacific系列。

其中高端AI場(chǎng)景，就需要采用Pacific最高端的全閃型號(hào)Pacific 9950了。但從華為官網(wǎng)宣傳的規(guī)格看，目前Pacific 9950雖然同時(shí)支持以太網(wǎng)和IB，但是最高速率還是100G。

反而國內(nèi)專門做高性能文件系統(tǒng)的初創(chuàng)公司焱融科技，最近發(fā)布的全閃分布式文件存儲(chǔ)一體機(jī)焱融追光 F8000X 系列，率先支持200G IB雙端口，令人眼前一亮。

焱融追光F8000X AI存儲(chǔ)，除了是國內(nèi)自研存儲(chǔ)中第一個(gè)支持 雙端口200G HDR Infiniband接口外，還有其他什么特點(diǎn)呢？

焱融追光，為“AI”而生

從焱融科技的官網(wǎng)介紹看，追光F8000X系列，所有的特性都圍繞AI場(chǎng)景而設(shè)計(jì)，可以說完全是一款為”AI”而生的專用存儲(chǔ)。

作為AI存儲(chǔ)，性能是第一位的。追光 F8000X 搭載了第三代 AMD EPYC 計(jì)算平臺(tái)(支持PCIe 4.0)和焱融高性能分布式文件存儲(chǔ)系統(tǒng) YRCloudFile ，采用全 NVMe SSD、InfiniBand 200G高速RDMA網(wǎng)絡(luò)，性能表現(xiàn)強(qiáng)勁，可以充分榨干多GPU的帶寬。

軟件方面，焱融追光 F8000X 從客戶端到 Server 端做了全鏈路的優(yōu)化（如提供Linux和Windows的高性能并發(fā)客戶端），不僅能提供高 IOPS，還能提供更低的延遲，以及高帶寬性能。在實(shí)際測(cè)試中焱融追光F8000X 每節(jié)點(diǎn)配置為兩顆 CPU，32G X 8 內(nèi)存，2塊200Gbps HDR InfiniBand 網(wǎng)卡，存儲(chǔ)節(jié)點(diǎn)（集群最少三節(jié)點(diǎn)起，這里只是為了方便，攤分到單節(jié)點(diǎn)看）測(cè)試數(shù)值如下：

帶寬性能

IOPS 性能

我們看到，結(jié)合 InfiniBand 強(qiáng)大的網(wǎng)絡(luò)性能，追光 F8000X 取得了十分優(yōu)異的性能測(cè)試數(shù)據(jù)。單個(gè)存儲(chǔ)節(jié)點(diǎn)達(dá)到40GB/s 帶寬、200萬以上IOPS，80μs的時(shí)延，同時(shí)存儲(chǔ)采用分布式架構(gòu)，性能可以實(shí)現(xiàn)線性提升，在 6 存儲(chǔ)節(jié)點(diǎn)時(shí)性能可達(dá)1000萬 IOPS，210GB/s帶寬， 在高負(fù)載情況下能夠保持130μs以內(nèi)的延遲。

除了性能，AI存儲(chǔ)也需要講究成本。從前面的AI負(fù)載分析我們可以看到，AI的數(shù)據(jù)集是非常龐大的，而且需要長(zhǎng)期保持。但是，對(duì)存儲(chǔ)性能要求最高的只是在訓(xùn)練和推理階段，這兩個(gè)階段采用全閃的AI存儲(chǔ)是合適的，但是如果數(shù)據(jù)歸檔也用全閃，成本就不劃算了。而對(duì)象存儲(chǔ)，是最適合作為歸檔存儲(chǔ)的。焱融追光系列雖然不支持S3訪問，不是一個(gè)對(duì)象存儲(chǔ)產(chǎn)品，但是它支持智能分層到第三方對(duì)象存儲(chǔ)的方式，有效解決了成本的問題。用戶可以選擇其他廠商的對(duì)象存儲(chǔ)，或者采用公有云，配合焱融追光AI存儲(chǔ)，支撐AI所有階段對(duì)數(shù)據(jù)的存儲(chǔ)和處理要求。

從AI的流程，我們也看到，訓(xùn)練需要準(zhǔn)備大量的數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備的時(shí)間往往大于訓(xùn)練的時(shí)間，因此，縮短數(shù)據(jù)的加載時(shí)間，就能夠大大縮短整體的時(shí)間。焱融追光系列，采用智能數(shù)據(jù)加載DataLoad技術(shù)來解決這個(gè)問題。

DataLoad 具體是如何設(shè)計(jì)的呢？實(shí)際上，它的設(shè)計(jì)和 Tiering 是非常類似的，主要是場(chǎng)景有所不同。實(shí)際上 DataLoad 的實(shí)現(xiàn)幾乎是能完整復(fù)用 Tiering（分層） 的實(shí)現(xiàn)。

焱融追光的Tiering沒有做物理切片。在不做物理切片的情況下，可以直接把 5GB 的數(shù)據(jù)文件關(guān)聯(lián)到 YRCloudFile，S3 對(duì)象和 YRCloudFile 文件很直觀地一一對(duì)應(yīng)起來，這天然滿足了 DataLoad 功能的用戶需求和設(shè)計(jì)需求。而在做物理切片的情況下，一個(gè) 5GB 的對(duì)象需要先切成很多小塊，然后才能再寫回對(duì)象存儲(chǔ)里。

用戶通過 YRCloudFile DataLoad 功能，將 S3 上的數(shù)據(jù)直接關(guān)聯(lián)為 YRCloudFile 文件系統(tǒng)中的目錄和文件，直接滿足用戶利用 S3 上已知數(shù)據(jù)的計(jì)算需求。

比如用戶在 S3 bucket 中已有 100 萬個(gè) object，現(xiàn)在要使用 YRCloudFile DataLoad 的話 S3 和文件系統(tǒng)的連接。DataLoad 會(huì)自動(dòng)掃描 S3 bucket，根據(jù) S3 object 的路徑，在 YRCloudFile 中創(chuàng)建出對(duì)應(yīng)的目錄和文件，然后用戶業(yè)務(wù)就可以像使用本地文件一樣，使用這些 DataLoad 關(guān)聯(lián)下來的 S3 數(shù)據(jù)集。

焱融追光在實(shí)現(xiàn) DataLoad 時(shí)，也做了充分的性能考慮。比如 DataLoad 在創(chuàng)建對(duì)象和文件的關(guān)聯(lián)時(shí)，將其分為不同的階段，比如掃描 S3 bucket 階段、創(chuàng)建文件階段、數(shù)據(jù)拉取階段等，每個(gè)階段都支持配置不同的策略，比如掃描 bucket 時(shí)，可以通過設(shè)置 pattern 去過濾需要的數(shù)據(jù)。比如在數(shù)據(jù)拉取時(shí)，默認(rèn)配置為異步地、按需地拉取。

另外，用戶在使用 DataLoad 時(shí)，除了一開始建立起對(duì)象和文件的關(guān)聯(lián)后，用戶可能還需要實(shí)時(shí)感知 S3 bucket 中對(duì)象的變化，比如對(duì)象的新增和刪除等。YRCloudFile DataLoad 實(shí)現(xiàn)了訂閱機(jī)制，并適配了阿里云、騰訊云等各種云產(chǎn)商各異的訂閱通知機(jī)制，對(duì)用戶提供一致的訂閱功能體驗(yàn)。

最后一點(diǎn)，就是AI存儲(chǔ)需要共享存儲(chǔ)，而焱融追光軟件就是焱融云自研的高性能文件系統(tǒng)YRCloudFile，它不僅支持通用的NFS和SMB訪問，而且還有Window和Linux下的私有客戶端，給胖客戶端提供更好的單客戶端性能。還有，現(xiàn)在的AI負(fù)載很多已經(jīng)容器化了，因此CSI的支持也是必須的。焱融追光除了支持CSI標(biāo)準(zhǔn)接口外，還針對(duì)容器場(chǎng)景下的運(yùn)維和監(jiān)控做了很多增強(qiáng)，讓用戶使用起來更加方便。

寫在后面

從上面的分析我們可以看到，AI存儲(chǔ)高速增長(zhǎng)，今年就達(dá)百億美金規(guī)模。國外的AI存儲(chǔ)發(fā)展較快，很多都聯(lián)合NVIDIA推出了AI一體機(jī)，但后端的AI存儲(chǔ)接口目前也沒有超過200G IB。國內(nèi)廠商雖然在AI一體機(jī)有所落后，但在AI存儲(chǔ)這塊卻跟得非常緊，比如焱融科技推出的追光專用AI存儲(chǔ)，圍繞AI的整個(gè)流程進(jìn)行了設(shè)計(jì)和優(yōu)化，不僅在性能上能夠充分榨干多個(gè)GPU的帶寬，而且功能上可以還可以和第三方對(duì)象存儲(chǔ)配合，兼顧成本和性能，完美解決AI不同階段對(duì)存儲(chǔ)的需求。

END