本月，阿里云在北京舉辦了 “2022 年阿里云數(shù)據(jù)存儲(chǔ)生態(tài)發(fā)布會(huì)”，偶數(shù)科技作為目前國內(nèi)云原生數(shù)據(jù)倉庫技術(shù)領(lǐng)域的開拓者受邀參加了本次大會(huì)。

偶數(shù)科技首席架構(gòu)師陶征霖作為演講嘉賓，在會(huì)上與行技術(shù)仁共同回顧了分析型數(shù)據(jù)庫的演進(jìn)歷程，以及目前偶數(shù)科技在湖倉一體方面的前沿理念和實(shí)踐。

隨著企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入深水區(qū)，越來越多的企業(yè)視“湖倉一體”為數(shù)字變革的重要契機(jī)，如今湖倉一體受到前所未有的關(guān)注。在Gartner 2021年度數(shù)據(jù)管理領(lǐng)域的成熟度模型報(bào)告”Hype Cycle”中，”湖倉一體”（Lakehouse）與Edge Data Management、Intercloud Data Management、Active Metadata等新興技術(shù)一起，成為了首次進(jìn)入成熟度模型的五個(gè)新軍之一。

然而，關(guān)注度越高意味著嘈雜聲也會(huì)越多。對(duì)“湖倉一體”的錯(cuò)誤理解，也會(huì)將轉(zhuǎn)型中的企業(yè)引入更加復(fù)雜的數(shù)據(jù)孤島局面，盡管這些錯(cuò)誤理解最終會(huì)得被市場淘汰，但從現(xiàn)實(shí)而言可能會(huì)造成企業(yè)成本上升，甚至?xí)e(cuò)過數(shù)字化轉(zhuǎn)型的戰(zhàn)略時(shí)機(jī)。

對(duì)此，陶征霖在會(huì)上重點(diǎn)介紹了湖倉一體 ANCHOR 六大特性：實(shí)時(shí) T+0、一份數(shù)據(jù)、超高并發(fā)、數(shù)據(jù)一致性、云原生、多類型數(shù)據(jù)支持。通過 OushuDB 最新版本和架構(gòu)的加持，偶數(shù)湖倉一體方案將在云設(shè)施上幫助客戶發(fā)揮數(shù)據(jù)價(jià)值。

為什么“湖”+“倉”的分體模式不是最佳選擇

隨著近年來Hadoop 大數(shù)據(jù)平臺(tái)建設(shè)逐步推廣，企業(yè)開始嘗試將 Hadoop 用于一些非核心場景，但 Hadoop 性能和并發(fā)支持有限，而且事務(wù)支持弱，交付、運(yùn)維成本高，無法替代核心數(shù)倉，基本只能作為“數(shù)據(jù)湖”。為了滿足用戶在性能、事務(wù)等方面的要求，很多企業(yè)開始考慮數(shù)據(jù)湖和數(shù)據(jù)倉庫互補(bǔ)的方式。在構(gòu)建數(shù)據(jù)湖的同時(shí)，也使用MPP，湖倉各自獨(dú)立部署，數(shù)據(jù)通過ETL的方式打通。

這就是業(yè)內(nèi)常說的 Hadoop+MPP 的”湖倉分體”模式。

盡管這種模式能夠讓湖和倉有很好的技術(shù)特性互補(bǔ)，但同時(shí)它也會(huì)產(chǎn)生經(jīng)常讓企業(yè)感到困惑的嚴(yán)重問題，包括：

• 分體模式下的湖和倉各自形成數(shù)據(jù)孤島；
• Hadoop 和 MPP 集群規(guī)模擴(kuò)展能力受限；
• Hadoop 和 MPP 需要拆成多個(gè)集群，同一份數(shù)據(jù)在多個(gè)集群冗余存儲(chǔ)；
• 多份數(shù)據(jù)增加維護(hù)成本，數(shù)據(jù)一致性難保障；
• 在面對(duì)高并發(fā)數(shù)據(jù)查詢時(shí)，易造成業(yè)務(wù)應(yīng)用崩潰；
• T+1甚至更長的處理周期，不能滿足業(yè)務(wù)的實(shí)時(shí)決策;
• 建模路徑冗長、非結(jié)構(gòu)化數(shù)據(jù)無法整合；
• 湖+倉異構(gòu)分體帶來復(fù)雜的實(shí)施和運(yùn)維問題。

這些常見的狀況更讓從業(yè)者頭疼不已。要解決這些問題，必須實(shí)現(xiàn)數(shù)據(jù)和查詢層面形成一體化架構(gòu)，徹底擺脫大數(shù)據(jù)平臺(tái)遇到的這些瓶頸，這樣可以大大降低 IT 運(yùn)維成本和數(shù)據(jù)管理的技術(shù)門檻。

OushuDB存算分離的湖倉一體模式有何不同

那么，基于OushuDB存算分離的湖倉一體模式與Hadoop+MPP 的”湖倉分體”模式有何不同呢？

偶數(shù)科技研發(fā)的全球最快的新一代分析型數(shù)據(jù)庫引擎OushuDB創(chuàng)新性的采用了存算分離的云原生架構(gòu)。作為一個(gè)嶄新的數(shù)據(jù)平臺(tái)架構(gòu)，存算分離架構(gòu)可以保證存儲(chǔ)和計(jì)算可以獨(dú)立的彈性擴(kuò)展和伸縮。

而傳統(tǒng) MPP 和 Hadoop 都不適應(yīng)這樣的要求：

• MPP 數(shù)據(jù)庫存算耦合；
• Hadoop 必須通過計(jì)算和存儲(chǔ)部署在同一物理集群拉近計(jì)算與數(shù)據(jù)的距離，僅在同一集群下構(gòu)成邏輯存算分離。

另外，為了同時(shí)滿足實(shí)時(shí)流處理、實(shí)時(shí)按需分析和離線分析需求，偶數(shù)科技獨(dú)創(chuàng)性的探索出了Omega全實(shí)時(shí)數(shù)據(jù)處理架構(gòu)，相比于傳統(tǒng)的Kappa架構(gòu)、Lambda架構(gòu)優(yōu)勢明顯。

可以說，OushuDB基本解決了”湖倉分體”的技術(shù)瓶頸，技術(shù)優(yōu)勢相當(dāng)顯眼：

• OushuDB突破了傳統(tǒng)MPP和Hadoop的局限，將計(jì)算和存儲(chǔ)部署在不同的物理集群中，使得計(jì)算和存儲(chǔ)資源可以獨(dú)立的彈性伸縮；
• 通過構(gòu)建虛擬計(jì)算集群，OushuDB可以在數(shù)十萬節(jié)點(diǎn)的超大規(guī)模集群上滿足高并發(fā)需求，形成了統(tǒng)一的數(shù)據(jù)體系，不僅使得湖倉更適應(yīng)云環(huán)境，還降低了用戶的成本；
• 通過支持分布式表存儲(chǔ)Magma，OushuDB的計(jì)算引擎便于實(shí)現(xiàn)快照視圖，能夠高效實(shí)現(xiàn)實(shí)時(shí)查詢需求，從而在性能和事務(wù)方面的支持更加完善。
• Omega架構(gòu)通過流處理系統(tǒng)WASP實(shí)現(xiàn)實(shí)時(shí)連續(xù)的流處理或批流一提處理，并通過存儲(chǔ)于實(shí)時(shí)數(shù)倉的快照視圖完成實(shí)時(shí)查詢，從而解決了傳統(tǒng)Kappa架構(gòu)落地困難、Lambda架構(gòu)難以保證數(shù)據(jù)一致性的問題，并極大簡化了數(shù)據(jù)架構(gòu)。

湖倉選型，ANCHOR先行

偶數(shù)科技認(rèn)為，要真正的解決業(yè)務(wù)的痛點(diǎn)，選擇企業(yè)適合的湖倉產(chǎn)品，我們可以按照前面提到的ANCHOR 標(biāo)準(zhǔn)來選型。ANCHOR 的6個(gè)首字母分別代表六大特性：

行業(yè)的認(rèn)可與偶數(shù)的持續(xù)突破創(chuàng)新

自偶數(shù)科技誕生以來，偶數(shù)科技的產(chǎn)品和解決方案也已在非銀金融、電信、政府、能源、制造和互聯(lián)網(wǎng)等行業(yè)中被廣泛的部署和應(yīng)用，幫助多個(gè)行業(yè)中的企業(yè)小步快跑，進(jìn)行數(shù)智化轉(zhuǎn)型。同時(shí)，作為在數(shù)據(jù)庫領(lǐng)域的領(lǐng)先創(chuàng)業(yè)，其商業(yè)模式的可行性與成長性也得到了資本的認(rèn)可，連續(xù)獲得了國內(nèi)頂級(jí)投資機(jī)構(gòu)紅杉中國、騰訊、紅點(diǎn)中國與金山云的四輪投資。

在大數(shù)據(jù)的常見客戶行業(yè)中，銀行業(yè)是對(duì)應(yīng)用的自主可控、高可用、高可靠性的要求最高的領(lǐng)域之一，偶數(shù)科技解決方案在銀行業(yè)的落地正是其技術(shù)實(shí)力和對(duì)用戶痛點(diǎn)理解力的明證。早在2020年，偶數(shù)科技就與建設(shè)銀行成立了高性能大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室，共同探索湖倉一體化的實(shí)施路徑。經(jīng)過持續(xù)的技術(shù)探討與應(yīng)用驗(yàn)證，二者合作開發(fā)的基于云原生數(shù)據(jù)庫技術(shù)的全實(shí)時(shí)湖倉一體方案，采用了一套技術(shù)棧、統(tǒng)一存儲(chǔ)進(jìn)行湖倉雙重能力建設(shè)，已具備極速性能、彈性伸縮、計(jì)算資源按需分配、全量數(shù)據(jù)單一存儲(chǔ)、無須頻繁導(dǎo)數(shù)、混合負(fù)載等相關(guān)能力，能夠充分建設(shè)銀行及其客戶的實(shí)時(shí)應(yīng)用場景，幫助建行提升了實(shí)時(shí)需求響應(yīng)性能、增強(qiáng)了系統(tǒng)彈性，同時(shí)節(jié)約運(yùn)維成本。

近期，偶數(shù)科技正式入選國家級(jí)專精特新（專業(yè)化、精細(xì)化、特色化、新穎化）“小巨人”企業(yè)名單。作為助力國家突破關(guān)鍵技術(shù)領(lǐng)域“卡脖子”難題的初創(chuàng)企業(yè)，偶數(shù)科技在數(shù)據(jù)庫國產(chǎn)化、技術(shù)自主安全上的努力正在被逐步驗(yàn)證、得到國家層面的肯定。

隨著未來物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的逐步建立，大數(shù)據(jù)領(lǐng)域?qū)⒚媾R越來越廣的數(shù)據(jù)來源、越來越大的數(shù)據(jù)量、越來越多的非結(jié)構(gòu)化數(shù)據(jù)、越來越豐富的應(yīng)用場景和越來越復(fù)雜的技術(shù)棧，大數(shù)據(jù)處理和分析的難度將進(jìn)一步提升。從上世紀(jì)60年代的數(shù)據(jù)庫，到數(shù)據(jù)倉庫、數(shù)據(jù)湖，到現(xiàn)在的湖倉一體，新產(chǎn)品總是在性能、功能上去解決以前從業(yè)者在業(yè)務(wù)上的痛點(diǎn)，我們可以說湖倉一體是數(shù)據(jù)庫發(fā)展到云原生時(shí)代的必然產(chǎn)物。

通過虛擬計(jì)算集群技術(shù)在數(shù)十萬節(jié)點(diǎn)的超大規(guī)模集群上實(shí)現(xiàn)高并發(fā)，保障事務(wù)支持，提供實(shí)時(shí)能力，一份數(shù)據(jù)再無數(shù)據(jù)孤島，新一代湖倉一體架構(gòu)將是未來的發(fā)展趨勢。偶數(shù)科技作為湖倉一體化領(lǐng)域的領(lǐng)導(dǎo)者，也將持續(xù)優(yōu)化技術(shù)，為用戶帶來更高性能、更穩(wěn)健的解決方案，支撐更多行業(yè)用戶將數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力。