智東西（公眾號：zhidxcom）

編輯 | 程茜

6月30日，由智東西和智東西公開課主辦的GTIC 2022全球AIoT智能家居峰會（以下簡稱AIoT智能家居峰會），在線上成功舉辦，在全網(wǎng)16個渠道同步直播，線上觀看人數(shù)達到了90多萬人，眾多嘉賓的議題都引起了大家熱烈討論。

8位行業(yè)重磅大咖就AIoT智能家居的技術突破、創(chuàng)新應用和行業(yè)展望展開了精彩的深度探討，直擊行業(yè)痛點。

安謀科技智能網(wǎng)聯(lián)業(yè)務線聯(lián)合負責人商德明

作為安謀科技智能網(wǎng)聯(lián)業(yè)務線聯(lián)合負責人，商德明以《端云互動，迎接智能攝像頭新時代》為主題進行了演講。

隨著人工智能和云端技術的發(fā)展，越來越多的攝像頭具有了AI功能，如何實現(xiàn)端云協(xié)同，打通視頻數(shù)據(jù)采集、傳輸分析、算法提取以及端側部署的整條鏈路，更好的發(fā)揮攝像頭的價值，是業(yè)內(nèi)共同的挑戰(zhàn)。

軟件定義已經(jīng)成為趨勢，商德明認為，軟件定義智能攝像頭也會成為未來的趨勢。

隨著新趨勢的發(fā)展，智能攝像頭正在不斷向邊緣計算轉移、不斷增強的安全關切和支持云原生應用發(fā)展。

同時，安謀科技也圍繞三大趨勢提出了針對性的解決方案，包括具體的芯片設計和軟件參考實現(xiàn)等。

附安謀科技智能網(wǎng)聯(lián)業(yè)務線聯(lián)合負責人商德明演講實錄

商德明：首先感謝主辦方的邀請，也多謝各位觀眾、各位聽眾的參加，在這里也非常高興能夠跟大家一起交流，關于端云互動在新的時代以及智能攝像頭、智能攝像機等在人工智能浪潮下的一些新應用和方式。

同時非常感謝前面各位嘉賓的精彩演講，有很多的新的應用案例，也給了我很多新的啟發(fā)。

安謀科技作為技術基礎的使能方，可以和在座各位所在領域產(chǎn)生非常好的互補關系。同時，各位嘉賓也都分享了很多豐富的應用場景，這些應用場景也正好是指引我們現(xiàn)在和未來，對產(chǎn)品、技術進行迭代的方向。

所以借著這樣一個話題跟大家一起分享一下在端云互動未來攝像頭領域中，安謀科技和Arm是如何進行一些基礎性工作，并為行業(yè)和生態(tài)合作伙伴提供更多的工具和底層技術，使得越來越豐富、越來越智能的應用能夠走到千家萬戶。

大家都知道，隨著科技的進步，軟件定義已經(jīng)發(fā)展成為一個趨勢，網(wǎng)絡連接技術、計算技術和云端存儲技術的發(fā)展，再加上越來越廣泛、統(tǒng)一的操作系統(tǒng)和虛擬技術、容器技術等，使得軟件定義更多的應用、產(chǎn)品成為可能。大家也都聽到有很多如軟件定義汽車等的案例介紹。

以手機為例，從硬件來看其形態(tài)有很多變化，但我們每天大部分時間使用的都是其所提供的內(nèi)容，并且通過下載不同的APP就可以提供不同的服務、從事各種操作，我們在軟件層面會有更多的投入、開發(fā)，然后將這些軟件應用在終端設備商，能夠產(chǎn)生更多智能的服務。

從這樣的趨勢往下延伸，軟件定義智能攝像頭也會成為未來的一個趨勢，并且有很多先進的公司已經(jīng)在采用或者正在實踐這種方式，包括而且有很多先進的公司已經(jīng)在采用和正在實踐這樣的一種方式，包括現(xiàn)在的ITU（國際電信聯(lián)盟）也都有了ITU標準（國際電信聯(lián)盟標準），這些都是非常好的趨勢演進。

今天我就這個話題跟大家分享一下我們的思考和規(guī)劃，也希望能夠跟大家有更多的探討和交流。

我們看到智能攝像頭有三大新趨勢。

首先是不斷的向邊緣計算轉移。以前攝像頭就只是一個攝像頭，只對影像數(shù)據(jù)進行收集、存儲、送到某個地方由人的眼睛來檢查或者送到云端，通過云端算力進行分析。

現(xiàn)在攝像頭越來越智能化，攝像頭擁有更多的智能化處理能力，因此智能攝像頭不再是一個簡單的傻瓜攝像頭，還會包含更多的智能應用，這些內(nèi)容后面我會詳細介紹。

第二個趨勢是支持云原生應用。前面很多嘉賓也介紹到，企業(yè)會在云端進行應用開發(fā)、在云端環(huán)境進行無限擴展，而且云端提供了很多的這些DevOps、Container（容器技術）等，都使得企業(yè)在云端開發(fā)應用，并進行廣泛部署時不受物理因素的限制，這也成為了非常重要的演進趨勢，同時這些應用也正在被廣泛實踐。

在云端開發(fā)的應用，如何將這些軟件和算法部署到端側，也是一個非常重要的環(huán)節(jié)。原因在于，一是端側更加智能，二是云端和端側的互動越來越密切。

第三個趨勢是不斷增強的安全關切，比如說我們在云端開發(fā)了很多的軟件，能夠在云端保障其安全，但是把云端開發(fā)的產(chǎn)品部署到端側時，端側就會有各種各樣的硬件限制和不同的安全機制，所以如何在安全性與云端有很大不同的情況下，能夠繼續(xù)實現(xiàn)同等安全級別的保障，是不斷增強的安全關切里重點關注的內(nèi)容，后面我也會詳細展開介紹。

在向邊緣計算轉移方面，我們可以看到在生活中，一些產(chǎn)品已經(jīng)從以下幾個方面發(fā)生了變化。

首先是定位、跟蹤以及對人體進行識別，這些都是隨著人工智能技術發(fā)展，以及有更高算力、更高性能的計算平臺支撐，使得其能夠進行不同物體、人臉的識別，同時隨著不同空間的變化，能夠?qū)θ说膭幼鬟M行分析、判斷、追蹤，這些都是非常重要的應用場景，此外，還支持各種各樣的關鍵點進行檢測、判別。

第二是自動邊界分割，我們在現(xiàn)實生活中常常會遇到一些正在運行的電梯、水池或其他危險地帶，我們需要對其進行分界，這樣的話，如果有遇到危險的情況就可以及時對用戶進行提醒，這些也都是很重要的邊界分割能力。

第三是在安全方面，我們要求對整個產(chǎn)品的安全得到非常好的保障，比如訪問權限的保障、本地推理、模型保護、數(shù)據(jù)保護、知識產(chǎn)權保護，以及流媒體保護等，這些都是安全相關的要求。

最后是不斷增強的人工智能，隨著人工智能技術的進一步發(fā)展，產(chǎn)品可以根據(jù)一些人們的行為來進行判斷，比如現(xiàn)在有一些安全隱患或安全時間，我們可以通過人工智能模型分析，遠處的攝像頭就會變成安全部分延伸的千里眼，能夠看到一些特殊或比較激烈的行為，提早給安全部門一些提醒和警示。

這些都是邊緣計算等技術發(fā)展帶來的。

隨著不斷的安全關切，我們也要在技術上實現(xiàn)突破。

首先是安全島（Secure Enclave）的建立，它會使得整個系統(tǒng)有一個安全的信任根（Root of Trust），也就是一個安全可信的空間。在空間內(nèi)，你可以實現(xiàn)安全啟動，包括對整個設備進行安全檢查，使得其不會被黑客襲擊或?qū)裟Ｐ瓦M行分析，同時可以使整個系統(tǒng)里的不同安全級別的軟件能夠進行隔離，另一個軟件不會侵入其它軟件中更為敏感的空間，此外，安全存儲、固件更新也都能得到保障。

如固件更新，后面我們也會談到，很多產(chǎn)品的升級、更新都是非常重要的。設備更新會經(jīng)常發(fā)生，需要保證固件安全，不會有木馬或其他黑客的病毒，并且能夠隔絕襲擊，另外加密認證等內(nèi)容，都是安全關切里非常重要的部分。

Arm聯(lián)合很多合作伙伴，提出了PSA Certified安全認證，這個認證和相關架構的提出，將安全模型、攻擊模型進行仔細分析，并通過PSA Certified安全認證的方式，使得不管你的設備用什么樣的硬件結構搭建起來，都能顯著提高設備的安全等級，極大地保障其安全。

不僅是國際上有不同的安全標準，國內(nèi)也有相關標準去保障安全，國內(nèi)國標《公共安全視頻監(jiān)控聯(lián)網(wǎng)信息安全技術要求》也分為A、B、C三個不同的等級，尤其C級中，除了安全認證外，還會對視頻流進行保護，也就是對視頻進行加密，同時對安全的底層硬件提出要求，使得硬件能夠快速、實時的支撐視頻流的加密、解密過程，這些也都是安全要求及安全技術產(chǎn)生的實現(xiàn)方案。

第三個方向是云原生應用，我會通過這張圖跟大家展開介紹一下。

首先我們可以看到，有底層技術的保障，使得我們可以在云上提供很多服務，云上的應用也可以不斷進行開發(fā)。

未來，我們想要做到軟件定義攝像頭的趨勢，就需要一方面在底層建立更加統(tǒng)一、抽象，并能夠與硬件隔離的軟件架構，使得上層開發(fā)者不再被不同硬件之間的差異所困擾，而能夠集中精力去開發(fā)不同場景的應用。

所以我們可以想象，未來，隨著端云互動機制的打通，會有更多開發(fā)者面向不同的應用場景來開發(fā)云端的應用，使得智能攝像頭具備的功能越來越多。就像我們的手機中有上百萬個應用一樣，都和我們的生活息息相關。隨著整個生態(tài)系統(tǒng)不斷成熟，會出現(xiàn)更多的應用場景和需求，這些開發(fā)者也會針對性的根據(jù)廣大用戶的需求進行開發(fā)。

在智慧家庭中，比如會出現(xiàn)老人摔倒、嬰兒看護、監(jiān)測廚房煙霧等情況，現(xiàn)在這些問題的解決往往是由廠家建立軟件團隊，做各種各樣的模型，未來，其實這些內(nèi)容都可以形成一個社區(qū)，大家根據(jù)現(xiàn)在已經(jīng)有的各種各樣的應用場景或未來可能出現(xiàn)的場景或需求，基于底層軟硬件技術，使得這些應用能發(fā)展起來。

所以我們一方面在云端形成了一個虛擬環(huán)境，它能開發(fā)不同的應用，同時又基于容器技術等底層技術，將這些應用平滑、有效的部署到終端上去。開發(fā)者不用再擔心其開發(fā)的應用在攝像頭或者機器人等設備上的部署問題，不用考慮硬件設備之間的差異，充分利用端云互動機制，這一方面也是算法應用部署的一個方向。

那么為什么端側需要更多的智能？因為智能攝像頭能手機很多真實的數(shù)據(jù)，它也最靠近數(shù)據(jù)，并可以根據(jù)這些數(shù)據(jù)的特點進行訓練。

一方面，數(shù)據(jù)在端側可以進行訓練，也能把一些更加復雜的或者需要云端算力訓練的數(shù)據(jù)送到云端，然后進行更細致的訓練，使得訓練模型更加精準、豐富，接著把訓練好的模型再部署到端側，回到智能攝像頭這樣的硬件中去，進行算法更新。

同時我們也可以看到，容器技術等的支撐下，并行的模型也能夠同時進行推理。就像前面嘉賓提到的，像多模態(tài)感知，將聲音、視覺或其他的感知，通過并行的方式來運行。

在圖片右側下方，我們有異構系統(tǒng)，也就是相關的CPU、GPU、NPU、ISP等硬件單元，異構技術的發(fā)展，再加上摩爾定律，硬件的發(fā)展更加豐富，也需要專門的硬件來處理更多的數(shù)據(jù)流、更多的應用。

所以根據(jù)不同的硬件形成了異構系統(tǒng)，并通過前面的軟件技術能更好的利用不同硬件，使得這些數(shù)據(jù)流能夠得到更好地處理。這個是整個業(yè)界大家在共同推進的話題。

以上就是整個行業(yè)的趨勢以及現(xiàn)狀的一些特點。

接下來我介紹一下安謀科技在智能攝像頭解決方案上的做法，主要有三個方面，我們也在和合作伙伴一起研究更好的解決方案。

首先是芯片參考設計。芯片里包含這些所有的處理能力的IP，如何使芯片中不同的子系統(tǒng)和這些系統(tǒng)IP的組合，能夠適應智能攝像頭里邊的高速數(shù)據(jù)流，并對數(shù)據(jù)流進行智能分析，提取更多信息，這是芯片參考設計中最主要的一個作用。

實現(xiàn)這一目的需要具備更高的性能、完整的功能以及更快速的處理能力，并保持實時性，這也是芯片層面需要解決的問題。

第二是硬件仿真平臺。我們有幾種方式，一方面我們完成了智能攝像頭方案設計后，可以在FPGA板上進行調(diào)測、驗證。同時，我們也可以通過RTL在Testbench上進行測試，發(fā)現(xiàn)開發(fā)者設計的芯片方案是否在性能上達到要求。

尤其是我們不僅僅是要使自己的算法，自己的軟件在功能上能夠滿足要求，同時你要考慮這個性能在哪一個硬件單元上花費了很多時間，同時，你的算法在提升、優(yōu)化后的實際效果如何，這些都需要進行測試。

此外，我還想強調(diào)的是Arm提出的Virtual Hardware，這也和我前面提到的云原生和充分利用云上的能力相關，也就是說我們把相關的重要IP，包括我們現(xiàn)在正在規(guī)劃和開發(fā)的智能攝像頭解決方案在內(nèi)的相關重要IP，將其進行虛擬化部署在云端，這樣的話包括算法工程師、軟件工程師等開發(fā)者，就不需要等芯片流片，再到板子上進行測試。

事實上，這一過程需要花費很長周期，非常耗時。開發(fā)者不需要等待，就可以在Virtual Hardware的虛擬環(huán)境中調(diào)試智能攝像頭的能力。前面嘉賓也提到，有聲音、視覺方面的算法以及成百上千的不同應用，都可以在這個平臺上進行測試，這是非常重要也是很有價值的一種方式。

第三是參考軟件棧，這也是非常重要的。我們會從容器技術、安全認證等不同角度來提供底層的協(xié)議棧。作為一個平臺開發(fā)商，軟件工作量往往是大于硬件工作量的。

所以我們提供軟件參考設計或參考軟件棧，可以大大縮短產(chǎn)品開發(fā)的時間。此外，從生態(tài)角度講，軟件棧在生態(tài)上實現(xiàn)了統(tǒng)一，廣大的開發(fā)者和用戶就可以享受這一便利，能夠開發(fā)出更加豐富的底層應用，不需要在底層一些沒有差異化的軟件棧上投入更多，使得產(chǎn)品、資源都更加聚焦到企業(yè)構建差異化優(yōu)勢的產(chǎn)品和應用中。

剛剛，我介紹了從硬件、軟件、開發(fā)環(huán)境，以及我們向合作伙伴提供的參考設計圖。對不同的企業(yè)硬件、軟件團隊，這張圖片可以做一個參考，能夠讓相關行業(yè)的合作伙伴共同探討，使得整個硬件平臺能夠更加優(yōu)化和高效。這個參考設計以Arm的CPU為基礎，我們通過一條互聯(lián)的總線，將不同系統(tǒng)的其他處理單元都能夠集成到整個系統(tǒng)中。當然，CPU里面的一些安全機制等，這些同樣能為整個產(chǎn)品提供價值。

同時，異構系統(tǒng)中有“周易”NPU、對流媒體進行有效處理的“玲瓏”ISP、可以進行數(shù)據(jù)壓縮的“玲瓏”VPU，這些都是我們整個芯片參考設計中非常重要的部分。然后NPU可以提供神經(jīng)網(wǎng)絡計算，使得智能化進一步得到保障。

芯片參考設計中比較有特點的是我們可以集成不同的子系統(tǒng)。如MCU級別的子系統(tǒng)，可以連接一個更低像素的攝像頭，也可以部署一個更小配置的設備。

就像前面有嘉賓提到的低功耗等場景下，我們會先將一個小的系統(tǒng)，在電池驅(qū)動下實現(xiàn)低功耗運行，這樣就可以實現(xiàn)數(shù)月甚至數(shù)年都不需要更換電池，并且進行一些基本的環(huán)境監(jiān)控功能。

比如像智能門鈴，一旦發(fā)現(xiàn)有人進入，或者用戶需要觀察車輛，就可以通過攝像頭喚醒整個系統(tǒng)，在有效的工作時間內(nèi)進行更高像素、更智能的分析，發(fā)揮智能攝像頭的相關功能。

所以我們希望通過參考設計，能夠把核心IP和技術進行集成，交付給客戶一個比較完整的參考設計，使得客戶能增加一些外圍設備或接口，可以很快形成自己新一代攝像頭的設計方案，這可以大大縮短產(chǎn)品的開發(fā)時間，同時我們的整個參考設計也是經(jīng)過充分驗證的，可以為客戶在實現(xiàn)相應功能的基礎上，減少時間和研發(fā)投入。

這里比較關鍵的模組我們剛剛也提到了，就是安全機制，“山海”SPU根據(jù)不同的安全等級和對安全處理性能的要求分成不同型號，還有“玲瓏”ISP，可以提供高質(zhì)量的圖像處理。

而視頻處理單元VPU，通過軟硬件架構，系統(tǒng)級設計，同樣能使其性能得到大幅提升。如視頻編碼標準H.265和ADSP等視頻解碼標準，都能夠通過硬件的時間以非常低的延時完成，這也是智能攝像頭中的重要技術。

這些過程是標準化的，非常適合用IP的方式來實現(xiàn)，使得我們的客戶能夠節(jié)省研發(fā)時間。

隨著人工智能技術的發(fā)展，ML（機器學習）對算力、模型要求越來越高，所以有一個能夠處理神經(jīng)網(wǎng)絡計算的NPU是非常重要的。其中，周易就擁有自定義算法能力，使不同的定制算子能夠得到支撐。

此外，我們也可以通過子系統(tǒng)進行擴展，增加Wi-Fi或者聲音當面的子系統(tǒng)。

這個產(chǎn)品組合中，最重要的是CPU，攝像頭、機器人或者是其他機器視覺方面的產(chǎn)品對CPU的處理能力要求是不一樣的，最近Arm推出的新一代CPU能力也在不斷提升，安全性上也做了補充和升級。

所以，在CPU上，客戶可以有很多種選擇，NPU也有不同的系列，客戶同樣可以根據(jù)算力需求來選擇合適的IP。同樣道理，VPU和ISP的IP組合實際上就是產(chǎn)品組合，根據(jù)客戶的產(chǎn)品定位選擇是否帶電池或者功耗。

根據(jù)不同的方式，選擇IP組合，通過參考設計形成一個系統(tǒng)級的解決方案，這是我們希望提供給行業(yè)的價值，也使這個行業(yè)在這一方面能夠大大節(jié)省研發(fā)投入。

剛才也有提到，一方面我們在底層通過硬件模擬，使得軟件環(huán)境能夠進行測試和運行，另一方面也在安全方面擁有PSA Certified安全認證。

我們正在推出的全球聯(lián)盟計劃SystemReady，國內(nèi)也已經(jīng)有很多廠家加入了這個認證，使得硬件能夠得到統(tǒng)一。

這樣的話，操作系統(tǒng)可以在硬件之間有一個抽象，這就是前面所提到的軟件和硬件隔離，軟件環(huán)境就不會受硬件變化的影響，同時，操作系統(tǒng)都是行業(yè)中各個社區(qū)的開源軟件，能夠提供很多軟件應用和操作系統(tǒng)支撐。

Arm就是將相關的IP，集成經(jīng)過測試并實踐過的解決方案，然后提供給合作伙伴。在通過不同客戶發(fā)現(xiàn)的問題，進一步提升、優(yōu)化我們的解決方案。

無論是ISP、VPU還是NPU，我們都在走同樣的路線，使得這個產(chǎn)品能夠通過多次迭代提供更多的價值、更好的性能，以此來滿足上層應用需求，包括安全機制、機器學習和云原生的相關應用，實現(xiàn)高效支持。

通過這種方式，客戶的產(chǎn)品在亞馬遜、阿里云或其他云上，都可以在軟件層面進行平滑部署。

這個也只是其中一個應用場景，其實包括前面嘉賓的分享，智能攝像頭有非常多的應用場景，我們都是通過這樣的流程，將數(shù)據(jù)流進行接收，然后通過神經(jīng)網(wǎng)絡處理進行判別。

這里面最核心的問題就是我們?yōu)槭裁匆岢鲞@樣一個參考設計？關鍵在于，我們認為任何一個設計都需要平衡，如何使你的計算資源能滿足數(shù)據(jù)流需求是非常核心的。

不論是一個攝像頭還是多路攝像頭，其分辨率和數(shù)據(jù)量大小是不一樣的，數(shù)據(jù)流進來以后，如何對其進行拆解、處理，包括數(shù)據(jù)流需要盡量減少DDR訪問，或在RAM里面如何配置，以及如何將碎片化空間利用好，這些都是非常核心的需求。

除了單IP非常高效，整個系統(tǒng)設計也需要對數(shù)據(jù)流進行很好的處理，我們用最有限的硬件配置，就能夠?qū)崿F(xiàn)性能更高的效果。

所以這個設計的理念在于，通過不同的Use-case開發(fā)來得到保障。

除了這些技術和研發(fā)成果以外，我們也在積極推動整個生態(tài)系統(tǒng)的建設，比如之前我們提到的SystemReady，也有更多的廠家參與進來，包括很多行業(yè)的領導者，使得硬件和軟件能夠更加廣泛的在SystemReady基礎上，實現(xiàn)統(tǒng)一化，這都是生態(tài)建設中非常重要的內(nèi)容，通過不同的標準讓大家實現(xiàn)兼容。

在安全方面，我們剛才也介紹了PSA Certified安全認證，使得客戶實現(xiàn)不同安全機制的端側硬件，通過統(tǒng)一的API，在安全方面的調(diào)用和硬件機制上得到統(tǒng)一，所以我們的安全軟件、安全功能開發(fā)，會在更加統(tǒng)一、便利的環(huán)境中進行。

同時，生態(tài)系統(tǒng)中更多的合作伙伴加入，形成方案，其價值在于，第一使得其在安全、云端開發(fā)、部署方面都能得到保障。

第二就是使更高的能效比和低功耗成為可能，不論是聲音還是視覺功能這些在低功耗模式下都能運行。

第三是機器學習，NPU部署產(chǎn)品的算力能夠得到保障，再加上云端模型的延展性，客戶的模型無論大小，都可以根據(jù)設備能力，部署相應的算法。

第四是，通過我們的參考設計等解決方案，客戶可以在云端進行虛擬測試，能夠提前進行軟件開發(fā)、硬件開發(fā)。同時，由于有參考設計，也可以縮減硬件開發(fā)時間。

第五是軟件層面，基于容器技術等，這些服務能夠得到很好的部署。所以這樣的話客戶就不會太局限于硬件，不需要針對不同的硬件開發(fā)特定的軟件，而是通過這個軟件進行一次性開發(fā)，然后再去大量部署到不同的場景中。

通過這樣的方式，我們希望能夠給行業(yè)提供更大的價值，也能夠和合作伙伴共同推動智能攝像頭的發(fā)展，使智慧家庭能夠有更好的技術支撐，產(chǎn)生更多豐富的應用，將智能帶到千家萬戶。

好的，感謝大家，我就這里。