本文作者張錫平，火山引擎視頻云veImageX產(chǎn)品負責人。

前言

日前，第五屆深度學習圖像壓縮挑戰(zhàn)賽（以下將簡稱“ CLIC 大賽”）比賽結(jié)果公布，首次參賽的火山引擎視頻云多媒體實驗室奪得視頻壓縮賽道第一名。壓縮技術(shù)對于圖像、視頻應(yīng)用十分重要。在保證同樣主觀質(zhì)量的前提下，如何將圖像壓縮到更小體積便于互聯(lián)網(wǎng)信息傳輸，火山引擎視頻云團隊不斷突破壓縮技術(shù)“天花板”。

字節(jié)跳動在公司成立之初就建設(shè)了圖像處理平臺，起初主要服務(wù)于今日頭條APP的圖文資源。隨著業(yè)務(wù)擴展，后逐步服務(wù)于抖音圖集、短視頻封面、圖蟲等幾乎用戶能看到的所有圖片展示場景?；鹕揭嬉曨l云團隊將字節(jié)跳動圖像處理的實踐，整理為《veImageX演進之路》系列，將從產(chǎn)品應(yīng)用、后端技術(shù)、前端技術(shù)、算法、客戶端SDK 詳細解讀字節(jié)跳動背后的圖像壓縮技術(shù)。

veImageX是火山引擎基于字節(jié)跳動內(nèi)部服務(wù)實踐，推出的圖像一站式解決方案 ，覆蓋上傳、存儲、處理、分發(fā)、展示、質(zhì)量監(jiān)控全鏈路應(yīng)用。

一張圖片從上傳到在用戶端消費展示，主要包括帶寬、存儲、計算三大部分資源的消耗，成本大概占比7:2:1。其中帶寬占比甚至可能比這更高，因此針對帶寬的節(jié)省優(yōu)化是重要一環(huán)。

veImageX架構(gòu)簡圖

veImageX可以簡化理解為包括三大組件：分發(fā)組件（CDN）、存儲組件、基礎(chǔ)媒體處理組件，組件有效組裝到一起形成一整套解決方案。降帶寬的本質(zhì)是通過壓縮降低傳輸?shù)奈募笮。簣D像在未壓縮之前體積都很大，因此我們將目標設(shè)定為在保持用戶主觀體驗不受損的前提下降低圖像傳輸?shù)捏w積，選擇了基于HEIF自研的圖像編解碼算法來壓縮體積。

為不降低應(yīng)用性能，需要考慮耗時+帶寬+畫質(zhì)等多個因子：對性能的影響主要是用戶加載耗時（圖片加載排隊耗時、圖片網(wǎng)絡(luò)耗時、圖片解碼耗時），對成本影響主要是用戶傳輸流量或者CDN分發(fā)帶寬，對畫質(zhì)影響主要是畫質(zhì)清晰度和美學等指標；

基于以上思路，我們以下圖為例，來看各環(huán)節(jié)我們是如何優(yōu)化的：

雙端圖像壓縮

體積對比

線上圖像以各種形式存在：iOS 主要是jpeg格式、Android端以webp為主，以典型的jpeg、png、webp為例，實驗室多次抽樣驗證發(fā)現(xiàn)，轉(zhuǎn)換到我們自研的HEIF圖片格式，體積可以節(jié)省30%以上。

圖片對比：黃色部分為自研圖片格式，藍色部分為原圖格式

畫質(zhì)對比評估

壓縮體積是大目標，保證畫質(zhì)不受影響是第一要義；在畫質(zhì)評估階段，我們選取了一些客觀指標以及我們自己訓(xùn)練的無參考的清晰度評估方式（VQScore算法），對圖像清晰度和美學進行整體評估：

q值是在自研算法下調(diào)教數(shù)值對清晰度的影響

q值是在自研算法下調(diào)教數(shù)值對美學的影響

通過如上圖可以看出，新算法壓縮并不會帶來很大的畫質(zhì)波動，基本和壓縮前對比差異不大。

解碼性能對比

要保證用戶側(cè)的加載耗時，必須要考慮新的算法在客戶端解碼的性能，而「按照我們的設(shè)計預(yù)期用戶的解碼耗時的增加值」需要小于「由于文件體積的減少帶來的耗時」才能保證影響加載耗時變大，我們調(diào)研開源的一些圖片解碼性能，發(fā)現(xiàn)業(yè)界其他解碼器一張圖像解碼耗時在150MS~250MS 之間，開源實現(xiàn)暫時無法達到要求，于是我們做了一些自行調(diào)教：

實驗室下：自研解碼和開源解碼性能對比，耗時越低越好。（單位:ms，其中綠色為自研解碼）

經(jīng)過如上調(diào)教，我們基本可以將圖片的解碼耗時控制在對齊webp的解碼耗時時間。

實驗設(shè)計

秉承科學嚴謹?shù)脑瓌t，我們選擇實驗驗證時，需要充分考慮對照組和實驗組變量盡量減少:(veImageX圖像壓縮訪問方式是極簡的，只需要將原來的url之后追加一個圖像目標模板即可如下表格中隱去了真實的業(yè)務(wù)信息）

數(shù)據(jù)論證

實驗流量對比

經(jīng)過線上實驗，隨機選取了一組流量進入實驗過程，經(jīng)過一段時間運行，我們發(fā)現(xiàn) p-xx-a 的域名帶寬和p-xx-b的域名帶寬形成顯著差異；我們從流量上計算（2.53PB-1.71PB)/2.53PB*100 = 32.4%，因此評判，在嚴格的和webp對比下，帶來至少 30%的帶寬節(jié)省驗證符合預(yù)期。

當然，除了自行驗證之外，我們也嘗試過將線上其他格式（無需區(qū)分webp、jpg）與線上自研格式對比，節(jié)省比例更優(yōu)。

驗證數(shù)據(jù)參考

通用的“集智瘦身”

降成本是一個演進過程，在Android 和iOS 雙端端原生解決了帶寬問題后，在H5端運行，自研算法解碼端面臨在瀏覽器兼容性和性能支持的問題。因此我們需要考慮，無需集成客戶端SDK的方式能夠帶來體積的節(jié)省，這里我們研發(fā)了“集智瘦身”的方式；這個設(shè)計初衷是為了解決業(yè)務(wù)方接入推廣難、集成SDK覆蓋難等難題，同時還要滿足成本節(jié)省的目的。

集智瘦身的原理是通過深度學習的方式對傳統(tǒng)webp、jpeg甚至png等格式進行瘦身壓縮，而不需要集成客戶端解碼庫。

相比于自研編碼方式需要集成SDK之外，集智瘦身的接入簡單很多，只需要將域名指向到veImageX服務(wù)就可以享受降本服務(wù)。

演進方式A：有些業(yè)務(wù)線在實際推進過程中雖然比較復(fù)雜，但仍然可以按照veImageX 定義的 “~tplv “模板的方式來應(yīng)用，因為我們將此算法內(nèi)置到模板中可以自由選擇，不限定任意格式，同時在Web與Chrome場景下也可以選擇AVIF+WebP+集智瘦身的方式來使用：

演進方式A流程

這種方式，不需要SDK的接入，只需要服務(wù)端改造veImageX的模板即可，改成指定的格式，配合自適應(yīng)的模式來實現(xiàn)H5端的降本。

演進方式B：隨著推動過程中，我們發(fā)現(xiàn)仍然有些什么都不能修改的業(yè)務(wù)，針對這樣的業(yè)務(wù)，我們支持了只需要改動DNS就可以實現(xiàn)“集智瘦身”的方案。當然，圖像經(jīng)過處理之后文件的MD5值會發(fā)生變化，因此需要確認業(yè)務(wù)方?jīng)]有對文件的MD5進行校驗。

演進方式B流程

這種方案，對業(yè)務(wù)的侵入性幾乎沒有，會根據(jù)線上真實的圖像做判斷，合適的圖像自動進行瘦身處理，通過動態(tài)監(jiān)測線上圖像輸入前后的畫質(zhì)變化確保對用戶體驗沒有影響。

總結(jié)

veImageX算法降本除了在如上兩大場景應(yīng)用之外，壓縮方面也做了很多嘗試，在對比傳統(tǒng)WebP場景下可以節(jié)省超30%體積，啟用自適應(yīng)質(zhì)量壓縮可以帶來至少7%的體積節(jié)省。

同時在WebP、jpeg等傳統(tǒng)格式切換veIamgeX 調(diào)教后的自適應(yīng)壓縮質(zhì)量可帶來5%-10%的壓縮，“集智瘦身”可以帶來15%-20%的節(jié)省，在不區(qū)分圖像格式混合切量的前提下可以帶來約50%-80%的成本節(jié)省。

寫在最后

針對不同的終端、不同的業(yè)務(wù)場景通過算法減少文件的體積，在節(jié)省服務(wù)商的傳輸帶寬之外，也可以降低用戶消費端流量的消耗，提升用戶的加載速度。

圖片加載是目前幾乎所有的APP都具備的基礎(chǔ)能力，目前火山引擎veImageX已經(jīng)將上述方法形成端到端的解決方案對外輸出，幫助每一個互聯(lián)網(wǎng)企業(yè)用更低的成本達到更好的圖片加載效果。除了商務(wù)降本之外，也可以用更“綠色”的算法降本，為行業(yè)降本增效提供了一種創(chuàng)新可能性。

點擊veImageX-火山引擎，了解更多veImageX。