機(jī)器之心專欄

作者：上?？萍即髮W(xué)等

讓數(shù)字人擁有一雙靈巧的雙手。

隨著元宇宙概念的提出，虛擬數(shù)字人等新興技術(shù)的不斷發(fā)展，人們通過在虛擬世界中分別還原人體的不同部位并加以組合從而實(shí)現(xiàn)數(shù)字孿生。如何讓數(shù)字人擁有一雙靈巧的雙手便成了一大難題。在真實(shí)世界中，我們的手有骨骼、肌肉、肌腱等多個(gè)解剖學(xué)結(jié)構(gòu)。然而傳統(tǒng)的手部模型只專注于外表面皮膚建模，骨架結(jié)構(gòu)也是由簡單的關(guān)節(jié)點(diǎn)連線構(gòu)成。這樣的建模方法并不能重現(xiàn)逼真的虛擬手。

針對這個(gè)問題，一個(gè)虛擬手建模的解決方案——NIMBLE 模型由解剖學(xué)的角度提出，NIMBLE 開發(fā)團(tuán)隊(duì)建立了一個(gè)全新的參數(shù)化手部模型，模型包含骨骼、肌肉、皮膚和外表面貼圖，擁有更精細(xì)的皮膚材質(zhì)紋理，可以輕松完成各式各樣的手勢，真實(shí)還原手部肌肉狀態(tài)。

NIMBLE 模型是多學(xué)科交叉融合的產(chǎn)物，使用 MRI 技術(shù)采集數(shù)據(jù)，作為參與單位之一的上?？萍即髮W(xué) MARS 實(shí)驗(yàn)室孵化的數(shù)字人底層技術(shù)公司影眸科技研發(fā)的高精度掃描系統(tǒng)為手部模型提供了更為精細(xì)的貼圖與紋理，正是這種多方面的協(xié)同創(chuàng)新得以讓如今的 NIMBLE 模型真正意義上實(shí)現(xiàn)了對人手部分的完美模擬。

項(xiàng)目主頁：https://reyuwei.github.io/proj/nimble

數(shù)據(jù)集

要實(shí)現(xiàn)這樣的解剖學(xué)建模，就一定要有對應(yīng)的醫(yī)療數(shù)據(jù)?？紤]到核共振（MRI）在臨床上經(jīng)常被用來診斷和治療手部疾病，該研究使用臨床 3T 核磁設(shè)備采集了高質(zhì)量的 MRI 手部三維影像數(shù)據(jù)集。該數(shù)據(jù)集包括 35 個(gè)對象的共 200 個(gè)核磁圖像，共覆蓋 50 個(gè)不同的手部動作。為了準(zhǔn)確地區(qū)分骨骼、肌肉和皮膚，該研究在原始 MRI 圖像上也做了標(biāo)注。

MRI 數(shù)據(jù)地址：https://github.com/reyuwei/PIANO_mri_data

除了 MRI 數(shù)據(jù)，該研究還用光場設(shè)備采集高質(zhì)量手部 diffuse、normal 和 specular 貼圖。通過貼圖插值，實(shí)現(xiàn)了對皮膚顏色和紋理的建模。

模型定義

仿照人體參數(shù)模型 [SMPL] 和手部參數(shù)模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 構(gòu)成的。

• SMPL 地址：https://smpl.is.tue.mpg.de/
• MANO 地址：https://mano.is.tue.mpg.de/

模板模型分為三部分，分別是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面體建模。

算法流程

訓(xùn)練模型的流程分為模型配準(zhǔn)（registration）和參數(shù)學(xué)習(xí)（parameter learning）兩個(gè)部分。

其中模型配準(zhǔn)是為了將數(shù)據(jù)統(tǒng)一成相同的拓?fù)浣Y(jié)構(gòu)，參數(shù)學(xué)習(xí)是將同拓?fù)涞臄?shù)據(jù)作為目標(biāo)函數(shù)去優(yōu)化模型的參數(shù)。

為了在模型配準(zhǔn)中捕捉到肌肉和皮膚的非剛體形變，該研究用四面體模型來建模肌肉和皮膚。與三角面片的模型不同的是，四面體模型能夠更方便地計(jì)算模型體積，也常應(yīng)用于非剛體物理仿真。該研究在模型配準(zhǔn)中就利用了 neo-hookean 彈性模型。他們將其作為一個(gè)物理約束應(yīng)用于模型配準(zhǔn)當(dāng)中，借此保證了模型形變時(shí)體積不變，達(dá)到了更準(zhǔn)確的配準(zhǔn)結(jié)果。

下圖展示了將模板肌肉配準(zhǔn)到 MRI 分割出的肌肉的結(jié)果。注意配準(zhǔn)后的肌肉厚度增加，并且排列更加緊密。

從配準(zhǔn)誤差的直方圖可以看出，誤差基本在 2mm 以內(nèi)。

在參數(shù)學(xué)習(xí)的過程中，由于 MRI 數(shù)據(jù)的數(shù)量有限，研究者還借助了 [MANO] 模型的點(diǎn)云數(shù)據(jù)來擴(kuò)充運(yùn)動空間。通過在多個(gè)不同模態(tài)的數(shù)據(jù)集上迭代優(yōu)化，最終構(gòu)建出 NIMBLE 模型。與僅基于外表面的傳統(tǒng)手部模型相比，NIMBLE 以數(shù)據(jù)驅(qū)動的方式實(shí)現(xiàn)了對手的內(nèi)外部解剖結(jié)構(gòu)統(tǒng)一建模。此外，模型還可以作為一個(gè)網(wǎng)絡(luò)層應(yīng)用于深度學(xué)習(xí)，以進(jìn)行逼真虛擬手的生成和手勢識別等多種任務(wù)。

實(shí)驗(yàn)

該研究從 pose、shape 和 appearance 三個(gè)維度驗(yàn)證了模型的 compactness 和泛化（generalization）能力。

從幾何建模上，該研究和外表面模型 [MANO] 做對比。

(a) NIMBLE 在變形過程中保留了更多皮膚細(xì)節(jié)，而 MANO 的結(jié)果過于平滑。

(b)(c) MANO 在形變時(shí)沒有考慮內(nèi)部結(jié)構(gòu)，因此用簡單的方法為它加上內(nèi)部結(jié)構(gòu)后會出現(xiàn)奇怪的肌肉和骨骼形變以及不真實(shí)的皮膚凹陷，而 NIMBLE 保持了解剖學(xué)上正確的和物理上合理的變形。

從外表建模的角度，該研究和貼圖模型 [HTML] 模型進(jìn)行了對比。

(a)(b)分別是兩個(gè)模型數(shù)據(jù)集中的手部紋理貼圖，(c)(d)是在兩個(gè)模型的貼圖空間中隨機(jī)采樣的紋理。顯然該研究的模型能夠保留更多細(xì)節(jié)，并且法線貼圖進(jìn)一步實(shí)現(xiàn)了手背上肌腱凸起的效果。

HTML 地址：https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/