圖 1.手動注釋的數(shù)據(jù)集和自動生成的合成數(shù)據(jù)集的比較。傳統(tǒng)方法要求在生成訓練集時手動標記圖像，而我們提出的系統(tǒng)可以使用來自城市數(shù)字孿生的數(shù)字資產(chǎn)自動創(chuàng)建帶有實例注釋的合成數(shù)據(jù)。學分：計算設(shè)計與工程學報（2022）。DOI： 10.1093/jcde/qwac086
游戲引擎最初是為了構(gòu)建虛構(gòu)的娛樂世界而開發(fā)的。但是，這些相同的引擎可用于構(gòu)建真實環(huán)境（即數(shù)字孿生）的副本。大阪大學的研究人員已經(jīng)找到了一種方法，可以使用數(shù)字城市孿生體自動生成的圖像來訓練深度學習模型，這些模型可以有效地分析真實城市的圖像并準確地分離其中出現(xiàn)的建筑物。
卷積神經(jīng)網(wǎng)絡(luò)是一種深度學習神經(jīng)網(wǎng)絡(luò)，旨在處理結(jié)構(gòu)化數(shù)據(jù)數(shù)組（如圖像）。深度學習的這些進步從根本上改變了任務(wù)的執(zhí)行方式，比如架構(gòu)分割。然而，精確的深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模型需要大量的標記訓練數(shù)據(jù)，而標記這些數(shù)據(jù)可能是一項緩慢且極其昂貴的手動任務(wù)。
為了創(chuàng)建合成的數(shù)字城市孿生數(shù)據(jù)，調(diào)查人員使用了來自TABAL平臺的3D城市模型，該平臺包含大多數(shù)日本城市的3D模型，細節(jié)水平極高。他們將該模型加載到Unity游戲引擎中，并在虛擬汽車上創(chuàng)建了一個攝像機設(shè)置，該虛擬汽車在城市中行駛并在各種照明和天氣條件下獲取虛擬數(shù)據(jù)圖像。然后使用谷歌地圖API來獲取同一研究區(qū)域的真實街道圖像以進行實驗。
圖 2.我們研究區(qū)域的三維城市模型。（a） 城市數(shù)字孿生體及其真實街景對應(yīng)物的例子（東京旺安多羅大道;三月 2021;緯度： 35.6283， 經(jīng)度： 139.7782）.（b） 城市數(shù)字孿生的鳥瞰圖。圖片來源：CC BY，2022 張佳新等，從城市數(shù)字孿生自動生成合成數(shù)據(jù)集，用于建筑立面的實例分割，計算設(shè)計與工程學報
研究人員發(fā)現(xiàn)，數(shù)字城市孿生數(shù)據(jù)比沒有現(xiàn)實世界對應(yīng)物的純虛擬數(shù)據(jù)產(chǎn)生更好的結(jié)果。此外，將合成數(shù)據(jù)添加到真實數(shù)據(jù)集可提高分割準確性。然而，最重要的是，研究人員發(fā)現(xiàn)，當數(shù)字城市孿生合成數(shù)據(jù)集中包含一定比例的真實數(shù)據(jù)時，DCNN的分割精度會顯著提高。事實上，它的性能與在100%真實數(shù)據(jù)上訓練的DCNN的性能競爭。
“這些結(jié)果表明，我們提出的合成數(shù)據(jù)集可能會取代訓練集中的所有真實圖像，”該論文的通訊作者Tomohiro Fukuda說。
圖 3.當使用HSRBFIA（合成和真實世界建筑立面圖像和注釋的混合集合）數(shù)據(jù)集訓練掩碼R-CNN時，具有不同類型和大小的建筑物的定性結(jié)果，這些數(shù)據(jù)集具有不同的合成與真實數(shù)據(jù)的比例：（a）大阪的低層房屋;（b） 洛杉磯的低層住宅;（c） 紐約市的高層住宅;（d） 上海的復(fù)雜外墻。（紅色虛線矩形突出顯示了街景圖像中在立面實例分割期間容易發(fā)生故障的部分。圖片來源：CC BY，2022 張佳新等，從城市數(shù)字孿生自動生成合成數(shù)據(jù)集，用于建筑立面的實例分割，計算設(shè)計與工程學報
自動分離出圖像中出現(xiàn)的各個建筑立面對于施工管理和建筑設(shè)計，用于改造和能源分析的大規(guī)模測量，甚至可視化已被拆除的建筑立面都很有用。該系統(tǒng)在多個城市進行了測試，證明了擬議框架的可轉(zhuǎn)移性。真實數(shù)據(jù)和合成數(shù)據(jù)的混合數(shù)據(jù)集為大多數(shù)現(xiàn)代建筑風格提供了有希望的預(yù)測結(jié)果。這使得它成為將來訓練 DCNN 以執(zhí)行架構(gòu)分段任務(wù)的一種有前途的方法，而無需昂貴的手動數(shù)據(jù)注釋。
該研究發(fā)表在《計算設(shè)計與工程雜志》上。
原文標題：City digital twins help train deep learning models to separate building facades
原文鏈接：https://techxplore.com/news/2022-09-city-digital-twins-deep-facades.html
作者：Osaka University
編譯：LCR
