極客號（Daydx.com）11月1日 消息:近日，清華大學(xué)和東京大學(xué)共同發(fā)布了一項(xiàng)名為CustomNet的技術(shù)，該技術(shù)旨在更好地將指定物品的圖片融合到新生成的圖片中，并確保原物品的樣式和紋理細(xì)節(jié)得以還原。這項(xiàng)技術(shù)給SD商品圖融合帶來了一線生機(jī)。從發(fā)布的測試案例來看，還原度也相當(dāng)不錯。
項(xiàng)目地址:https://jiangyzy.github.io/CustomNet/
CustomNet是一種新穎的對象定制方法，它明確將3D新視角合成能力納入對象定制過程中。通過整合這一能力，CustomNet能夠調(diào)整空間位置關(guān)系和視角，從而產(chǎn)生多樣化的輸出，并有效地保留對象的身份。這一技術(shù)的提出對于推動對象定制領(lǐng)域的發(fā)展具有重要意義。
核心功能:
零拍攝對象定制:CustomNet 提供了一種零拍攝的對象定制方法，克服了現(xiàn)有優(yōu)化和編碼方法的時(shí)間消耗問題。與優(yōu)化方法不同，CustomNet 無需在測試時(shí)進(jìn)行優(yōu)化，節(jié)省了時(shí)間和計(jì)算資源。
明確視角和位置控制:該模型引入了3D新視角合成能力，使對象定制過程中可以明確調(diào)整空間位置關(guān)系和視角，產(chǎn)生多樣的輸出，同時(shí)有效地保留了對象的身份。這為用戶提供了更多的控制權(quán)。
靈活的背景控制:CustomNet 具有精細(xì)的設(shè)計(jì)，使用戶可以通過文本描述或特定用戶定義的圖像來控制背景。這有助于克服現(xiàn)有3D新視角合成方法的局限性，使背景與對象更和諧。
復(fù)雜場景數(shù)據(jù)處理:CustomNet采用了數(shù)據(jù)集構(gòu)建管道，可以更好地處理現(xiàn)實(shí)世界的對象和復(fù)雜的背景。這增強(qiáng)了模型的適用性，使其能夠處理更具挑戰(zhàn)性的情境。
高質(zhì)量輸出:通過以上功能，CustomNet確保了對象身份的完整性，并生成多樣、和諧的個性化輸出。這使它在識別保持、視角控制和圖像和諧方面具有卓越能力。
CustomNet 是一款強(qiáng)大的文本到圖像生成模型，為用戶提供了多方面的控制，使他們能夠創(chuàng)建個性化的圖像，同時(shí)保持圖像的身份。這對于多種應(yīng)用，如廣告、創(chuàng)意設(shè)計(jì)和虛擬世界創(chuàng)建都具有潛力。
