神經網路風格轉換裝飾圖樣生成


摘要

神經網路風格轉換 (Neural Style Transfer) 為將一張圖片的風格轉移至另 一張圖片的演算法,近年成為電腦圖學和深度學習的熱門議題。已經廣泛用 在修圖軟體,濾鏡 APP,商業電影等領域。本論文採用機器學習之中的類 神經網路為工具,進行營造法式圖樣之風格轉換生成裝飾圖樣。本論文依據 神經風格轉移網路為基礎。以預訓練 VGG19 萃取特徵,使用擬牛頓優化演 算法改變圖片像素,生成營造法式裝飾圖樣風格圖片。本論文大量生成以營 造法式裝飾圖樣為風格的圖片,並比較其差異,探討內容圖片及風格圖片對 生成圖片的影響。此用不同風格矩陣,比較不同風格矩陣對生成圖片的影 響。


起源

VGG19是牛津大學所提出的類神經網路架構,訓練好後可以分辨高達一千種物體。 本論文使用預先訓練好的VGG19將使用者輸入的圖片做內容和風格的萃取, 將兩者結合後生成風格轉移後的圖片。


動機

本論文基於Gatys於2016所以提出的方法進行延伸,使用預先訓練好的VGG19做特徵萃取, 來作風格轉換。本論文使用不同風格矩陣來做比對,並且將風格轉移實現在建築模型上色。


風格矩陣

本論文使用圖片通過VGG19的特徵圖片來計算風格矩陣,將圖片RGB三個通道數的特徵圖片分別平坦化, 並做內積,即使用特徵圖的Gram矩陣。 Gatys所提出的方法使用Gram矩陣,本論文使用Gram*Gram^T,結果圖為右。 (a)為Gatys所提出的方法,(b)為我們所使用的方法。 以本圖為例,其風格矩陣為512*512。


程式碼

第一步: 下載程式碼ZIP檔

第二步: 解壓縮

第三步: 將你想要的風格圖片與來源圖片放入img資料夾下

第四步: 下指令 python3 neural_style_transfer.py img/你的來源圖 img/你的風格圖 result

程式碼連結