本研究利用條件生成對抗網路,透過輸入一張角色圖片與 39 維的姿勢 向量,即可輸出此角色根據姿勢向量產生出眼睛、眉毛、虹膜與嘴巴的表 情變化後之圖片,並且使用動漫人物之 3D 模型與對應姿勢向量使 3D 角色 做出各種不同表情以產生多張 2D 圖片作為訓練資料集訓練網路,不同於 以往的動畫人臉生成是使用別人繪製的圖片進行訓練,使網路能根據不同 的姿勢向量來產生對應的動漫人物表情圖片。近年來虛擬實況主快速崛起, 吸引各界人物紛紛加入 VTuber 產業,然而想要成為 VTuber 所需人物設計 及模型的製作費用昂貴,不僅需要請繪師設計一個角色形象,還需要 3D 或 2D 建模師根據角色設計圖對角色進行建模,本研究旨在通過其研究結果顯 著降低成為 VTuber 的相關成本。此系統能夠生成高度逼真的變形圖片,並 保持原始角色的視覺特徵和風格。
將此系統應用於 10 隻 VTuber 及各種動漫角色,為每個角色應用兩個姿勢向量,並產生輸出結果。