卷積神經網路動作捕捉系統插圖動畫應用


摘要

近年來隨著動作捕捉技術的增進,硬體設備需求隨之降低, 相關產業如電影拍攝、動畫製作、虛擬主播等更貼近於平常的生活中。 其中以虛擬主播最為貼近也最廣為人知,從絆愛到HOLOLIVE皆可看出龐大的商機。 虛擬主播除了動作捕捉的技術之外,還有虛擬角色模型製作、操作的需求。 虛擬角色分為3D與2.5D模型,除了風格的差異之外,在製作技術與操作概念也相差甚多。 而3D模型由於操作直觀,使之在研究上使用廣泛,相較之下2.5D則鮮少有相關之研究。 本論文基於上述之原因,以現有基於機器學習之動作捕捉技術與2.5D角色模型為基礎, 使用Unity開發一套虛擬主播操控系統,轉換動作捕捉與模型參數。 同時研究動作捕捉技術與2.5D角色模型的限制,並探討後續研究的方向。


系統流程圖

  1. 使用網路攝影機拍攝使用者
  2. 藉由MediaPipe找出使用者
  3. 將使用者特徵點提取出來
  4. 將提取的特徵點轉換運算
  5. 將運算值輸出給模型控制使用

系統呈現